Hvordan overvåking fungerer

Page Deltas kjører overvåkingene dine på en tilpasset tidsplan, henter hver side med den letteste metoden som fungerer, og bruker et LLM-filter slik at du bare får varsler som betyr noe.

Livssyklusen til en sjekk

1. Planlegg. En sentral planlegger velger overvåkinger der next_check_at har forfalt, og legger jobber i en Postgres-kø.
2. Hent. En arbeider leier jobben og henter siden (vanlig HTTP, deretter en hodeløs nettleser gjennom en datasenter-proxy, deretter gjennom en bolig-proxy — se nedenfor).
3. Trekk ut. HTML-en reduseres til hovedtekstinnholdet. Standardelementer (navigasjon, bunntekst, annonser) fjernes.
4. Hash og sammenlign. En normalisert hash sammenlignes med forrige sjekk. Hvis de er identiske, slutter kjøringen her — ingen LLM-kall.
5. LLM-filter. Hvis hashen er endret, sendes endringssammenligningen og beskrivelsen din til en LLM som avgjør om endringen er meningsfull.
6. Varsle. Meningsfulle endringer skrives til monitor_changes og legges i kø for utsendelse til hver kanal som er knyttet til overvåkingen.

Tilpasset planlegging

Du angir ikke en sjekkefrekvens. Planleggeren observerer hvor ofte en side faktisk endres, og justerer next_check_at deretter — raskere når endringer kommer inn, langsommere når siden er i dvale. Abonnementet ditt påvirker også kadensen: høyere abonnementer får høyere planleggingsprioritet. Dette holder forbruket ditt proporsjonalt med verdien du får.

Eskalering av henter

Hver sjekk starter rimelig og eskalerer bare hvis den må:

1. Vanlig HTTP. Ingen JavaScript, ingen nettleser. Raskt og rimelig. Fungerer for de fleste tjenerrendrede sider og JSON-endepunkter.
2. Hodeløs nettleser via datasenter-proxy. Brukes når siden er klientrendret, eller når den vanlige hentingen blokkeres. Vi rendrer med Camoufox — en stealth-patchet Firefox som omgår de fleste fingeravtrykk — rutet gjennom en Oxylabs datasenter-proxy.
3. Hodeløs nettleser via bolig-proxy. Brukes når hentingen via datasenter-proxy fortsatt blokkeres. Ruter den samme nettleserforespørselen gjennom Oxylabs bolig-IP-er.

Bytes som rutes via bolig-proxyen, spores per organisasjon som et kostnadskontrolltiltak.

LLM-filteret

Når hashen av sidetekst endres, varsler vi ikke umiddelbart. Først sender vi endringssammenligningen og overvåkingsbeskrivelsen din til en LLM med ett spørsmål: gitt denne beskrivelsen, er denne endringen meningsfull?

Hva dette fanger opp

• Prisendringer på en konkurrents prisside.
• Nye produktlanseringer på et veikart eller en changelog.
• Endringer i stillingsutlysninger på en karriereside du følger med på.

Hva dette ignorerer

Mellomrom og standardelementer (navigasjon, bunntekst, annonser) fjernes før hashing, så de når aldri LLM-en. I tillegg er klassifisereren instruert til å behandle følgende som ikke meningsfullt:

• Roterende kundeomtaler, annonser, tidsstempler i stil med «ble lagt til for 3 dager siden», og visningsantall.
• Omrokkering uten semantisk endring.
• Bygge-hasher og økt-identifikatorer.