Sådan fungerer overvågning

Page Deltas kører dine overvågninger på en adaptiv tidsplan, henter hver side med den letteste metode, der fungerer, og bruger et LLM-filter, så du kun får de advarsler, der betyder noget.

Livscyklussen for et tjek

1. Tidsplan. En central planlægger (scheduler) udvælger overvågninger, hvis next_check_at er forfalden, og lægger jobs i kø i en Postgres-kø.
2. Hentning (Fetch). En arbejder (worker) tager jobbet og henter siden (almindelig HTTP, derefter en headless browser via en datacenter-proxy, derefter via en residentiel proxy — se nedenfor).
3. Udtrækning. HTML'en reduceres til dens primære tekstindhold. Standardindhold (navigation, footer, annoncer) fjernes.
4. Hash & forskel. En normaliseret hash sammenlignes med det seneste tjek. Hvis de er identiske, slutter kørslen her — ingen LLM-kald.
5. LLM-filter. Hvis hashen ændredes, sendes forskellen (diff) og din beskrivelse til en LLM, der beslutter, om ændringen er meningsfuld.
6. Advarsel. Meningsfulde ændringer skrives til monitor_changes og lægges i kø til afsendelse til hver kanal, der er knyttet til overvågningen.

Adaptiv tidsplanlægning

Du angiver ikke en tjekfrekvens. Tidsplanlæggeren observerer, hvor ofte en side faktisk ændrer sig, og justerer next_check_at tilsvarende — hurtigere når der sker ændringer, langsommere når siden ligger stille. Din plan påvirker også kadencen: Højere planer får højere prioritet i tidsplanlægningen. Dette holder dit forbrug proportionalt med den værdi, du får.

Fetcher-eskalering

Hvert tjek starter billigt og eskalerer kun, hvis det er nødvendigt:

1. Almindelig HTTP. Ingen JavaScript, ingen browser. Hurtigt og billigt. Fungerer for de fleste server-gengivne sider og JSON-endpoints.
2. Headless browser via datacenter-proxy. Bruges, når siden er klient-gengivet, eller når den almindelige hentning er blokeret. Vi gengiver med Camoufox — en stealth-patcheret Firefox, der omgår det meste fingerprinting — sendt gennem en Oxylabs datacenter-proxy.
3. Headless browser via residentiel proxy. Bruges, når datacenter-proxy hentningen stadig er blokeret. Sender den samme browseranmodning gennem Oxylabs' residentielle IP'er.

Bytes dirigeret via den residentielle proxy spores pr. organisation som en omkostningskontrol-foranstaltning.

LLM-filteret

Når sidetekst-hashen ændres, udsender vi ikke en advarsel med det samme. Først sender vi forskellen (diff) og din overvågningsbeskrivelse til en LLM med ét spørgsmål: Er denne ændring meningsfuld baseret på denne beskrivelse?

Hvad dette fanger

• Prisændringer på en konkurrents prisside.
• Nye produktlanceringer på et roadmap eller en ændringslog.
• Ændringer i jobopslag på en karriereside, du overvåger.

Hvad dette ignorerer

Mellemrum og standardindhold (navigation, footer, annoncer) fjernes før hash-beregning, så det når aldrig frem til LLM'en. Derudover er klassificeringen instrueret i at behandle følgende som ikke-meningsfuldt:

• Roterende testimonials, annoncer, "blev tilføjet for 3 dage siden"-tidsstempler og visningstællere.
• Omstrukturering uden semantisk ændring.
• Build-hashes og sessionsidentifikatorer.