Så fungerar bevakning

Page Deltas kör dina bevakningar enligt ett adaptivt schema, hämtar varje sida med den lättaste metoden som fungerar och använder ett LLM-filter så att du bara får aviseringar som har betydelse.

Livscykeln för en kontroll

1. Schemaläggning. En central schemaläggare väljer bevakningar vars next_check_at har förfallit och köar jobb i en Postgres-kö.
2. Hämtning. En arbetare leasar jobbet och hämtar sidan (vanlig HTTP, sedan en huvudlös webbläsare via en datacenter-proxy, sedan via en residential-proxy — se nedan).
3. Extrahering. HTML-koden reduceras till sitt huvudsakliga textinnehåll. Standardelement (navigering, sidfot, annonser) tas bort.
4. Hashning och jämförelse. En normaliserad hash jämförs med den senaste kontrollen. Om de är identiska slutar körningen här — inget LLM-anrop.
5. LLM-filter. Om hashen har ändrats skickas ändringsjämförelsen och din beskrivning till en LLM som avgör om ändringen är meningsfull.
6. Avisering. Meningsfulla ändringar skrivs till monitor_changes och köas för leverans till varje kanal som är kopplad till bevakningen.

Adaptiv schemaläggning

Du ställer inte in någon kontrollfrekvens. Schemaläggaren observerar hur ofta en sida faktiskt ändras och justerar next_check_at därefter — snabbare när ändringar dyker upp, långsammare när sidan är vilande. Ditt abonnemang påverkar också takten: högre abonnemang får högre schemaläggningsprioritet. Detta håller din användning proportionerlig mot det värde du får.

Eskalering av hämtaren

Varje kontroll börjar billigt och eskalerar bara om den måste:

1. Vanlig HTTP. Ingen JavaScript, ingen webbläsare. Snabbt och billigt. Fungerar för de flesta serverrenderade sidor och JSON-endpoints.
2. Huvudlös webbläsare via datacenter-proxy. Används när sidan renderas på klientsidan eller när den vanliga hämtningen blockeras. Vi renderar med Camoufox — en stealth-patchad Firefox som kringgår de flesta fingerprinting-tekniker — dirigerad via en Oxylabs datacenter-proxy.
3. Huvudlös webbläsare via residential-proxy. Används när den datacenter-proxade hämtningen fortfarande blockeras. Dirigerar samma webbläsarbegäran via Oxylabs residential-IP:er.

Byte som dirigeras via residential-proxyn spåras per organisation som en kostnadskontrollåtgärd.

LLM-filtret

När hashen för sidtexten ändras aviserar vi inte direkt. Först skickar vi ändringsjämförelsen och din bevakningsbeskrivning till en LLM med en fråga: är denna ändring meningsfull givet denna beskrivning?

Vad detta fångar upp

• Prisändringar på en konkurrents prissida.
• Nya produktlanseringar i en roadmap eller changelog.
• Ändringar av jobbannonser på en karriärsida du bevakar.

Vad detta ignorerar

Blanksteg och standardelement (navigering, sidfot, annonser) tas bort före hashningen, så de når aldrig LLM:en. Utöver det instrueras klassificeraren att behandla följande som icke meningsfullt:

• Roterande omdömen, annonser, tidsstämplar i stil med ”lades till för 3 dagar sedan” och visningsantal.
• Omordning utan semantisk ändring.
• Build-hashar och sessionsidentifierare.