Wie die Überwachung funktioniert

Page Deltas führt Ihre Überwachungen nach einem adaptiven Zeitplan aus, ruft jede Seite mit der leichtesten funktionierenden Methode ab und verwendet einen LLM-Filter, sodass Sie nur Benachrichtigungen erhalten, die wichtig sind.

Der Lebenszyklus einer Prüfung

1. Zeitplan. Ein zentraler Scheduler wählt Überwachungen aus, deren next_check_at fällig ist, und stellt Jobs in eine Postgres-Warteschlange ein.
2. Abruf. Ein Worker übernimmt den Job und ruft die Seite ab (einfaches HTTP, dann ein Headless-Browser über einen Rechenzentrums-Proxy, dann über einen Residential-Proxy — siehe unten).
3. Extraktion. Das HTML wird auf seinen Haupttextinhalt reduziert. Vorlagenelemente (Navigation, Fußzeile, Werbung) werden entfernt.
4. Hash & Vergleich. Ein normalisierter Hash wird mit der letzten Prüfung verglichen. Sind sie identisch, endet der Lauf hier — kein LLM-Aufruf.
5. LLM-Filter. Wenn sich der Hash geändert hat, werden der Änderungsvergleich und Ihre Beschreibung an ein LLM gesendet, das entscheidet, ob die Änderung bedeutsam ist.
6. Benachrichtigung. Bedeutsame Änderungen werden in monitor_changes geschrieben und zur Zustellung an jeden mit der Überwachung verbundenen Kanal eingereiht.

Adaptive Zeitplanung

Sie legen keine Prüffrequenz fest. Der Scheduler beobachtet, wie oft sich eine Seite tatsächlich ändert, und passt next_check_at entsprechend an — schneller, wenn Änderungen eintreffen, langsamer, wenn die Seite ruht. Auch Ihr Tarif beeinflusst den Rhythmus: höhere Tarife erhalten eine höhere Planungspriorität. So bleibt Ihre Nutzung proportional zum Wert, den Sie erhalten.

Eskalation des Abrufs

Jede Prüfung beginnt günstig und eskaliert nur, wenn es nötig ist:

1. Einfaches HTTP. Kein JavaScript, kein Browser. Schnell und günstig. Funktioniert für die meisten serverseitig gerenderten Seiten und JSON-Endpunkte.
2. Headless-Browser über Rechenzentrums-Proxy. Wird verwendet, wenn die Seite clientseitig gerendert wird oder der einfache Abruf blockiert ist. Wir rendern mit Camoufox — einem Stealth-gepatchten Firefox, der die meisten Fingerprinting-Methoden umgeht — geroutet über einen Oxylabs-Rechenzentrums-Proxy.
3. Headless-Browser über Residential-Proxy. Wird verwendet, wenn der über den Rechenzentrums-Proxy geroutete Abruf weiterhin blockiert ist. Routet dieselbe Browser-Anfrage über Residential-IPs von Oxylabs.

Über den Residential-Proxy geroutete Bytes werden pro Organisation als Maßnahme zur Kostenkontrolle erfasst.

Der LLM-Filter

Wenn sich der Hash des Seitentexts ändert, benachrichtigen wir nicht sofort. Zuerst senden wir den Änderungsvergleich und Ihre Überwachungsbeschreibung an ein LLM mit einer Frage: Ist diese Änderung angesichts dieser Beschreibung bedeutsam?

Was dies erfasst

• Preisänderungen auf der Preisseite eines Wettbewerbers.
• Neue Produkteinführungen in einer Roadmap oder einem Changelog.
• Änderungen bei Stellenausschreibungen auf einer Karriereseite, die Sie beobachten.

Was dies ignoriert

Leerraum und Vorlagenelemente (Navigation, Fußzeile, Werbung) werden vor dem Hashing entfernt, sodass sie das LLM nie erreichen. Darüber hinaus wird der Klassifizierer angewiesen, Folgendes als nicht bedeutsam zu behandeln:

• Rotierende Kundenstimmen, Werbung, Zeitstempel im Stil von „vor 3 Tagen hinzugefügt“ und Aufrufzahlen.
• Umsortierungen ohne semantische Änderung.
• Build-Hashes und Sitzungskennungen.