Kuinka valvonta toimii

Page Deltas suorittaa monitorisi mukautuvalla aikataululla, hakee jokaisen sivun kevyimmällä toimivalla menetelmällä ja käyttää LLM-suodatinta, jotta saat vain merkityksellisiä ilmoituksia.

Tarkistuksen elinkaari

1. Aikataulu. Keskitetty aikatauluttaja valitsee monitorit, joiden next_check_at on erääntynyt, ja asettaa työt Postgres-jonoon.
2. Haku. Työntekijä ottaa työn ja hakee sivun (tavallinen HTTP, sitten headless-selain konesaliproksin kautta, sitten kotiproksin kautta — katso alla).
3. Poiminta. HTML pelkistetään sen päätekstisisältöön. Vakiotekstit (navigointi, alatunniste, mainokset) poistetaan.
4. Tiiviste & ero. Normalisoitua tiivistettä verrataan edelliseen tarkistukseen. Jos ne ovat identtiset, ajo päättyy tähän — ei LLM-kutsua.
5. LLM-suodatin. Jos tiiviste muuttui, ero ja kuvauksesi lähetetään LLM:lle, joka päättää, onko muutos merkityksellinen.
6. Ilmoitus. Merkitykselliset muutokset kirjoitetaan tauluun monitor_changes ja asetetaan jonoon lähetettäväksi jokaiseen monitoriin liitettyyn kanavaan.

Mukautuva aikataulutus

Et aseta tarkistustiheyttä. Aikatauluttaja tarkkailee, kuinka usein sivu todella muuttuu, ja siirtää next_check_at-aikaa vastaavasti — nopeammin kun muutoksia tapahtuu, hitaammin kun sivu on lepotilassa. Suunnitelmasi vaikuttaa myös rytmiin: ylemmät suunnitelmat saavat korkeamman aikatauluprioriteetin. Tämä pitää käyttösi suhteessa saamaasi arvoon.

Hakijan eskalaatio

Jokainen tarkistus alkaa halpana ja eskaloituu vain, jos sen on pakko:

1. Tavallinen HTTP. Ei JavaScriptiä, ei selainta. Nopea ja halpa. Toimii useimmille palvelinrenderöidyille sivuille ja JSON-päätepisteille.
2. Headless-selain konesaliproksin kautta. Käytetään, kun sivu on asiakasrenderöity tai kun tavallinen haku on estetty. Renderöimme Camoufoxilla — varkain paikattu Firefox, joka ohittaa suurimman osan sormenjäljen tunnistuksesta — reititettynä Oxylabs-konesaliproksin kautta.
3. Headless-selain kotiproksin kautta. Käytetään, kun konesaliproksihaku on yhä estetty. Reitittää saman selainpyynnön Oxylabsin koti-IP-osoitteiden kautta.

Kotiproksin kautta reititettyjä tavuja seurataan organisaatiokohtaisesti kustannusten hallintatoimenpiteenä.

LLM-suodatin

Kun sivutekstin tiiviste muuttuu, emme ilmoita välittömästi. Ensin lähetämme eron ja monitorikuvauksesi LLM:lle yhdellä kysymyksellä: onko tämä muutos merkityksellinen tämän kuvauksen perusteella?

Mitä tämä sieppaa

• Hinnoittelumuutokset kilpailijan hintasivulla.
• Uudet tuotelanseeraukset tiekartalla tai muutoslokissa.
• Työpaikkailmoitusten muutokset valvomallasi urasivulla.

Mitä tämä sivuuttaa

Välilyönnit ja vakiotekstit (navigointi, alatunniste, mainokset) poistetaan ennen tiivisteen laskemista, joten ne eivät koskaan saavuta LLM:ää. Lisäksi luokittelija on ohjeistettu käsittelemään seuraavia asioita ei-merkityksellisinä:

• Vaihtuvat suositukset, mainokset, ”lisättiin 3 päivää sitten” -tyyppiset aikaleimat ja katselukerrat.
• Uudelleenjärjestely ilman semanttista muutosta.
• Koontitiivisteet ja istuntotunnisteet.