모니터링 작동 방식
Page Deltas는 적응형 일정으로 모니터를 실행하고, 가능한 가장 가벼운 방법으로 각 페이지를 가져오며, LLM 필터를 사용하여 중요한 알림만 받도록 합니다.
확인의 라이프사이클
- 일정 예약. 중앙 스케줄러가
next_check_at기한이 지난 모니터를 선택하고 작업을 Postgres 대기열에 추가합니다. - 가져오기. 작업자가 작업을 수락하고 페이지를 가져옵니다 (일반 HTTP, 데이터 센터 프록시를 통한 헤드리스 브라우저, 가정용 프록시 순 — 아래 참조).
- 추출. HTML이 기본 텍스트 콘텐츠로 축소됩니다. 상용구(내비게이션, 바닥글, 광고)는 제거됩니다.
- 해시 & 차이. 정규화된 해시를 마지막 확인과 비교합니다. 동일하면 실행이 여기서 종료됩니다 — LLM 호출 없음.
- LLM 필터. 해시가 변경된 경우 차이점과 설명이 LLM으로 전송되어 변경이 의미 있는지 결정합니다.
- 알림. 의미 있는 변경 사항은
monitor_changes에 기록되고 모니터에 연결된 각 채널로 발송 대기열에 추가됩니다.
적응형 일정
확인 빈도를 설정하지 않습니다. 스케줄러는 페이지가 실제로 얼마나 자주 변경되는지 관찰하고 그에 따라 next_check_at을 이동시킵니다 — 변경 사항이 도착할 때는 더 빠르게, 페이지가 휴면 상태일 때는 더 느리게. 요금제도 주기에 영향을 미칩니다: 상위 요금제는 더 높은 예약 우선순위를 얻습니다. 이를 통해 얻는 가치에 비례하여 사용량이 유지됩니다.
가져오기 도구 에스컬레이션
각 확인은 저렴하게 시작하며 필요한 경우에만 에스컬레이션됩니다:
- 일반 HTTP. JavaScript나 브라우저가 없습니다. 빠르고 저렴합니다. 대부분의 서버 렌더링 페이지 및 JSON 엔드포인트에서 작동합니다.
- 데이터 센터 프록시를 통한 헤드리스 브라우저. 페이지가 클라이언트에서 렌더링되거나 일반 가져오기가 차단된 경우에 사용됩니다. 핑거프린팅을 피하기 위해 은밀하게 패치된 Firefox인 Camoufox로 렌더링하여 Oxylabs 데이터 센터 프록시를 통해 라우팅합니다.
- 가정용 프록시를 통한 헤드리스 브라우저. 데이터 센터 프록시 가져오기가 여전히 차단되는 경우에 사용됩니다. 동일한 브라우저 요청을 Oxylabs 가정용 IP를 통해 라우팅합니다.
가정용 프록시를 통해 라우팅된 바이트는 비용 제어 조치로서 조직별로 추적됩니다.
LLM 필터
페이지 텍스트 해시가 변경되어도 즉시 알리지 않습니다. 먼저 차이점과 모니터 설명을 LLM에 보내 한 가지 질문을 합니다: 이 설명을 바탕으로 볼 때 이 변경 사항이 의미가 있나요?
포착하는 항목
- 경쟁사 가격 페이지의 가격 변경.
- 로드맵이나 변경 로그의 새로운 제품 출시.
- 주시하고 있는 채용 페이지의 채용 공고 변경.
무시하는 항목
공백 및 상용구(내비게이션, 바닥글, 광고)는 해싱 전에 제거되므로 LLM에 도달하지 않습니다. 또한 분류기는 다음 항목을 의미 없는 것으로 처리하도록 지시받습니다:
- 순환하는 사용 후기, 광고, "3일 전에 추가됨" 스타일의 타임스탬프 및 조회수.
- 의미적인 변경이 없는 재정렬.
- 빌드 해시 및 세션 식별자.