كيف تعمل المراقبة

يقوم Page Deltas بتشغيل مراقبيك وفق جدول زمني تكيفي، ويجلب كل صفحة بأخف طريقة ممكنة تعمل، ويستخدم فلتر LLM حتى تحصل فقط على التنبيهات المهمة.

دورة حياة الفحص

1. الجدولة. يختار المجدول المركزي المراقبين الذين حان وقت next_check_at الخاص بهم ويدرج الوظائف في قائمة انتظار Postgres.
2. الجلب. يأخذ العامل الوظيفة ويجلب الصفحة (HTTP عادي، ثم متصفح غير مرئي (headless) من خلال بروكسي مركز بيانات، ثم من خلال بروكسي سكني — انظر أدناه).
3. الاستخراج. يتم تقليل HTML إلى محتواه النصي الرئيسي. يتم تجريد القوالب الثابتة (التنقل، التذييل، الإعلانات).
4. التجزئة والفرق. تتم مقارنة تجزئة طبيعية (hash) بآخر فحص. إذا كانت متطابقة، ينتهي التشغيل هنا — لا يوجد استدعاء لـ LLM.
5. فلتر LLM. إذا تغيرت التجزئة، يتم إرسال الفرق (diff) ووصفك إلى LLM الذي يقرر ما إذا كان التغيير مهماً.
6. التنبيه. تُكتب التغييرات المهمة في monitor_changes وتُدرج في قائمة الانتظار لإرسالها إلى كل قناة متصلة بالمراقب.

الجدولة التكيفية

أنت لا تحدد وتيرة الفحص. يراقب المجدول عدد المرات التي تتغير فيها الصفحة فعلياً ويغير next_check_at وفقاً لذلك — أسرع عندما تحدث التغييرات، وأبطأ عندما تكون الصفحة خاملة. خطتك تؤثر أيضاً على الوتيرة: تحصل الخطط الأعلى على أولوية أعلى للجدولة. هذا يحافظ على استخدامك متناسباً مع القيمة التي تحصل عليها.

تصعيد أداة الجلب

يبدأ كل فحص رخيصاً ولا يتصاعد إلا إذا اضطر لذلك:

1. HTTP عادي. لا يوجد JavaScript، لا يوجد متصفح. سريع ورخيص. يعمل لمعظم الصفحات المعروضة من السيرفر ونقاط نهاية JSON.
2. متصفح غير مرئي عبر بروكسي مركز بيانات. يُستخدم عندما يتم عرض الصفحة من قبل العميل أو عندما يتم حظر الجلب العادي. نحن نعرض باستخدام Camoufox — وهو Firefox تم تعديله للتخفي يتجاوز معظم بصمات الأصابع (fingerprinting) — مُوجه عبر بروكسي مركز بيانات Oxylabs.
3. متصفح غير مرئي عبر بروكسي سكني. يُستخدم عندما يتم حظر الجلب عبر بروكسي مركز البيانات أيضاً. يوجه نفس طلب المتصفح عبر عناوين IP سكنية من Oxylabs.

يتم تتبع البايتات الموجهة عبر البروكسي السكني لكل مؤسسة كإجراء للتحكم في التكلفة.

فلتر الـ LLM

عندما تتغير تجزئة (hash) نص الصفحة، فإننا لا ننبه على الفور. أولاً نرسل الفرق (diff) ووصف المراقب الخاص بك إلى LLM بسؤال واحد: بالنظر إلى هذا الوصف، هل هذا التغيير مهم؟

ما يلتقطه هذا

• تغييرات الأسعار في صفحة تسعير المنافس.
• إطلاق منتجات جديدة في خارطة الطريق أو سجل التغييرات.
• تغييرات إعلانات الوظائف في صفحة وظائف تراقبها.

ما يتجاهله هذا

تُزال المسافات البيضاء والقوالب الثابتة (التنقل، التذييل، الإعلانات) قبل التجزئة (hashing)، لذلك لا تصل أبداً إلى الـ LLM. علاوة على ذلك، يُوجه المُصنّف لمعاملة التالي كشيء غير مهم:

• التوصيات الدوارة، الإعلانات، الطوابع الزمنية على غرار "أُضيف منذ 3 أيام"، وعدد المشاهدات.
• إعادة الترتيب دون تغيير دلالي.
• تجزئات البناء (Build hashes) ومعرفات الجلسات (session identifiers).