لماذا تستخدم OpenAI متتبعات ملفات الإنترنت؟
نستخدم متتبعات ملفات الإنترنت للتحقق من سلامة صفحات الويب المقدّمة كإعلانات على ChatGPT. عند إرسال إعلان، قد تزور OpenAI الصفحة المنتقل إليها للتأكد من توافقها مع سياساتنا. وقد نستخدم أيضًا محتوى الصفحة المنتقل إليها لتحديد الوقت الأنسب لعرض الإعلان على المستخدمين.
ما متتبعات ملفات الإنترنت الخاصة بـ OpenAI التي يجب السماح بها؟
يجب السماح لـ OAI-AdsBot. ونوصي بالسماح لكلٍ من OAI-AdsBot وOAI-SearchBot.
لا تتمكن متتبعات ملفات الإنترنت الخاصة بـ OpenAI من الوصول إلى موقعي الإلكتروني. ماذا يجب أن أفعل؟
تحتوي معظم المواقع على عدة طبقات حماية قبل أن يتمكن متتبع ملفات الإنترنت من الوصول إلى صفحة الويب بنجاح. تعاون مع فريق الهندسة/الأمن لديك للتحقق من أن متتبعات ملفات الإنترنت الخاصة بـ OpenAI يمكنها المرور عبر كل طبقة من الطبقات التالية:
1. robots.txt
يحدد ملف robots.txt ما إذا كان يُسمح لمتتبعات ملفات الإنترنت بالوصول إلى أجزاء معينة من موقعك الإلكتروني. تلتزم متتبعات ملفات الإنترنت الخاصة بـ OpenAI بهذه القواعد. وإذا كان الوصول محظورًا في robots.txt، فستتوقف عملية التتبع فورًا.
راجع إعدادات robots.txt وتأكد من السماح صراحةً لمتتبعات ملفات الإنترنت الخاصة بـ OpenAI بالوصول إلى الصفحات والمسارات ذات الصلة. على سبيل المثال: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. حماية الويب والتخفيف من الروبوتات
تستخدم العديد من المواقع الإلكترونية خدمات مثل Cloudflare وAkamai أو موفري حماية الويب الآخرين للحماية من هجمات DDoS وعمليات الاستخراج الآلي للبيانات والطلبات غير المصرّح بها. وقد تحظر هذه الأنظمة متتبعات ملفات الإنترنت المشروعة عن طريق الخطأ، وغالبًا ما تُرجع أخطاء 403 Forbidden. ونظرًا لأن متتبعات ملفات الإنترنت الخاصة بـ OpenAI قد تشبه أنماط الطلبات الآلية، فقد يُمنع وصولها ما لم تُضف صراحةً إلى قائمة السماح.
راجِع إعدادات حماية الويب أو جدار الحماية لديك، وأضف الطلبات الواردة من متتبعات ملفات الإنترنت الخاصة بـ OpenAI إلى قائمة السماح حيثما أمكن، ويفضل أن يكون ذلك استنادًا إلى وكلاء المستخدم الخاصة بمتتبعاتنا. كما ينبغي لفريق الهندسة أو البنية التحتية لديك فحص أي قواعد آلية للتخفيف من الروبوتات قد تؤدي إلى ظهور نتائج إيجابية كاذبة.
3. التحقق البشري ومنطق مكافحة الروبوتات
تطبّق بعض المواقع الإلكترونية عمليات تحقق إضافية على مستوى التطبيق للتأكد من أن الزائر إنسان. على سبيل المثال: اختبارات CAPTCHA، أو تحديات JavaScript، أو تحليل السلوك، أو التحقق من صحة الجلسة. ونظرًا لأن متتبعات ملفات الإنترنت الخاصة بـ OpenAI هي أنظمة آلية، فقد تمنع هذه العمليات الوصول حتى إذا نجح متتبع ملفات الإنترنت في اجتياز طبقات الحماية السابقة.
راجِع أي آليات للتحقق البشري أو منطق لمكافحة الأتمتة مُطبَّقة داخل تطبيقك، وتأكد من استثناء متتبعات ملفات الإنترنت الخاصة بـ OpenAI عند الاقتضاء، ويفضَّل أن يكون ذلك من خلال إضافتها إلى قائمة السماح استنادًا إلى وكلاء المستخدم الخاصة بمتتبعاتنا.
ملاحظة حول نطاقات عناوين IP الثابتة
تتطلب بعض أنظمة الأمان أن تنشأ طلبات متتبعات ملفات الإنترنت من نطاقات عناوين IP ثابتة وموثقة علنًا قبل أن يمكن إدراجها بشكل موثوق في قائمة السماح. نظرًا لأن بنية متتبعات ملفات الإنترنت قد تتطور بمرور الوقت، ينبغي على فريق الهندسة لديك تجنّب الاعتماد فقط على الملاحظات قصيرة المدى لعناوين IP من السجلات. وبدلًا من ذلك، تحقق من الطلبات عبر مزيج من: تحديد وكيل المستخدم، وبرامج التحقق من الروبوتات المعتمدة في حال اعتمادها، وقوائم السماح في جدران الحماية، وسلوك ملف robots.txt، وأنظمة التحقق من الروبوتات على مستوى موفّر الخدمة.
إذا كان لا بد من السماح بقائمة ثابتة من نطاقات عناوين IP، يُرجى الاطلاع على https://openai.com/searchbot.json وhttps://openai.com/adsbot.json.
ملاحظة حول تحديد معدل الطلبات
قد تؤدي عمليات التحميل المجمّعة الكبيرة أو الارتفاعات المفاجئة في طلبات متتبعات ملفات الإنترنت إلى تفعيل أنظمة تحديد معدل الطلبات تلقائيًا أو أنظمة الحماية من الروبوتات.
في حال ساورتك الشكوك حول تفعيل آلية تقييد لمعدل الطلبات، فاطلب من فريق الهندسة مراجعة رموز استجابة HTTP، وخاصةً 429 Too Many Requests (طلبات كثيرة جدًا)، وسجلات جدار الحماية أو شبكة CDN، وأحداث التخفيف من نشاط الروبوتات، وقواعد تقييد معدل الطلبات، وتحليلات حركة المرور في الوقت الذي حاول فيه متتبع ملفات الإنترنت الوصول. يمكن أن يساعد ذلك على تحديد ما إذا كانت الطلبات تُبطَّأ أو تُحظر عمدًا بسبب آليات حماية البنية التحتية.
يمكنك أيضًا التفكير في تحميل الإعلانات على مدى فترة زمنية أطول وبدفعات أصغر.
ملاحظة حول Cloudflare
أصبح OAI-AdsBot مُتحققًا منه رسميًا ومُضافًا إلى قائمة السماح لدى Cloudflare.
الأسئلة الشائعة حول متتبعات ملفات الإنترنت والصفحات المنتقل إليها
ما المقصود بمتتبع ملفات الإنترنت المطلوب لمراجعة الإعلانات؟
يُعد OAI-AdsBot ضروريًا للتحقق من صحة ومراجعة الصفحات المنتقل إليها لإعلانات ChatGPT. ويُوصى باستخدام OAI-SearchBot لأنه قد يساعد OpenAI على فهم محتوى الويب العام، ولكن OAI-AdsBot هو متتبع ملفات الإنترنت الذي يجب على المعلنين إعطاؤه الأولوية لضمان جاهزية الإعلانات.
هل يمكن أن يتخطى الدعم عملية التحقق من متتبعات ملفات الإنترنت يدويًا؟
يُرجى عدم التعويل على إجراءات التخطي اليدوية؛ بل يتعين تهيئة الصفحة المنتقل إليها لتكون قابلةً للفهرسة والمسح بواسطة المتتبع OAI-AdsBot. ويتم ذلك عبر معالجة إعدادات ملف robots.txt، وبرمجيات جدران الحماية (WAF)، وشبكات CDN، بالإضافة إلى فك حظر أنظمة تصنيف البوتات، وآليات التحقق من الهوية، وضوابط تقييد حجم الطلبات. علمًا بأن الحملات قد تستدعي إعادة الرفع أو التقديم مجددًا للمراجعة بمجرد عودة الصفحة للعمل وإتاحتها للوصول.
ما الذي يجب على فريق الهندسة لدي التحقق منه أولاً؟
تحقق مما إذا كانت الصفحة المنتقل إليها تُرجع استجابة HTTP ناجحةً إلى OAI-AdsBot، وما إذا كان ملف robots.txt يسمح بالمسار ذي الصلة، وما إذا كان جدار حماية تطبيقات الويب (WAF)، أو شبكة توصيل المحتوى (CDN)، أو حماية البوتات، أو تحديات JavaScript، أو اختبارات CAPTCHA، أو المصادقة، أو القواعد الجغرافية تحظر الوصول الآلي.
هل يُسمح باستخدام روابط متاجر التطبيقات، أو روابط Deep Link، أو الوجهات الخارجة عن نطاق الويب كصفحات منتقل إليها؟
يُستحسن دائمًا الاعتماد على صفحة ويب منتقل إليها ذات رابط مباشر وسهل الوصول كلما أمكن ذلك؛ حيث إن روابط متاجر التطبيقات، وروابط Deep Link، والملفات، أو الوجهات التي تشترط وجود تطبيق مثبت، أو تسجيل دخول مسبق، أو صلاحيات دخول مقيدة بمنطقة معينة، أو تتبع قنوات إعادة توجيه غير مدعومة، قد تعجز عن تقديم محتوىً وافٍ يمكن لبرمجية تتبع ملفات الإنترنت فحصه لإتمام عمليات المصادقة أو المراجعة.
متى ينبغي إعادة التحميل أو طلب المراجعة مرة أخرى؟
بعد إصلاح إمكانية وصول متتبع ملفات الإنترنت، أعِد تحميل الإعلانات المتأثرة أو أعِد تقديمها إذا لم يتم تحديث الحالة تلقائيًا. وبالنسبة إلى الإعلانات المحمّلة جماعيًا، يمكن للمجموعات الأصغر أن تقلّل من مرات تفعيل حدّ الاستخدام أو الحماية من الروبوتات ريثما يتحقق فريقك من صحة عملية الإصلاح.