لماذا تستخدم OpenAI متتبعات ملفات الإنترنت؟
نستخدم متتبعات ملفات الإنترنت للتحقق من سلامة صفحات الويب المقدّمة كإعلانات على ChatGPT. عند إرسال إعلان، قد تزور OpenAI الصفحة المنتقل إليها للتأكد من توافقها مع سياساتنا. وقد نستخدم أيضًا محتوى الصفحة المنتقل إليها لتحديد الوقت الأنسب لعرض الإعلان على المستخدمين.
ما متتبعات ملفات الإنترنت الخاصة بـ OpenAI التي يجب السماح بها؟
يجب السماح لـ OAI-AdsBot. ونوصي بالسماح لكلٍ من OAI-AdsBot وOAI-SearchBot
لا تتمكن متتبعات ملفات الإنترنت الخاصة بـ OpenAI من الوصول إلى موقعي الإلكتروني. ماذا يجب أن أفعل؟
تحتوي معظم المواقع على عدة طبقات حماية قبل أن يتمكن متتبع ملفات الإنترنت من الوصول إلى صفحة الويب بنجاح. نوصي بالتعاون مع فريق الهندسة/الأمن لديك للتحقق من أن متتبعات ملفات الإنترنت الخاصة بـ OpenAI يمكنها المرور عبر كل طبقة من الطبقات التالية:
1. robots.txt
نظرة عامة: يحدد ملف robots.txt ما إذا كان يُسمح لمتتبعات ملفات الإنترنت بالوصول إلى أجزاء معينة من موقعك الإلكتروني. تلتزم متتبعات ملفات الإنترنت الخاصة بـ OpenAI بهذه القواعد. وإذا كان الوصول محظورًا في robots.txt، فستتوقف عملية التتبع فورًا.
التوصية: راجع إعدادات robots.txt وتأكد من السماح صراحةً لمتتبعات ملفات الإنترنت الخاصة بـ OpenAI بالوصول إلى الصفحات والمسارات ذات الصلة.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. حماية الويب / التخفيف من الروبوتات
نظرة عامة: تستخدم العديد من المواقع الإلكترونية خدمات مثل Cloudflare وAkamai أو موفري حماية الويب الآخرين للحماية من هجمات DDoS وعمليات الاستخراج الآلي للبيانات والطلبات غير المصرّح بها. وقد تحظر هذه الأنظمة متتبعات ملفات الإنترنت المشروعة عن طريق الخطأ، وغالبًا ما تُرجع أخطاء 403 Forbidden. ونظرًا لأن متتبعات ملفات الإنترنت الخاصة بـ OpenAI قد تشبه أنماط الطلبات الآلية، فقد يُمنع وصولها ما لم تُضف صراحةً إلى قائمة السماح.
التوصية: راجِع إعدادات حماية الويب أو جدار الحماية لديك، وأضف الطلبات الواردة من متتبعات ملفات الإنترنت الخاصة بـ OpenAI إلى قائمة السماح حيثما أمكن، ويفضل أن يكون ذلك استنادًا إلى وكلاء المستخدم الخاصة بمتتبعاتنا. كما ينبغي لفريق الهندسة أو البنية التحتية لديك فحص أي قواعد آلية للتخفيف من الروبوتات قد تؤدي إلى ظهور نتائج إيجابية كاذبة.
3. التحقق البشري / منطق مكافحة الروبوتات
نظرة عامة: تطبّق بعض المواقع الإلكترونية عمليات تحقق إضافية على مستوى التطبيق للتأكد من أن الزائر إنسان (على سبيل المثال: اختبارات CAPTCHA، أو تحديات JavaScript، أو تحليل السلوك، أو التحقق من صحة الجلسة). ونظرًا لأن متتبعات ملفات الإنترنت الخاصة بـ OpenAI هي أنظمة آلية، فقد تمنع هذه العمليات الوصول حتى إذا نجح متتبع ملفات الإنترنت في اجتياز طبقات الحماية السابقة.
التوصية: راجِع أي آليات للتحقق البشري أو منطق لمكافحة الأتمتة مُطبَّقة داخل تطبيقك، وتأكد من استثناء متتبعات ملفات الإنترنت الخاصة بـ OpenAI عند الاقتضاء، ويفضَّل أن يكون ذلك من خلال إضافتها إلى قائمة السماح استنادًا إلى وكلاء المستخدم الخاصة بمتتبعاتنا.
ملاحظة حول نطاقات عناوين IP الثابتة
تتطلب بعض أنظمة الأمان أن تنشأ طلبات متتبعات ملفات الإنترنت من نطاقات عناوين IP ثابتة وموثقة علنًا قبل أن يمكن إدراجها بشكل موثوق في قائمة السماح.
نظرًا لأن بنية متتبعات ملفات الإنترنت قد تتطور بمرور الوقت، ينبغي على فريق الهندسة لديك تجنّب الاعتماد فقط على الملاحظات قصيرة المدى لعناوين IP من السجلات. وبدلًا من ذلك، نوصي بالتحقق من الطلبات عبر مزيج من: تحديد وكيل المستخدم، وبرامج التحقق من الروبوتات المعتمدة (عند توفرها)، وقوائم السماح في جدران الحماية، وسلوك ملف robots.txt، وأنظمة التحقق من الروبوتات على مستوى موفّر الخدمة.
إذا كان لا بد من السماح بقائمة ثابتة من نطاقات عناوين IP، فيُرجى الرجوع إلى:
ملاحظة حول تحديد معدل الطلبات
قد تؤدي عمليات التحميل المجمّعة الكبيرة أو الارتفاعات المفاجئة في طلبات متتبعات ملفات الإنترنت إلى تفعيل أنظمة تحديد معدل الطلبات تلقائيًا أو أنظمة الحماية من الروبوتات.
إذا كنت تشك في تطبيق تقييد لمعدل الطلبات، فاطلب من فريق الهندسة لديك مراجعة ما يلي:
رموز الاستجابة لبروتوكول HTTP (خاصةً 429 - عدد كبير جدًا من الطلبات)
سجلات جدار الحماية أو شبكة توصيل المحتوى (CDN)
أحداث التخفيف من نشاط الروبوتات
قواعد تقييد معدل الطلبات
تحليلات حركة الطلبات حول الوقت الذي حاول فيه متتبع ملفات الإنترنت الوصول
يمكن أن يساعد ذلك على تحديد ما إذا كانت الطلبات تُبطَّأ أو تُحظر عمدًا بسبب آليات حماية البنية التحتية.
يمكنك أيضًا التفكير في تحميل الإعلانات على فترات زمنية أطول وبدفعات أصغر.
ملاحظة حول Cloudflare
أصبح OAI-AdsBot الآن مُتحققًا منه رسميًا ومُضافًا إلى قائمة السماح لدى Cloudflare.