چرا OpenAI از خزنده‌های وب استفاده می‌کند؟
ما از خزنده‌ها برای تأیید ایمنی صفحات وبی استفاده می‌کنیم که به‌عنوان آگهی در ChatGPT ارسال می‌شوند. وقتی آگهی‌ای ارسال می‌کنید، ممکن است OpenAI از صفحهٔ فرود آن بازدید کند تا از مطابقت آن با سیاست‌های ما مطمئن شود. همچنین ممکن است از محتوای صفحهٔ فرود استفاده کنیم تا مشخص شود در چه موقعیتی نمایش آگهی بیشترین ارتباط را با نیاز کاربران دارد.
باید به کدام خزنده‌های OpenAI اجازهٔ دسترسی بدهید؟
باید به OAI-AdsBot اجازهٔ دسترسی بدهید. توصیه می‌کنیم به هر دو خزندهٔ OAI-AdsBot و OAI-SearchBot اجازهٔ دسترسی بدهید.
برای فیدهای محصول، به OAI-SearchBot اجازهٔ خزش نشانی‌های اینترنتی تصاویر محصول را نیز بدهید. قواعد فایروال، CDN و محافظت در برابر ربات‌ها را در میزبان تصاویر بررسی کنید؛ پاسخ 403 می‌تواند مانع پردازش فید شود.
خزنده‌های OpenAI نمی‌توانند وب‌سایت من را بخزند. چه کار باید بکنم؟
بیشتر وب‌سایت‌ها چندین لایهٔ حفاظتی دارند که خزنده برای دسترسی موفق به یک صفحهٔ وب باید از آن‌ها عبور کند. با همکاری تیم مهندسی یا امنیت خود مطمئن شوید که خزنده‌های OpenAI می‌توانند از هر یک از لایه‌های زیر عبور کنند.
۱. robots.txt
فایل robots.txt به خزنده‌ها اعلام می‌کند که آیا اجازهٔ دسترسی به بخش‌های مشخصی از وب‌سایت شما را دارند یا نه. خزنده‌های OpenAI این قواعد را رعایت می‌کنند. اگر دسترسی در robots.txt ممنوع شده باشد، خزش بلافاصله متوقف می‌شود.
پیکربندی robots.txt خود را بررسی کنید و مطمئن شوید که دسترسی خزنده‌های OpenAI به صفحات و مسیرهای مربوطه صراحتاً مجاز است. برای مثال: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
۲. محافظت از وب و مقابله با ربات‌ها
بسیاری از وب‌سایت‌ها برای مقابله با حملات DDoS، استخراج خودکار داده‌ها و ترافیک غیرمجاز از خدمات Cloudflare، Akamai یا دیگر ارائه‌دهندگان خدمات محافظت از وب استفاده می‌کنند. این سامانه‌ها ممکن است به‌اشتباه خزنده‌های مجاز را مسدود کنند و اغلب خطای 403 Forbidden برگردانند. ازآنجاکه ترافیک خزنده‌های OpenAI ممکن است شبیه الگوهای ترافیک خودکار باشد، احتمال دارد دسترسی آن‌ها رد شود، مگر اینکه مشخصاً در فهرست مجاز قرار گرفته باشند.
پیکربندی محافظت از وب یا فایروال خود را بررسی کنید و در صورت امکان، ترافیک خزنده‌های OpenAI را در فهرست مجاز قرار دهید؛ ترجیحاً بر اساس شناسه‌های User-Agent خزنده‌های ما. تیم مهندسی یا زیرساخت شما باید قواعد خودکار مقابله با ربات‌ها را نیز بررسی کند؛ ممکن است این قواعد ترافیک مجاز را به‌اشتباه نامطلوب تشخیص دهند.
۳. تأیید انسان بودن و منطق ضدربات
برخی وب‌سایت‌ها برای تأیید انسان بودن بازدیدکننده، بررسی‌های بیشتری در سطح برنامه انجام می‌دهند؛ مانند کپچا، چالش‌های JavaScript، تحلیل رفتار یا اعتبارسنجی نشست. ازآنجاکه خزنده‌های OpenAI سامانه‌هایی خودکار هستند، این بررسی‌ها ممکن است حتی پس از عبور موفق خزنده از لایه‌های قبلی، دسترسی آن را مسدود کنند.
هرگونه منطق تأیید انسان بودن یا مقابله با دسترسی خودکار را که در برنامهٔ شما پیاده‌سازی شده است بررسی کنید و مطمئن شوید که خزنده‌های OpenAI در موارد مقتضی از آن معاف هستند؛ ترجیحاً با قرار دادن شناسه‌های User-Agent خزنده‌های ما در فهرست مجاز.
نکته‌ای دربارهٔ محدوده‌های ثابت IP
برخی سامانه‌های امنیتی برای اینکه بتوانند ترافیک خزنده را به‌طور قابل‌اتکا در فهرست مجاز قرار دهند، الزام می‌کنند که این ترافیک از محدوده‌های ثابت IP با مستندات عمومی منشأ بگیرد. ازآنجاکه زیرساخت خزنده ممکن است با گذشت زمان تغییر کند، تیم مهندسی شما نباید صرفاً به نشانی‌های IP مشاهده‌شده در گزارش‌ها طی یک بازهٔ کوتاه تکیه کند. در عوض، برای اعتبارسنجی ترافیک از ترکیبی از این روش‌ها استفاده کنید: شناسایی User-Agent، برنامه‌های تأیید ربات در صورت پشتیبانی، فهرست‌های مجاز فایروال، نحوهٔ پیروی از robots.txt و سامانه‌های تأیید ربات در سطح ارائه‌دهنده.
اگر لازم است فهرستی ثابت از محدوده‌های IP را مجاز کنید، به https://openai.com/searchbot.json و https://openai.com/adsbot.json مراجعه کنید.
نکته‌ای دربارهٔ محدودسازی نرخ درخواست‌ها
بارگذاری‌های گروهی حجیم یا افزایش ناگهانی ترافیک خزنده گاهی می‌تواند سامانه‌های خودکار محدودسازی نرخ درخواست‌ها یا محافظت در برابر ربات‌ها را فعال کند.
اگر احتمال می‌دهید نرخ درخواست‌ها محدود شده است، از تیم مهندسی خود بخواهید کدهای پاسخ HTTP، به‌ویژه 429 Too Many Requests، گزارش‌های فایروال یا CDN، رویدادهای مقابله با ربات‌ها، قواعد محدودسازی درخواست‌ها و تحلیل ترافیک را در حوالی زمانی که خزنده برای دسترسی تلاش کرده است، بررسی کند. این بررسی می‌تواند مشخص کند که آیا سازوکارهای حفاظتی زیرساخت عمداً سرعت پردازش درخواست‌ها را کاهش می‌دهند یا آن‌ها را مسدود می‌کنند.
همچنین می‌توانید آگهی‌ها را در دسته‌های کوچک‌تر و طی بازهٔ زمانی طولانی‌تری بارگذاری کنید.
نکته‌ای دربارهٔ Cloudflare
Cloudflare رسماً OAI-AdsBot را تأیید کرده و در فهرست مجاز قرار داده است.
پرسش‌های متداول دربارهٔ خزنده‌ها و صفحات فرود
کدام خزنده برای بررسی آگهی‌ها ضروری است؟
OAI-AdsBot برای اعتبارسنجی و بررسی صفحهٔ فرود در تبلیغات ChatGPT ضروری است. استفاده از OAI-SearchBot توصیه می‌شود، زیرا ممکن است به OpenAI در درک محتوای عمومی وب کمک کند؛ اما تبلیغ‌دهندگان برای آماده‌سازی آگهی‌های خود باید دسترسی OAI-AdsBot را در اولویت قرار دهند.
آیا تیم پشتیبانی می‌تواند اعتبارسنجی خزنده را به‌صورت دستی نادیده بگیرد؟
روی نادیده گرفتن دستی این مرحله حساب نکنید. با رفع موانع دسترسی ناشی از robots.txt، WAF، CDN، مقابله با ربات‌ها، احراز هویت و محدودسازی نرخ درخواست‌ها، امکان خزش صفحهٔ فرود را برای OAI-AdsBot فراهم کنید. پس از در دسترس قرار گرفتن صفحهٔ فرود، ممکن است لازم باشد آگهی‌ها را دوباره بارگذاری کنید یا برای بررسی مجدد بفرستید.
تیم مهندسی من ابتدا باید چه مواردی را بررسی کند؟
بررسی کنید که آیا صفحهٔ فرود به OAI-AdsBot پاسخ HTTP موفق می‌دهد، آیا robots.txt دسترسی به مسیر مربوطه را مجاز می‌داند و آیا WAF، CDN، سازوکارهای مقابله با ربات‌ها، چالش‌های JavaScript، کپچا، احراز هویت یا قواعد جغرافیایی، دسترسی خودکار را مسدود می‌کنند.
آیا پیوندهای فروشگاه برنامه، پیوندهای عمیق یا مقصدهای خارج از وب به‌عنوان صفحهٔ فرود پشتیبانی می‌شوند؟
در صورت امکان، از صفحهٔ فرودی در وب استفاده کنید که مستقیماً در دسترس باشد. پیوندهای فروشگاه برنامه، پیوندهای عمیق، اسناد یا مقصدهایی که به برنامه، ورود به حساب، دسترسی مختص منطقه‌ای خاص یا تغییرمسیرهای پشتیبانی‌نشده نیاز دارند، ممکن است محتوای قابل‌خزش کافی برای اعتبارسنجی یا بررسی فراهم نکنند.
چه زمانی باید دوباره بارگذاری کنم یا درخواست بررسی مجدد بدهم؟
پس از رفع مشکل دسترسی خزنده، اگر وضعیت خودبه‌خود به‌روز نشد، آگهی‌های دچار مشکل را دوباره بارگذاری کنید یا برای بررسی مجدد بفرستید. برای آگهی‌هایی که به‌صورت انبوه بارگذاری می‌شوند، استفاده از دسته‌های کوچک‌تر می‌تواند در مدتی که تیم شما رفع مشکل را بررسی می‌کند، احتمال فعال شدن محدودیت نرخ درخواست‌ها یا محافظت در برابر ربات‌ها را کاهش دهد.