چرا OpenAI از خزنده‌های وب استفاده می‌کند؟
ما از خزنده‌ها برای تأیید ایمنی صفحات وبی استفاده می‌کنیم که به‌عنوان تبلیغ در ChatGPT ثبت می‌شوند. وقتی تبلیغی ثبت می‌کنید، ممکن است OpenAI از صفحه فرود بازدید کند تا از مطابقت آن با خط‌مشی‌های ما مطمئن شود. همچنین ممکن است از محتوای صفحه فرود استفاده کنیم تا مناسب‌ترین زمان نمایش تبلیغ به کاربران را تعیین کنیم.
باید به کدام خزنده‌های OpenAI اجازه دسترسی بدهید؟
باید به OAI-AdsBot اجازه دسترسی بدهید. توصیه می‌کنیم به هر دو خزنده OAI-AdsBot و OAI-SearchBot اجازه دسترسی بدهید.
برای فیدهای محصول، به OAI-SearchBot نیز اجازه دهید نشانی‌های اینترنتی تصاویر محصول را بخزد. قوانین فایروال، CDN و محافظت در برابر ربات را در میزبان تصویر بررسی کنید؛ پاسخ 403 می‌تواند پردازش فید را مسدود کند.
خزنده‌های OpenAI نمی‌توانند وب‌سایت من را بخزند. چه‌کار باید بکنم؟
بیشتر وب‌سایت‌ها چندین لایه حفاظتی دارند که خزنده باید پیش از دسترسی موفق به صفحه وب از آن‌ها عبور کند. با تیم مهندسی یا امنیت خود همکاری کنید تا مطمئن شوید خزنده‌های OpenAI می‌توانند از هر یک از لایه‌های زیر عبور کنند.
۱. robots.txt
فایل robots.txt به خزنده‌ها اعلام می‌کند که آیا اجازه دسترسی به بخش‌های خاصی از وب‌سایت شما را دارند یا خیر. خزنده‌های OpenAI از این قوانین پیروی می‌کنند. اگر دسترسی در robots.txt مجاز نباشد، خزیدن بلافاصله متوقف می‌شود.
پیکربندی robots.txt را بررسی و تأیید کنید که خزنده‌های OpenAI صراحتاً اجازه دسترسی به صفحات و مسیرهای مربوطه را دارند. برای مثال: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
۲. محافظت از وب و مقابله با ربات‌ها
بسیاری از وب‌سایت‌ها برای مقابله با حملات DDoS، استخراج خودکار محتوا و ترافیک غیرمجاز از خدماتی مانند Cloudflare، Akamai یا دیگر ارائه‌دهندگان محافظت از وب استفاده می‌کنند. این سامانه‌ها ممکن است به‌اشتباه خزنده‌های مجاز را مسدود کنند و اغلب خطای 403 Forbidden برگردانند. ازآنجاکه خزنده‌های OpenAI ممکن است شبیه الگوهای ترافیک خودکار به نظر برسند، احتمال دارد مسدود شوند، مگر اینکه صراحتاً در فهرست مجاز قرار گیرند.
پیکربندی محافظت از وب یا فایروال خود را بررسی کنید و در صورت امکان، ترافیک خزنده‌های OpenAI را ترجیحاً بر اساس عامل‌های کاربری خزنده‌های ما در فهرست مجاز قرار دهید. تیم مهندسی یا زیرساخت شما باید قوانین خودکار مقابله با ربات‌ها را نیز بررسی کند که ممکن است موجب تشخیص‌های مثبت کاذب شوند.
۳. تأیید انسان بودن و سازوکارهای ضدربات
برخی وب‌سایت‌ها برای اطمینان از انسان بودن بازدیدکننده، بررسی‌های بیشتری در سطح برنامه اجرا می‌کنند؛ مانند CAPTCHA، چالش‌های JavaScript، تحلیل رفتار یا اعتبارسنجی نشست. ازآنجاکه خزنده‌های OpenAI سامانه‌هایی خودکارند، ممکن است این بررسی‌ها حتی پس از عبور موفق خزنده از لایه‌های قبلی، دسترسی را مسدود کنند.
هرگونه سازوکار تأیید انسان بودن یا مقابله با خودکارسازی را در برنامه خود بررسی کنید و مطمئن شوید خزنده‌های OpenAI در موارد مقتضی از آن مستثنا هستند؛ ترجیحاً با افزودن عامل‌های کاربری خزنده‌های ما به فهرست مجاز.
نکته‌ای درباره محدوده‌های IP ثابت
برخی سامانه‌های امنیتی برای اینکه بتوانند ترافیک خزنده‌ها را با اطمینان در فهرست مجاز قرار دهند، لازم می‌دانند این ترافیک از محدوده‌های IP ثابت و مستندشده عمومی منشأ بگیرد. ازآنجاکه زیرساخت خزنده‌ها ممکن است به‌مرور تغییر کند، تیم مهندسی شما نباید صرفاً به مشاهدات کوتاه‌مدت IP در گزارش‌ها متکی باشد. در عوض، ترافیک را با ترکیبی از شناسایی عامل کاربر، برنامه‌های ربات تأییدشده در صورت پشتیبانی، فهرست‌های مجاز فایروال، رفتار robots.txt و سامانه‌های تأیید ربات در سطح ارائه‌دهنده اعتبارسنجی کنید.
اگر باید فهرستی ثابت از محدوده‌های IP را مجاز کنید، به https://openai.com/searchbot.json و https://openai.com/adsbot.json مراجعه کنید.
نکته‌ای درباره محدودسازی نرخ درخواست
بارگذاری‌های گروهی بزرگ یا افزایش ناگهانی ترافیک خزنده گاهی می‌تواند سامانه‌های خودکار محدودسازی نرخ درخواست یا محافظت در برابر ربات را فعال کند.
اگر احتمال می‌دهید محدودسازی نرخ درخواست رخ داده است، از تیم مهندسی بخواهید کدهای پاسخ HTTP، به‌ویژه 429 Too Many Requests، گزارش‌های فایروال یا CDN، رویدادهای مقابله با ربات، قوانین کاهش سرعت درخواست و تحلیل ترافیک در زمان تلاش خزنده برای دسترسی را بررسی کند. این بررسی می‌تواند مشخص کند که آیا درخواست‌ها عمداً به‌دلیل تدابیر حفاظتی زیرساخت کند یا مسدود شده‌اند.
همچنین می‌توانید تبلیغات را در گروه‌های کوچک‌تر و طی بازه زمانی طولانی‌تری بارگذاری کنید.
نکته‌ای درباره Cloudflare
OAI-AdsBot رسماً توسط Cloudflare تأیید و در فهرست مجاز قرار گرفته است.
پرسش‌های متداول درباره خزنده و صفحه فرود
برای بررسی تبلیغات کدام خزنده لازم است؟
برای اعتبارسنجی و بررسی صفحه فرود تبلیغات ChatGPT، OAI-AdsBot لازم است. استفاده از OAI-SearchBot توصیه می‌شود، زیرا ممکن است به OpenAI در درک محتوای عمومی وب کمک کند؛ اما برای آماده‌سازی تبلیغات، تبلیغ‌دهندگان باید OAI-AdsBot را در اولویت قرار دهند.
آیا پشتیبانی می‌تواند اعتبارسنجی خزنده را به‌صورت دستی دور بزند؟
به دور زدن دستی متکی نباشید. با رفع موانع مربوط به robots.txt، WAF، CDN، مقابله با ربات، احراز هویت و محدودسازی نرخ درخواست، صفحه فرود را برای OAI-AdsBot قابل‌خزش کنید. ممکن است پس از در دسترس قرار گرفتن صفحه فرود، لازم باشد تبلیغات دوباره بارگذاری یا برای بررسی مجدد ثبت شوند.
تیم مهندسی من ابتدا چه مواردی را باید بررسی کند؟
بررسی کنید که آیا صفحه فرود پاسخ HTTP موفقی به OAI-AdsBot می‌دهد، آیا robots.txt مسیر مربوطه را مجاز می‌داند و آیا WAF، CDN، سازوکار مقابله با ربات، چالش‌های JavaScript، CAPTCHA، احراز هویت یا قوانین جغرافیایی دسترسی خودکار را مسدود می‌کنند.
آیا پیوندهای فروشگاه برنامه، پیوندهای عمیق یا مقصدهای غیروب به‌عنوان صفحه فرود پشتیبانی می‌شوند؟
تا حد امکان از یک صفحه فرود وب با دسترسی مستقیم استفاده کنید. پیوندهای فروشگاه برنامه، پیوندهای عمیق، اسناد یا مقصدهایی که به برنامه، ورود به حساب، دسترسی مختص منطقه یا تغییرمسیرهای پشتیبانی‌نشده نیاز دارند، ممکن است محتوای قابل‌خزش کافی برای اعتبارسنجی یا بررسی ارائه نکنند.
چه زمانی باید دوباره بارگذاری کنم یا مجدداً درخواست بررسی بدهم؟
پس از رفع مشکل دسترسی خزنده، اگر وضعیت خودکار به‌روز نشد، تبلیغات تحت‌تأثیر را دوباره بارگذاری یا ثبت کنید. برای تبلیغاتی که به‌صورت انبوه بارگذاری شده‌اند، استفاده از گروه‌های کوچک‌تر می‌تواند هنگام اعتبارسنجی راه‌حل توسط تیم شما، احتمال فعال شدن محدودیت نرخ درخواست یا محافظت در برابر ربات را کاهش دهد.