چرا OpenAI از خزندههای وب استفاده میکند؟
ما از خزندهها برای اعتبارسنجی ایمنی صفحات وبی استفاده میکنیم که بهعنوان تبلیغ در ChatGPT ارسال میشوند. وقتی تبلیغی ارسال میکنید، OpenAI ممکن است از صفحه فرود بازدید کند تا مطمئن شود با سیاستهای ما مطابقت دارد. همچنین ممکن است از محتوای صفحه فرود استفاده کنیم تا تشخیص دهیم نمایش تبلیغ به کاربران در چه زمانی بیشترین ارتباط را دارد.
باید به کدام خزندههای OpenAI اجازه دسترسی بدهید؟
باید به OAI-AdsBot اجازه دسترسی بدهید. توصیه میکنیم به هر دو OAI-AdsBot و OAI-SearchBot اجازه دسترسی بدهید.
خزندههای OpenAI نمیتوانند وبسایت من را بخزند. چه کاری باید انجام دهم؟
بیشتر وبسایتها پیش از آنکه یک خزنده بتواند با موفقیت به صفحهای دسترسی پیدا کند، چندین لایه محافظتی دارند. با تیم مهندسی یا امنیت خود همکاری کنید تا مطمئن شوید خزندههای OpenAI میتوانند از هر یک از لایههای زیر عبور کنند.
1. robots.txt
فایل robots.txt به خزندهها میگوید آیا اجازه دارند به بخشهای مشخصی از وبسایت شما دسترسی داشته باشند یا نه. خزندههای OpenAI این قواعد را رعایت میکنند. اگر دسترسی در robots.txt مجاز نباشد، خزش بلافاصله متوقف میشود.
پیکربندی robots.txt خود را بررسی کنید و مطمئن شوید خزندههای OpenAI بهطور صریح اجازه دسترسی به صفحات و مسیرهای مرتبط را دارند. برای مثال: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. محافظت وب و کاهش اثر رباتها
بسیاری از وبسایتها از سرویسهایی مانند Cloudflare، Akamai یا ارائهدهندگان دیگر محافظت وب برای دفاع در برابر حملات DDoS، scraping و ترافیک غیرمجاز استفاده میکنند. این سامانهها ممکن است بهاشتباه خزندههای مجاز را مسدود کنند و اغلب خطاهای 403 Forbidden برگردانند. از آنجا که خزندههای OpenAI میتوانند شبیه الگوهای ترافیک خودکار به نظر برسند، ممکن است دسترسی آنها رد شود مگر اینکه بهطور مشخص در فهرست مجاز قرار گرفته باشند.
پیکربندی محافظت وب یا دیوار آتش خود را بررسی کنید و در صورت امکان، ترافیک خزندههای OpenAI را، ترجیحاً بر اساس user agentهای خزندههای ما، در فهرست مجاز قرار دهید. تیم مهندسی یا زیرساخت شما همچنین باید هر قاعده خودکار کاهش اثر ربات را که ممکن است باعث مثبت کاذب شود بررسی کند.
3. تأیید انسانی و منطق ضدربات
برخی وبسایتها برای تأیید انسان بودن بازدیدکننده، بررسیهای بیشتری در سطح برنامه پیادهسازی میکنند؛ مانند CAPTCHA، چالشهای JavaScript، تحلیل رفتاری یا اعتبارسنجی نشست. از آنجا که خزندههای OpenAI سامانههایی خودکار هستند، این بررسیها ممکن است دسترسی را مسدود کنند، حتی اگر خزنده با موفقیت از لایههای قبلی عبور کرده باشد.
هر منطق تأیید انسانی یا ضدخودکارسازی را که در برنامه خود پیادهسازی کردهاید بررسی کنید و مطمئن شوید خزندههای OpenAI در موارد مناسب مستثنا شدهاند؛ ترجیحاً با قرار دادن user agentهای خزندههای ما در فهرست مجاز.
نکتهای درباره محدودههای IP پایدار
برخی سامانههای امنیتی، پیش از آنکه بتوانند ترافیک خزنده را بهطور قابلاعتماد در فهرست مجاز قرار دهند، الزام میکنند که این ترافیک از محدودههای IP پایدار و مستندشده عمومی منشأ بگیرد. از آنجا که زیرساخت خزندهها ممکن است در طول زمان تغییر کند، تیم مهندسی شما نباید صرفاً به مشاهدات کوتاهمدت IP در لاگها تکیه کند. در عوض، ترافیک را از طریق ترکیبی از شناسایی user-agent، برنامههای ربات تأییدشده در صورت پشتیبانی، فهرستهای مجاز دیوار آتش، رفتار robots.txt و سامانههای تأیید ربات در سطح ارائهدهنده اعتبارسنجی کنید.
اگر ناچارید فهرستی پایدار از محدودههای IP را مجاز کنید، به https://openai.com/searchbot.json و https://openai.com/adsbot.json مراجعه کنید.
نکتهای درباره محدودیت تعداد درخواست
بارگذاریهای دستهای بزرگ یا افزایش ناگهانی ترافیک خزنده گاهی میتواند سامانههای خودکار محدودیت تعداد درخواست یا محافظت در برابر ربات را فعال کند.
اگر احتمال میدهید محدودیت تعداد درخواست در حال اعمال است، از تیم مهندسی خود بخواهید کدهای پاسخ HTTP، بهویژه 429 Too Many Requests، لاگهای دیوار آتش یا CDN، رویدادهای کاهش اثر ربات، قواعد کاهش سرعت درخواستها و تحلیل ترافیک را در بازه زمانی تلاش خزنده برای دسترسی بررسی کند. این کار میتواند کمک کند مشخص شود آیا درخواستها عمداً توسط محافظتهای زیرساختی کند یا مسدود میشوند یا نه.
همچنین میتوانید تبلیغات را در دستههای کوچکتر و طی بازه زمانی طولانیتری بارگذاری کنید.
نکتهای درباره Cloudflare
OAI-AdsBot بهطور رسمی توسط Cloudflare تأیید شده و در فهرست مجاز قرار گرفته است.
پرسشهای متداول درباره خزنده و صفحه فرود
کدام خزنده برای بررسی تبلیغات لازم است؟
OAI-AdsBot برای اعتبارسنجی و بررسی صفحه فرود تبلیغات ChatGPT لازم است. OAI-SearchBot توصیه میشود، چون ممکن است به OpenAI کمک کند محتوای عمومی وب را درک کند؛ اما OAI-AdsBot خزندهای است که تبلیغدهندگان باید برای آمادهسازی تبلیغات در اولویت قرار دهند.
آیا پشتیبانی میتواند اعتبارسنجی خزنده را بهصورت دستی دور بزند؟
به دور زدن دستی متکی نباشید. با رفع موانع robots.txt، WAF، CDN، کاهش اثر ربات، احراز هویت و محدودیت تعداد درخواست، صفحه فرود را برای OAI-AdsBot قابل خزش کنید. پس از در دسترس قرار گرفتن صفحه فرود، ممکن است لازم باشد تبلیغات دوباره بارگذاری یا برای بررسی دوباره ارسال شوند.
تیم مهندسی من ابتدا باید چه چیزی را بررسی کند؟
بررسی کنید آیا صفحه فرود برای OAI-AdsBot پاسخ HTTP موفق برمیگرداند، آیا robots.txt مسیر مرتبط را مجاز کرده است، و آیا WAF، CDN، کاهش اثر ربات، چالشهای JavaScript، CAPTCHA، احراز هویت یا قواعد جغرافیایی دسترسی خودکار را مسدود میکنند یا نه.
آیا پیوندهای فروشگاه برنامه، deep linkها یا مقصدهای غیر وب بهعنوان صفحه فرود پشتیبانی میشوند؟
هر زمان ممکن است، از یک صفحه فرود وب که مستقیماً قابل دسترسی باشد استفاده کنید. پیوندهای فروشگاه برنامه، deep linkها، اسناد یا مقصدهایی که به برنامه، ورود به حساب، دسترسی ویژه یک منطقه یا تغییرمسیرهای پشتیبانینشده نیاز دارند، ممکن است محتوای قابل خزش کافی برای اعتبارسنجی یا بررسی ارائه نکنند.
چه زمانی باید دوباره بارگذاری کنم یا دوباره درخواست بررسی بدهم؟
پس از رفع مشکل دسترسی خزنده، اگر وضعیت خودبهخود بهروزرسانی نشد، تبلیغات تحت تأثیر را دوباره بارگذاری یا دوباره ارسال کنید. برای تبلیغاتی که بهصورت انبوه بارگذاری شدهاند، دستههای کوچکتر میتوانند محرکهای محدودیت تعداد درخواست یا محافظت در برابر ربات را کاهش دهند تا تیم شما اصلاح انجامشده را اعتبارسنجی کند.