Mengapa OpenAI menggunakan perayap web?
Kami menggunakan perayap untuk mengesahkan keselamatan halaman web yang dihantar sebagai iklan di ChatGPT. Apabila anda menghantar iklan, OpenAI mungkin melawati halaman pendaratan untuk memastikan ia mematuhi dasar kami. Kami juga mungkin menggunakan kandungan daripada halaman pendaratan untuk menentukan masa paling relevan untuk memaparkan iklan kepada pengguna.
Perayap OpenAI yang manakah patut anda benarkan?
Anda mesti membenarkan OAI-AdsBot. Kami mengesyorkan agar anda membenarkan kedua-dua OAI-AdsBot dan OAI-SearchBot.
Perayap OpenAI gagal merayap laman web saya. Apakah yang patut saya lakukan?
Kebanyakan laman web mempunyai berbilang lapisan perlindungan sebelum perayap dapat mengakses halaman web dengan berjaya. Bekerjasama dengan pasukan kejuruteraan atau keselamatan anda untuk mengesahkan bahawa perayap OpenAI boleh melepasi setiap lapisan berikut.
1. robots.txt
Fail robots.txt memberitahu perayap sama ada mereka dibenarkan mengakses bahagian tertentu pada laman web anda. Perayap OpenAI mematuhi peraturan ini. Jika akses tidak dibenarkan dalam robots.txt, perayapan akan berhenti serta-merta.
Semak konfigurasi robots.txt anda dan sahkan bahawa perayap OpenAI dibenarkan secara jelas untuk mengakses halaman dan laluan yang berkaitan. Contohnya: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Perlindungan web dan mitigasi bot
Banyak laman web menggunakan perkhidmatan seperti Cloudflare, Akamai atau penyedia perlindungan web lain untuk bertahan daripada serangan DDoS, pengikisan dan trafik tanpa kebenaran. Sistem ini boleh tersilap menyekat perayap yang sah, selalunya dengan mengembalikan ralat 403 Forbidden. Oleh sebab perayap OpenAI boleh menyerupai corak trafik automatik, aksesnya mungkin dinafikan melainkan ia dimasukkan secara khusus dalam senarai dibenarkan.
Semak konfigurasi perlindungan web atau tembok api anda dan masukkan trafik perayap OpenAI dalam senarai dibenarkan jika boleh, sebaik-baiknya berdasarkan ejen pengguna perayap kami. Pasukan kejuruteraan atau infrastruktur anda juga patut memeriksa sebarang peraturan mitigasi bot automatik yang boleh mencetuskan positif palsu.
3. Pengesahan manusia dan logik anti-bot
Sesetengah laman web melaksanakan semakan tambahan pada peringkat aplikasi untuk mengesahkan bahawa pelawat ialah manusia, seperti CAPTCHA, cabaran JavaScript, analisis tingkah laku atau pengesahan sesi. Memandangkan perayap OpenAI ialah sistem automatik, semakan ini mungkin menyekat akses walaupun perayap berjaya melepasi lapisan terdahulu.
Semak sebarang logik pengesahan manusia atau anti-automasi yang dilaksanakan dalam aplikasi anda dan pastikan perayap OpenAI dikecualikan jika sesuai, sebaik-baiknya dengan memasukkan ejen pengguna perayap kami dalam senarai dibenarkan.
Nota tentang julat IP yang stabil
Sesetengah sistem keselamatan memerlukan trafik perayap berasal daripada julat IP yang stabil dan didokumenkan secara umum sebelum trafik boleh dimasukkan dalam senarai dibenarkan dengan pasti. Oleh sebab infrastruktur perayap mungkin berubah dari semasa ke semasa, pasukan kejuruteraan anda patut mengelak daripada bergantung semata-mata pada pemerhatian IP jangka pendek daripada log. Sebaliknya, sahkan trafik melalui gabungan pengenalan ejen pengguna, program bot yang disahkan jika disokong, senarai dibenarkan tembok api, tingkah laku robots.txt dan sistem pengesahan bot pada peringkat penyedia.
Jika anda mesti membenarkan senarai julat IP yang stabil, rujuk https://openai.com/searchbot.json dan https://openai.com/adsbot.json.
Nota tentang pengehadkan kadar
Muat naik berkelompok yang besar atau lonjakan trafik perayap secara mendadak kadangkala boleh mencetuskan pengehadkan kadar automatik atau sistem perlindungan bot.
Jika anda mengesyaki pengehadkan kadar sedang berlaku, minta pasukan kejuruteraan anda menyemak kod respons HTTP, terutamanya 429 Too Many Requests, log tembok api atau CDN, peristiwa mitigasi bot, peraturan pendikitan permintaan dan analitik trafik sekitar masa perayap cuba mengakses. Ini boleh membantu mengenal pasti sama ada permintaan sengaja diperlahankan atau disekat oleh perlindungan infrastruktur.
Anda juga boleh mempertimbangkan untuk memuat naik iklan dalam kelompok yang lebih kecil sepanjang tempoh masa yang lebih panjang.
Nota tentang Cloudflare
OAI-AdsBot disahkan secara rasmi dan dimasukkan dalam senarai dibenarkan oleh Cloudflare.
Soalan lazim tentang perayap dan halaman pendaratan
Perayap manakah yang diperlukan untuk semakan iklan?
OAI-AdsBot diperlukan untuk pengesahan dan semakan halaman pendaratan Iklan ChatGPT. OAI-SearchBot disyorkan kerana ia boleh membantu OpenAI memahami kandungan web awam, tetapi OAI-AdsBot ialah perayap yang patut diberi keutamaan oleh pengiklan untuk memastikan iklan bersedia.
Bolehkah sokongan memintas pengesahan perayap secara manual?
Jangan bergantung pada pintasan manual. Pastikan halaman pendaratan boleh dirayap oleh OAI-AdsBot dengan membetulkan robots.txt, WAF, CDN, mitigasi bot, pengesahan dan sekatan pengehadkan kadar. Iklan mungkin perlu dimuat naik semula atau dihantar semula untuk semakan selepas halaman pendaratan boleh diakses.
Apakah yang patut diperiksa dahulu oleh pasukan kejuruteraan saya?
Semak sama ada halaman pendaratan mengembalikan respons HTTP yang berjaya kepada OAI-AdsBot, sama ada robots.txt membenarkan laluan yang berkaitan, dan sama ada WAF, CDN, mitigasi bot, cabaran JavaScript, CAPTCHA, pengesahan atau peraturan geo menyekat akses automatik.
Adakah pautan gedung aplikasi, pautan dalam atau destinasi bukan web disokong sebagai halaman pendaratan?
Gunakan halaman pendaratan web yang boleh dicapai secara langsung apabila boleh. Pautan gedung aplikasi, pautan dalam, dokumen atau destinasi yang memerlukan aplikasi, log masuk, akses khusus wilayah atau ubah hala yang tidak disokong mungkin tidak menyediakan kandungan yang cukup boleh dirayap untuk pengesahan atau semakan.
Bilakah saya patut memuat naik semula atau meminta semakan sekali lagi?
Selepas membetulkan akses perayap, muat naik semula atau hantar semula iklan yang terjejas jika status tidak dikemas kini dengan sendiri. Untuk iklan yang dimuat naik secara pukal, kelompok yang lebih kecil boleh mengurangkan pencetus had kadar atau perlindungan bot sementara pasukan anda mengesahkan pembetulan.