Mengapa OpenAI menggunakan web crawler?
Kami menggunakan crawler untuk memvalidasi keamanan halaman web yang diajukan sebagai iklan di ChatGPT. Saat Anda mengirimkan iklan, OpenAI dapat mengunjungi halaman arahan untuk memastikan halaman tersebut mematuhi kebijakan kami. Kami juga dapat menggunakan konten dari halaman arahan untuk menentukan kapan iklan paling relevan ditampilkan kepada pengguna.
Crawler OpenAI mana yang sebaiknya Anda izinkan?
Anda harus mengizinkan OAI-AdsBot. Kami menyarankan untuk mengizinkan OAI-AdsBot dan OAI-SearchBot.
Crawler OpenAI gagal mengakses situs web saya. Apa yang harus saya lakukan?
Sebagian besar situs web memiliki beberapa lapisan perlindungan yang harus dilalui sebelum crawler dapat berhasil mengakses sebuah halaman web. Bekerja samalah dengan tim teknik atau keamanan Anda untuk memvalidasi bahwa crawler OpenAI dapat melewati setiap lapisan berikut.
1. robots.txt
File robots.txt memberi tahu crawler apakah mereka diizinkan mengakses bagian tertentu dari situs web Anda. Crawler OpenAI mematuhi aturan ini. Jika akses tidak diizinkan dalam robots.txt, proses crawling akan segera berhenti.
Tinjau konfigurasi robots.txt Anda dan pastikan bahwa crawler OpenAI secara eksplisit diizinkan untuk mengakses halaman dan jalur yang relevan. Misalnya: Agen pengguna: OAI-SearchBot Izinkan: / Agen pengguna: OAI-AdsBot Izinkan: /
2. Perlindungan web dan mitigasi bot
Banyak situs web menggunakan layanan seperti Cloudflare, Akamai, atau penyedia perlindungan web lainnya untuk melindungi dari serangan DDoS, scraping, dan lalu lintas tidak sah. Sistem ini dapat keliru memblokir crawler yang sah, sering kali mengembalikan kesalahan 403 Forbidden. Karena crawler OpenAI dapat menyerupai pola lalu lintas otomatis, crawler tersebut mungkin ditolak kecuali secara khusus dimasukkan ke daftar yang diizinkan.
Tinjau konfigurasi perlindungan web atau firewall Anda dan masukkan lalu lintas crawler OpenAI ke daftar izin jika memungkinkan, idealnya berdasarkan agen pengguna crawler kami. Tim engineering atau infrastruktur Anda juga harus memeriksa aturan mitigasi bot otomatis yang dapat memicu positif semu.
3. Verifikasi manusia dan logika anti-bot
Beberapa situs web menerapkan pemeriksaan tambahan di tingkat aplikasi untuk memverifikasi bahwa pengunjung adalah manusia, seperti CAPTCHA, tantangan JavaScript, analisis perilaku, atau validasi sesi. Karena crawler OpenAI adalah sistem otomatis, pemeriksaan ini dapat memblokir akses meskipun crawler berhasil melewati lapisan-lapisan sebelumnya.
Tinjau setiap logika verifikasi manusia atau anti-otomatisasi yang diterapkan dalam aplikasi Anda dan pastikan crawler OpenAI dikecualikan jika sesuai, idealnya dengan memasukkan agen pengguna crawler kami ke daftar yang diizinkan.
Catatan tentang rentang IP stabil
Beberapa sistem keamanan mengharuskan lalu lintas crawler berasal dari rentang IP yang stabil dan didokumentasikan secara publik sebelum lalu lintas dapat dimasukkan ke daftar izin secara andal. Karena infrastruktur crawler dapat berkembang seiring waktu, tim teknik Anda sebaiknya tidak hanya mengandalkan pengamatan IP jangka pendek dari log. Sebagai gantinya, validasi lalu lintas melalui kombinasi identifikasi agen pengguna, program bot terverifikasi jika didukung, daftar izin firewall, perilaku robots.txt, dan sistem verifikasi bot tingkat penyedia.
Jika Anda harus mengizinkan daftar rentang IP yang stabil, rujuk https://openai.com/searchbot.json dan https://openai.com/adsbot.json.
Catatan tentang pembatasan laju
Unggahan batch besar atau lonjakan mendadak pada lalu lintas crawler terkadang dapat memicu pembatasan laju otomatis atau sistem perlindungan bot.
Jika Anda mencurigai terjadinya pembatasan laju, mintalah tim teknik Anda untuk meninjau kode respons HTTP, terutama 429 Too Many Requests, log firewall atau CDN, peristiwa mitigasi bot, aturan pembatasan permintaan, dan analitik lalu lintas pada sekitar waktu crawler mencoba mengakses. Hal ini dapat membantu mengidentifikasi apakah permintaan sengaja diperlambat atau diblokir oleh perlindungan infrastruktur.
Anda juga dapat mempertimbangkan untuk mengunggah iklan selama periode waktu yang lebih panjang dalam kelompok yang lebih kecil.
Catatan tentang Cloudflare
OAI-AdsBot secara resmi diverifikasi dan dimasukkan ke daftar yang diizinkan oleh Cloudflare.
Pertanyaan Umum crawler dan halaman arahan
Crawler mana yang diperlukan untuk peninjauan iklan?
OAI-AdsBot diperlukan untuk validasi dan peninjauan halaman arahan ChatGPT Ads. OAI-SearchBot direkomendasikan karena dapat membantu OpenAI memahami konten web publik, tetapi OAI-AdsBot adalah crawler yang harus diprioritaskan pengiklan untuk kesiapan iklan.
Apakah dukungan dapat melewati validasi crawler secara manual?
Jangan mengandalkan bypass manual. Jadikan halaman arahan dapat dirayapi oleh OAI-AdsBot dengan memperbaiki robots.txt, WAF, CDN, mitigasi bot, autentikasi, dan blok pembatasan laju. Iklan mungkin perlu diunggah ulang atau diajukan kembali untuk ditinjau setelah halaman arahan dapat diakses.
Apa yang harus diperiksa terlebih dahulu oleh tim teknik saya?
Periksa apakah halaman arahan mengembalikan respons HTTP yang berhasil ke OAI-AdsBot, apakah robots.txt mengizinkan jalur yang relevan, serta apakah WAF, CDN, mitigasi bot, tantangan JavaScript, CAPTCHA, autentikasi, atau aturan geo memblokir akses otomatis.
Apakah tautan App Store, tautan langsung (deep link), atau tujuan non-web didukung sebagai halaman arahan?
Gunakan halaman arahan web yang dapat diakses secara langsung jika memungkinkan. Tautan app-store, deep link, dokumen, atau tujuan yang memerlukan aplikasi, login, akses khusus wilayah, atau pengalihan yang tidak didukung mungkin tidak menyediakan cukup konten yang dapat dirayapi untuk validasi atau peninjauan.
Kapan saya harus mengunggah ulang atau meminta peninjauan lagi?
Setelah memperbaiki akses crawler, unggah ulang atau kirim ulang iklan yang terdampak jika statusnya tidak diperbarui secara otomatis. Untuk iklan yang diunggah secara massal, kelompok yang lebih kecil dapat mengurangi kemungkinan terpicunya batas laju atau perlindungan bot sementara tim Anda memvalidasi perbaikan tersebut.