OpenAI neden web tarama botları kullanıyor?
ChatGPT'de reklam olarak gönderilen web sayfalarının güvenliğini doğrulamak için tarama botları kullanıyoruz. Bir reklam gönderdiğinizde OpenAI, politikalarımıza uygun olduğundan emin olmak için açılış sayfasını ziyaret edebilir. Reklamı kullanıcılara göstermenin en uygun olduğu zamanı belirlemek için açılış sayfasındaki içerikten de yararlanabiliriz.
Hangi OpenAI tarama botlarına izin vermelisiniz?
OAI-AdsBot'a izin vermelisiniz. Hem OAI-AdsBot'a hem de OAI-SearchBot'a izin vermenizi öneririz.
Ürün akışlarında OAI-SearchBot'ın ürün görsellerinin URL'lerini taramasına da izin verin. Görselleri barındıran sunucudaki güvenlik duvarı, CDN ve bot koruma kurallarını kontrol edin. 403 yanıtı, akışın işlenmesini engelleyebilir.
OpenAI tarama botları web sitemi tarayamıyor. Ne yapmalıyım?
Çoğu web sitesinde, bir tarama botunun web sayfasına başarıyla erişebilmesi için aşması gereken birden fazla koruma katmanı vardır. OpenAI tarama botlarının aşağıdaki katmanların her birinden geçebildiğini doğrulamak için mühendislik veya güvenlik ekibinizle birlikte çalışın.
1. robots.txt
robots.txt dosyası, tarama botlarına web sitenizin belirli bölümlerine erişim izni verilip verilmediğini bildirir. OpenAI tarama botları bu kurallara uyar. robots.txt dosyasında erişime izin verilmiyorsa tarama hemen durur.
robots.txt yapılandırmanızı inceleyin ve OpenAI tarama botlarının ilgili sayfa ve yollara erişimine açıkça izin verildiğini doğrulayın. Örneğin: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Web koruması ve bot önleme
Birçok web sitesi; DDoS saldırılarına, veri kazımaya ve yetkisiz trafiğe karşı korunmak için Cloudflare, Akamai veya başka web koruma sağlayıcılarının hizmetlerini kullanır. Bu sistemler, geçerli tarama botlarını yanlışlıkla engelleyebilir ve genellikle 403 Forbidden hatası döndürür. OpenAI tarama botları otomatik trafik örüntülerine benzeyebileceğinden, özellikle izin verilenler listesine eklenmedikleri sürece engellenebilir.
Web koruması veya güvenlik duvarı yapılandırmanızı inceleyin ve mümkünse OpenAI tarama botu trafiğini, tercihen tarama botlarımızın kullanıcı aracılarını temel alarak izin verilenler listesine ekleyin. Mühendislik veya altyapı ekibiniz, yanlış pozitif sonuçlara yol açabilecek otomatik bot önleme kurallarını da incelemelidir.
3. İnsan doğrulaması ve bot önleme mantığı
Bazı web siteleri, ziyaretçinin insan olduğunu doğrulamak için uygulama düzeyinde CAPTCHA'lar, JavaScript sınamaları, davranış analizi veya oturum doğrulaması gibi ek kontroller uygular. OpenAI tarama botları otomatik sistemler olduğundan, bot önceki katmanları başarıyla geçse bile bu kontroller erişimi engelleyebilir.
Uygulamanızdaki insan doğrulama veya otomasyon önleme mantığını inceleyin ve uygun durumlarda OpenAI tarama botlarını, tercihen tarama botlarımızın kullanıcı aracılarını izin verilenler listesine ekleyerek bu kontrollerden muaf tutun.
Sabit IP aralıkları hakkında not
Bazı güvenlik sistemlerinde trafiğin güvenilir biçimde izin verilenler listesine eklenebilmesi için tarama botu trafiğinin sabit ve herkese açık olarak belgelenmiş IP aralıklarından gelmesi gerekir. Tarama botu altyapısı zamanla değişebileceğinden, mühendislik ekibiniz yalnızca günlüklerdeki kısa vadeli IP gözlemlerine güvenmemelidir. Bunun yerine trafiği; kullanıcı aracısı tanımlama, desteklendiği durumlarda doğrulanmış bot programları, güvenlik duvarı izin listeleri, robots.txt davranışı ve sağlayıcı düzeyindeki bot doğrulama sistemlerinin bir bileşimiyle doğrulayın.
Sabit bir IP aralığı listesine izin vermeniz gerekiyorsa https://openai.com/searchbot.json ve https://openai.com/adsbot.json adreslerini referans alın.
Hız sınırlaması hakkında not
Büyük toplu yüklemeler veya tarama botu trafiğindeki ani artışlar bazen otomatik hız sınırlamasını ya da bot koruma sistemlerini tetikleyebilir.
Hız sınırlaması uygulandığından şüpheleniyorsanız mühendislik ekibinizden tarama botunun erişim girişiminde bulunduğu zaman aralığındaki HTTP yanıt kodlarını (özellikle 429 Too Many Requests), güvenlik duvarı veya CDN günlüklerini, bot önleme olaylarını, istek kısıtlama kurallarını ve trafik analizlerini incelemesini isteyin. Bu inceleme, isteklerin altyapı korumaları tarafından kasıtlı olarak yavaşlatılıp yavaşlatılmadığını veya engellenip engellenmediğini belirlemeye yardımcı olabilir.
Reklamları daha uzun bir süreye yayarak daha küçük gruplar hâlinde yüklemeyi de düşünebilirsiniz.
Cloudflare hakkında not
OAI-AdsBot, Cloudflare tarafından resmen doğrulanmış ve izin verilenler listesine eklenmiştir.
Tarama botları ve açılış sayfaları hakkında SSS
Reklam incelemesi için hangi tarama botu gereklidir?
ChatGPT Ads açılış sayfalarının doğrulanması ve incelenmesi için OAI-AdsBot gereklidir. OpenAI'ın herkese açık web içeriğini anlamasına yardımcı olabileceği için OAI-SearchBot önerilir ancak reklamverenler, reklamları hazırlarken OAI-AdsBot'a öncelik vermelidir.
Destek ekibi, tarama botu doğrulamasını manuel olarak atlayabilir mi?
Manuel olarak atlama seçeneğine güvenmeyin. robots.txt, WAF, CDN, bot önleme, kimlik doğrulama ve hız sınırlaması kaynaklı engelleri düzelterek açılış sayfasını OAI-AdsBot tarafından taranabilir hâle getirin. Açılış sayfasına erişilebilir hâle geldikten sonra reklamların yeniden yüklenmesi veya incelenmek üzere tekrar gönderilmesi gerekebilir.
Mühendislik ekibim önce neleri kontrol etmeli?
Açılış sayfasının OAI-AdsBot'a başarılı bir HTTP yanıtı döndürüp döndürmediğini, robots.txt dosyasının ilgili yola izin verip vermediğini ve WAF, CDN, bot önleme, JavaScript sınamaları, CAPTCHA'lar, kimlik doğrulama veya coğrafi kuralların otomatik erişimi engelleyip engellemediğini kontrol edin.
Uygulama mağazası bağlantıları, derin bağlantılar veya web dışı hedefler açılış sayfası olarak destekleniyor mu?
Mümkün olduğunda doğrudan erişilebilen bir web açılış sayfası kullanın. Uygulama mağazası bağlantıları, derin bağlantılar, belgeler veya uygulama, oturum açma, bölgeye özel erişim ya da desteklenmeyen yönlendirmeler gerektiren hedefler; doğrulama veya inceleme için yeterli miktarda taranabilir içerik sunmayabilir.
Ne zaman yeniden yüklemeli veya tekrar inceleme talep etmeliyim?
Tarama botu erişimini düzelttikten sonra durum kendiliğinden güncellenmezse etkilenen reklamları yeniden yükleyin veya tekrar gönderin. Toplu yüklenen reklamları daha küçük gruplara ayırmak, ekibiniz düzeltmeyi doğrularken hız sınırlaması veya bot korumasının tetiklenme olasılığını azaltabilir.