OpenAI neden web tarayıcıları kullanır?
ChatGPT'de reklam olarak gönderilen web sayfalarının güvenliğini doğrulamak için tarayıcılar kullanıyoruz. Bir reklam gönderdiğinizde, OpenAI açılış sayfasının politikalarımıza uygun olduğundan emin olmak için sayfayı ziyaret edebilir. Reklamın kullanıcılara ne zaman gösterilmesinin en alakalı olduğunu belirlemek için açılış sayfasındaki içerikleri de kullanabiliriz.
Hangi OpenAI tarayıcılarına izin vermelisiniz?
OAI-AdsBot'a izin vermeniz gerekir. Hem OAI-AdsBot'a hem de OAI-SearchBot'a izin vermenizi öneririz
OpenAI tarayıcıları web sitemi tarayamıyor. Ne yapmalıyım?
Çoğu web sitesinde, bir tarayıcının bir web sayfasına başarıyla erişebilmesi için aşması gereken birden fazla koruma katmanı bulunur. OpenAI tarayıcılarının aşağıdaki katmanların her birinden geçebildiğini doğrulamak için mühendislik/güvenlik ekibinizle çalışmanızı öneririz:
1. robots.txt
Genel bakış: robots.txt dosyası, tarayıcılara web sitenizin belirli bölümlerine erişmelerine izin verilip verilmediğini bildirir. OpenAI tarayıcıları bu kurallara uyar. robots.txt içinde erişime izin verilmiyorsa tarama hemen durur.
Öneri: robots.txt yapılandırmanızı gözden geçirin ve OpenAI tarayıcılarının ilgili sayfalara ve yollara erişmesine açıkça izin verildiğini doğrulayın.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Web Koruması / Bot Azaltma
Genel bakış: Birçok web sitesi, DDoS saldırılarına, veri kazımaya ve yetkisiz trafiğe karşı savunma için Cloudflare, Akamai veya diğer web koruma sağlayıcıları gibi hizmetler kullanır. Bu sistemler meşru tarayıcıları yanlışlıkla engelleyebilir ve çoğu zaman 403 Forbidden hataları döndürür. OpenAI tarayıcıları otomatik trafik kalıplarına benzeyebildiğinden, özellikle izin listesine alınmadıkları sürece engellenebilirler.
Öneri: Web koruması veya güvenlik duvarı yapılandırmanızı gözden geçirin ve mümkün olan yerlerde OpenAI tarayıcı trafiğini, ideal olarak tarayıcı user-agent'larımıza göre, izin listesine alın. Mühendislik veya altyapı ekibiniz ayrıca yanlış pozitifleri tetikleyebilecek tüm otomatik bot azaltma kurallarını da incelemelidir.
3. İnsan Doğrulaması / Bot Karşıtı Mantık
Genel bakış: Bazı web siteleri, bir ziyaretçinin insan olduğunu doğrulamak için ek uygulama düzeyi kontroller uygular (örneğin: CAPTCHA'lar, JavaScript doğrulamaları, davranış analizi veya oturum doğrulaması). OpenAI tarayıcıları otomatik sistemler olduğundan, tarayıcı önceki katmanları başarıyla geçse bile bu kontroller erişimi engelleyebilir.
Öneri: Uygulamanızda uygulanan tüm insan doğrulama veya otomasyon karşıtı mantığı gözden geçirin ve uygun olan yerlerde OpenAI tarayıcılarının muaf tutulduğundan emin olun; ideal olarak tarayıcı user-agent'larımızı izin listesine alarak.
Sabit IP Aralıkları Hakkında Bir Not
Bazı güvenlik sistemleri, trafiğin güvenilir biçimde izin listesine alınabilmesi için tarayıcı trafiğinin sabit, herkese açık şekilde belgelenmiş IP aralıklarından gelmesini gerektirir.
Tarayıcı altyapısı zaman içinde değişebileceğinden, mühendislik ekibiniz yalnızca günlüklerdeki kısa vadeli IP gözlemlerine güvenmekten kaçınmalıdır. Bunun yerine, trafiği şu unsurların birleşimiyle doğrulamanızı öneririz: user-agent tanımlaması, doğrulanmış bot programları (destekleniyorsa), güvenlik duvarı izin listeleri, robots.txt davranışı ve sağlayıcı düzeyinde bot doğrulama sistemleri.
Sabit bir IP aralığı listesine izin vermeniz gerekiyorsa lütfen şunlara bakın:
Kullanım Limiti Hakkında Bir Not
Büyük toplu yüklemeler veya tarayıcı trafiğindeki ani artışlar bazen otomatik kullanım limiti ya da bot koruma sistemlerini tetikleyebilir.
Kullanım limiti uygulandığından şüpheleniyorsanız, mühendislik ekibinizden şunları incelemesini isteyin:
HTTP yanıt kodları (özellikle 429 Too Many Requests)
Güvenlik duvarı veya CDN günlükleri
Bot azaltma olayları
İstek kısıtlama kuralları
Tarayıcının erişim denediği zamana ilişkin trafik analitiği
Bu, isteklerin altyapı korumaları tarafından kasıtlı olarak yavaşlatılıp yavaşlatılmadığını veya engellenip engellenmediğini belirlemeye yardımcı olabilir.
Reklamları daha küçük gruplar halinde ve zamana yayarak yüklemeyi de düşünebilirsiniz.
Cloudflare Hakkında Bir Not
OAI-AdsBot artık Cloudflare tarafından resmen doğrulanmakta ve izin listesine alınmaktadır.