Dlaczego OpenAI używa robotów indeksujących sieć?
Używamy robotów indeksujących do weryfikacji bezpieczeństwa stron internetowych przesyłanych jako reklamy w ChatGPT. Gdy przesyłasz reklamę, OpenAI może odwiedzić stronę docelową, aby upewnić się, że jest zgodna z naszymi zasadami. Możemy także używać treści ze strony docelowej, aby określić, kiedy wyświetlenie reklamy użytkownikom będzie najbardziej trafne.
Które roboty indeksujące OpenAI należy dopuścić?
Musisz dopuścić OAI-AdsBot. Zalecamy dopuścić zarówno OAI-AdsBot, jak i OAI-SearchBot
Roboty indeksujące OpenAI nie mogą zindeksować mojej witryny. Co mam zrobić?
Większość witryn ma wiele warstw ochrony, zanim robot indeksujący uzyska skuteczny dostęp do strony internetowej. Zalecamy współpracę z zespołem inżynieryjnym lub bezpieczeństwa, aby sprawdzić, czy roboty indeksujące OpenAI mogą przejść przez każdą z poniższych warstw:
1. robots.txt
Omówienie: Plik robots.txt informuje roboty indeksujące, czy mają pozwolenie na dostęp do określonych części Twojej witryny. Roboty indeksujące OpenAI przestrzegają tych reguł. Jeśli dostęp jest zabroniony w pliku robots.txt, indeksowanie zostanie natychmiast zatrzymane.
Zalecenie: Sprawdź konfigurację pliku robots.txt i potwierdź, że roboty indeksujące OpenAI mają wyraźnie dozwolony dostęp do odpowiednich stron i ścieżek.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Ochrona witryny / ograniczanie botów
Omówienie: Wiele witryn korzysta z usług takich jak Cloudflare, Akamai lub innych dostawców ochrony witryn, aby bronić się przed atakami DDoS, scrapowaniem i nieautoryzowanym ruchem. Systemy te mogą przez pomyłkę blokować legalne roboty indeksujące, często zwracając błędy 403 Forbidden. Ponieważ roboty indeksujące OpenAI mogą przypominać wzorce ruchu automatycznego, mogą zostać odrzucone, jeśli nie zostaną wyraźnie dodane do listy dozwolonych.
Zalecenie: Sprawdź konfigurację ochrony witryny lub zapory sieciowej i tam, gdzie to możliwe, dodaj ruch robotów indeksujących OpenAI do listy dozwolonych, najlepiej na podstawie naszych identyfikatorów user-agent. Twój zespół inżynieryjny lub infrastrukturalny powinien też sprawdzić wszelkie automatyczne reguły ograniczania botów, które mogą powodować fałszywie pozytywne wyniki.
3. Weryfikacja człowieka / logika antybotowa
Omówienie: Niektóre witryny wdrażają dodatkowe kontrole na poziomie aplikacji, aby zweryfikować, czy odwiedzający jest człowiekiem (na przykład: CAPTCHA, wyzwania JavaScript, analiza zachowania lub walidacja sesji). Ponieważ roboty indeksujące OpenAI są systemami zautomatyzowanymi, te kontrole mogą blokować dostęp, nawet jeśli robot pomyślnie przejdzie wcześniejsze warstwy.
Zalecenie: Sprawdź wszelką logikę weryfikacji człowieka lub ochrony przed automatyzacją zaimplementowaną w Twojej aplikacji i upewnij się, że roboty indeksujące OpenAI są z niej wyłączone tam, gdzie to właściwe, najlepiej przez dodanie naszych identyfikatorów user-agent do listy dozwolonych.
Uwaga o stałych zakresach IP
Niektóre systemy bezpieczeństwa wymagają, aby ruch robotów indeksujących pochodził ze stałych, publicznie udokumentowanych zakresów IP, zanim będzie można go niezawodnie dodać do listy dozwolonych.
Ponieważ infrastruktura robotów indeksujących może z czasem się zmieniać, Twój zespół inżynieryjny nie powinien polegać wyłącznie na krótkoterminowych obserwacjach adresów IP z logów. Zamiast tego zalecamy weryfikację ruchu poprzez połączenie: identyfikacji user-agent, zweryfikowanych programów botów (tam, gdzie są obsługiwane), list dozwolonych na zaporze, zachowania robots.txt oraz systemów weryfikacji botów na poziomie dostawcy.
Jeśli musisz dopuścić stałą listę zakresów IP, skorzystaj z:
Uwaga o ograniczaniu szybkości
Duże przesyłki wsadowe lub nagłe skoki ruchu robotów indeksujących mogą czasem uruchamiać automatyczne systemy limitu zapytań lub ochrony przed botami.
Jeśli podejrzewasz, że występuje limit zapytań, poproś zespół inżynieryjny o sprawdzenie:
Kodów odpowiedzi HTTP (zwłaszcza 429 Too Many Requests)
Logów zapory sieciowej lub CDN
Zdarzeń ograniczania botów
Reguł ograniczania żądań
Analityki ruchu z czasu, gdy robot próbował uzyskać dostęp
Może to pomóc ustalić, czy żądania są celowo spowalniane lub blokowane przez zabezpieczenia infrastruktury.
Możesz też rozważyć przesyłanie reklam mniejszymi partiami w dłuższym czasie.
Uwaga o Cloudflare
OAI-AdsBot jest teraz oficjalnie zweryfikowany i dodany do listy dozwolonych przez Cloudflare.