Dlaczego OpenAI używa robotów indeksujących?
Używamy robotów indeksujących, aby weryfikować bezpieczeństwo stron internetowych zgłaszanych jako reklamy w ChatGPT. Po przesłaniu reklamy OpenAI może odwiedzić stronę docelową, aby sprawdzić jej zgodność z naszymi zasadami. Możemy również wykorzystywać treść strony docelowej, aby określić, kiedy reklama będzie najbardziej trafna dla użytkowników.
Które roboty indeksujące OpenAI należy dopuścić?
Należy dopuścić robota OAI-AdsBot. Zalecamy dopuszczenie robotów OAI-AdsBot i OAI-SearchBot.
W przypadku plików produktowych należy również zezwolić robotowi OAI-SearchBot na indeksowanie adresów URL zdjęć produktów. Sprawdź reguły zapory, sieci CDN i ochrony przed botami na hoście obrazów. Odpowiedź 403 może zablokować przetwarzanie pliku produktowego.
Roboty indeksujące OpenAI nie mogą zindeksować mojej witryny. Co należy zrobić?
Większość witryn ma kilka warstw zabezpieczeń, przez które robot indeksujący musi przejść, aby uzyskać dostęp do strony. Wspólnie z zespołem inżynieryjnym lub ds. bezpieczeństwa sprawdź, czy roboty indeksujące OpenAI mogą przejść przez każdą z poniższych warstw.
1. robots.txt
Plik robots.txt informuje roboty indeksujące, czy mogą uzyskiwać dostęp do określonych części witryny. Roboty indeksujące OpenAI przestrzegają tych reguł. Jeśli plik robots.txt zabrania dostępu, indeksowanie zostanie natychmiast przerwane.
Sprawdź konfigurację pliku robots.txt i upewnij się, że roboty indeksujące OpenAI mają wyraźne zezwolenie na dostęp do odpowiednich stron i ścieżek. Na przykład: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Ochrona witryny i ograniczanie działania botów
Wiele witryn korzysta z usług takich jak Cloudflare, Akamai lub innych dostawców zabezpieczeń internetowych, aby chronić się przed atakami DDoS, pobieraniem danych i nieautoryzowanym ruchem. Systemy te mogą omyłkowo blokować prawidłowo działające roboty indeksujące, często zwracając błędy 403 Forbidden. Ponieważ ruch robotów indeksujących OpenAI może przypominać inny ruch automatyczny, dostęp może zostać zablokowany, jeśli nie trafią one na listę dozwolonych.
Sprawdź konfigurację ochrony witryny lub zapory i w miarę możliwości dodaj ruch robotów indeksujących OpenAI do listy dozwolonych, najlepiej na podstawie ich identyfikatorów user-agent. Zespół inżynieryjny lub infrastrukturalny powinien również sprawdzić automatyczne reguły ograniczania działania botów, które mogą powodować fałszywe alarmy.
3. Weryfikacja użytkownika i mechanizmy ochrony przed botami
Niektóre witryny stosują dodatkowe mechanizmy na poziomie aplikacji, aby sprawdzać, czy odwiedzający jest człowiekiem. Mogą to być testy CAPTCHA, zadania JavaScript, analiza zachowania lub weryfikacja sesji. Roboty indeksujące OpenAI są systemami automatycznymi, dlatego takie mechanizmy mogą zablokować dostęp, nawet jeśli robot pomyślnie przejdzie przez wcześniejsze warstwy.
Sprawdź zaimplementowane w aplikacji mechanizmy weryfikacji użytkowników i ochrony przed automatyzacją. W stosownych przypadkach wyłącz je dla robotów indeksujących OpenAI, najlepiej dodając ich identyfikatory user-agent do listy dozwolonych.
Informacja o stałych zakresach adresów IP
Niektóre systemy zabezpieczeń wymagają, aby ruch robotów indeksujących pochodził ze stałych, publicznie udokumentowanych zakresów adresów IP, zanim będzie można niezawodnie dodać go do listy dozwolonych. Infrastruktura robotów indeksujących może się z czasem zmieniać, dlatego zespół inżynieryjny nie powinien polegać wyłącznie na krótkoterminowych obserwacjach adresów IP w dziennikach. Zamiast tego weryfikuj ruch za pomocą kombinacji identyfikacji user-agent, programów weryfikacji botów — jeśli są obsługiwane — list dozwolonych zapory, zachowania pliku robots.txt oraz systemów weryfikacji botów dostawcy.
Jeśli musisz dopuścić stałą listę zakresów adresów IP, skorzystaj z plików https://openai.com/searchbot.json i https://openai.com/adsbot.json.
Informacja o ograniczaniu liczby żądań
Przesyłanie dużych partii danych lub nagłe wzrosty ruchu robotów indeksujących mogą czasami uruchamiać automatyczne ograniczanie liczby żądań albo systemy ochrony przed botami.
Jeśli podejrzewasz, że ograniczana jest liczba żądań, poproś zespół inżynieryjny o sprawdzenie kodów odpowiedzi HTTP — zwłaszcza 429 Too Many Requests — dzienników zapory lub sieci CDN, zdarzeń związanych z ograniczaniem działania botów, reguł ograniczania żądań oraz analizy ruchu z czasu próby uzyskania dostępu przez robota. Może to pomóc ustalić, czy zabezpieczenia infrastruktury celowo spowalniają lub blokują żądania.
Możesz także rozważyć przesyłanie reklam w mniejszych partiach przez dłuższy czas.
Informacja o Cloudflare
OAI-AdsBot jest oficjalnie zweryfikowany przez Cloudflare i znajduje się na liście dozwolonych.
Najczęstsze pytania o roboty indeksujące i strony docelowe
Który robot indeksujący jest wymagany do sprawdzania reklam?
OAI-AdsBot jest wymagany do weryfikowania i sprawdzania stron docelowych reklam ChatGPT Ads. OAI-SearchBot jest zalecany, ponieważ może pomóc OpenAI zrozumieć publiczne treści internetowe, ale reklamodawcy powinni traktować OAI-AdsBot priorytetowo, aby przygotować reklamy do publikacji.
Czy dział pomocy technicznej może ręcznie pominąć weryfikację przez robota?
Nie należy polegać na ręcznym pominięciu weryfikacji. Zapewnij robotowi OAI-AdsBot możliwość indeksowania strony docelowej, usuwając blokady w pliku robots.txt, zaporze WAF, sieci CDN, mechanizmach ograniczania działania botów, uwierzytelnianiu i ograniczaniu liczby żądań. Po udostępnieniu strony docelowej może być konieczne ponowne przesłanie reklam lub zgłoszenie ich do sprawdzenia.
Co zespół inżynieryjny powinien sprawdzić najpierw?
Sprawdź, czy strona docelowa zwraca robotowi OAI-AdsBot prawidłową odpowiedź HTTP, czy plik robots.txt zezwala na dostęp do odpowiedniej ścieżki oraz czy zapora WAF, sieć CDN, mechanizmy ograniczania działania botów, zadania JavaScript, testy CAPTCHA, uwierzytelnianie lub reguły geograficzne nie blokują automatycznego dostępu.
Czy jako strony docelowe są obsługiwane linki do sklepów z aplikacjami, precyzyjne linki lub miejsca docelowe poza siecią?
W miarę możliwości używaj bezpośrednio dostępnej internetowej strony docelowej. Linki do sklepów z aplikacjami, precyzyjne linki, dokumenty oraz miejsca docelowe wymagające aplikacji, logowania, dostępu z określonego regionu lub nieobsługiwanych przekierowań mogą nie zawierać wystarczającej ilości treści dostępnej dla robota, aby przeprowadzić weryfikację lub kontrolę.
Kiedy należy ponownie przesłać reklamę lub poprosić o kolejne sprawdzenie?
Po przywróceniu dostępu dla robota ponownie prześlij reklamy, których dotyczył problem, lub zgłoś je ponownie, jeśli ich stan nie zaktualizuje się automatycznie. W przypadku reklam przesyłanych zbiorczo mniejsze partie mogą ograniczyć uruchamianie limitów żądań lub ochrony przed botami, gdy zespół sprawdza skuteczność rozwiązania.