De ce folosește OpenAI crawlere web?
Folosim crawlere pentru a verifica siguranța paginilor web trimise ca reclame pe ChatGPT. Când trimiteți o reclamă, OpenAI poate accesa pagina de destinație pentru a se asigura că aceasta respectă politicile noastre. De asemenea, putem folosi conținutul paginii de destinație pentru a stabili când este cel mai relevant să afișăm reclama utilizatorilor.
Ce crawlere OpenAI trebuie să permiteți?
Trebuie să permiteți OAI-AdsBot. Vă recomandăm să permiteți atât OAI-AdsBot, cât și OAI-SearchBot.
Pentru fluxurile de produse, permiteți și ca OAI-SearchBot să acceseze adresele URL ale imaginilor produselor. Verificați regulile pentru firewall, CDN și protecția împotriva boților pe serverul care găzduiește imaginile; un răspuns 403 poate bloca procesarea fluxului.
Crawlerele OpenAI nu îmi pot accesa site-ul web. Ce trebuie să fac?
Majoritatea site-urilor web au mai multe niveluri de protecție pe care un crawler trebuie să le treacă înainte de a putea accesa o pagină web. Colaborați cu echipa de inginerie sau de securitate pentru a verifica dacă crawlerele OpenAI pot trece de fiecare dintre nivelurile următoare.
1. robots.txt
Fișierul robots.txt indică unui crawler dacă are permisiunea de a accesa anumite secțiuni ale site-ului dvs. web. Crawlerele OpenAI respectă aceste reguli. Dacă accesul este interzis în robots.txt, accesarea cu crawlerul se va opri imediat.
Verificați configurația robots.txt și confirmați că respectivelor crawlere OpenAI li se permite în mod explicit accesul la paginile și căile relevante. De exemplu: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protecția web și blocarea boților
Multe site-uri web folosesc servicii precum Cloudflare, Akamai sau alți furnizori de protecție web pentru a se apăra împotriva atacurilor DDoS, extragerii automate de date și traficului neautorizat. Aceste sisteme pot bloca din greșeală crawlere legitime, returnând adesea erori 403 Forbidden. Deoarece crawlerele OpenAI pot semăna cu traficul automat, accesul lor poate fi refuzat dacă nu sunt incluse în mod explicit pe lista de permisiuni.
Verificați configurația protecției web sau a firewallului și, acolo unde este posibil, includeți traficul crawlerelor OpenAI pe lista de permisiuni, de preferat pe baza agenților utilizator ai crawlerelor noastre. Echipa de inginerie sau de infrastructură trebuie să verifice și regulile automate de blocare a boților care ar putea genera rezultate fals pozitive.
3. Verificarea utilizatorilor umani și logica anti-bot
Unele site-uri web implementează verificări suplimentare la nivelul aplicației pentru a confirma că vizitatorul este o persoană, precum CAPTCHA, teste JavaScript, analiză comportamentală sau validarea sesiunii. Deoarece crawlerele OpenAI sunt sisteme automatizate, aceste verificări le pot bloca accesul chiar dacă au trecut cu succes de nivelurile anterioare.
Verificați toate mecanismele de confirmare a utilizatorilor umani sau de blocare a automatizării implementate în aplicație și asigurați-vă că respectivele crawlere OpenAI sunt exceptate acolo unde este cazul, de preferat prin includerea agenților utilizator ai crawlerelor noastre pe lista de permisiuni.
Notă despre intervalele de adrese IP stabile
Unele sisteme de securitate impun ca traficul crawlerelor să provină din intervale de adrese IP stabile și documentate public înainte de a putea fi inclus în mod fiabil pe lista de permisiuni. Deoarece infrastructura crawlerelor poate evolua în timp, echipa de inginerie nu trebuie să se bazeze exclusiv pe observațiile pe termen scurt privind adresele IP din jurnale. În schimb, validați traficul combinând identificarea după agentul utilizator, programele de verificare a boților acolo unde sunt acceptate, listele de permisiuni ale firewallului, comportamentul robots.txt și sistemele de verificare a boților oferite de furnizori.
Dacă trebuie să permiteți o listă stabilă de intervale de adrese IP, consultați https://openai.com/searchbot.json și https://openai.com/adsbot.json.
Notă despre limitarea frecvenței solicitărilor
Încărcările în loturi mari sau creșterile bruște ale traficului crawlerelor pot declanșa uneori limitarea automată a frecvenței solicitărilor ori sistemele de protecție împotriva boților.
Dacă suspectați că se aplică o limitare a frecvenței solicitărilor, cereți echipei de inginerie să verifice codurile de răspuns HTTP, în special 429 Too Many Requests, jurnalele firewallului sau ale CDN-ului, evenimentele de blocare a boților, regulile de limitare a solicitărilor și analiza traficului din perioada în care crawlerul a încercat să obțină acces. Astfel puteți determina dacă solicitările sunt încetinite sau blocate intenționat de mecanismele de protecție ale infrastructurii.
De asemenea, puteți lua în considerare încărcarea reclamelor în loturi mai mici, pe parcursul unei perioade mai lungi.
Notă despre Cloudflare
OAI-AdsBot este verificat oficial și inclus pe lista de permisiuni de Cloudflare.
Întrebări frecvente despre crawlere și paginile de destinație
Ce crawler este necesar pentru verificarea reclamelor?
OAI-AdsBot este necesar pentru validarea și verificarea paginilor de destinație folosite pentru Reclame ChatGPT. OAI-SearchBot este recomandat deoarece poate ajuta OpenAI să înțeleagă conținutul web public, însă OAI-AdsBot este crawlerul căruia agenții de publicitate trebuie să-i acorde prioritate pentru pregătirea reclamelor.
Echipa de asistență poate ocoli manual validarea prin crawler?
Nu vă bazați pe o soluție manuală de ocolire. Permiteți accesarea paginii de destinație de către OAI-AdsBot remediind blocările din robots.txt, WAF, CDN, sistemele de blocare a boților, autentificare și limitarea frecvenței solicitărilor. După ce pagina de destinație devine accesibilă, poate fi necesar ca reclamele să fie reîncărcate sau retrimise spre verificare.
Ce trebuie să verifice mai întâi echipa mea de inginerie?
Verificați dacă pagina de destinație returnează un răspuns HTTP de succes către OAI-AdsBot, dacă robots.txt permite accesul la calea relevantă și dacă WAF, CDN-ul, sistemele de blocare a boților, testele JavaScript, CAPTCHA, autentificarea sau regulile geografice blochează accesul automat.
Sunt acceptate ca pagini de destinație linkurile către magazine de aplicații, linkurile profunde sau destinațiile care nu sunt pagini web?
Folosiți, ori de câte ori este posibil, o pagină web de destinație accesibilă direct. Este posibil ca linkurile către magazine de aplicații, linkurile profunde, documentele sau destinațiile care necesită o aplicație, autentificare, acces dintr-o anumită regiune ori redirecționări neacceptate să nu ofere suficient conținut accesibil crawlerelor pentru validare sau verificare.
Când trebuie să reîncarc reclama sau să solicit o nouă verificare?
După ce remediați accesul crawlerului, reîncărcați sau retrimiteți reclamele afectate dacă starea nu se actualizează automat. Pentru reclamele încărcate în bloc, loturile mai mici pot reduce declanșarea limitelor de frecvență sau a protecției împotriva boților în timp ce echipa validează remedierea.