De ce folosește OpenAI crawlere web?
Folosim crawlere pentru a valida siguranța paginilor web trimise ca reclame pe ChatGPT. Când trimiteți o reclamă, OpenAI poate vizita pagina de destinație pentru a se asigura că respectă politicile noastre. Putem folosi și conținutul de pe pagina de destinație pentru a stabili când este cel mai relevant să afișăm reclama utilizatorilor.
Ce crawlere OpenAI ar trebui să permiteți?
Trebuie să permiteți OAI-AdsBot. Vă recomandăm să permiteți atât OAI-AdsBot, cât și OAI-SearchBot.
Crawlerele OpenAI nu reușesc să acceseze site-ul meu. Ce ar trebui să fac?
Majoritatea site-urilor web au mai multe niveluri de protecție înainte ca un crawler să poată accesa cu succes o pagină web. Colaborați cu echipa de inginerie sau de securitate pentru a verifica dacă crawlerele OpenAI pot trece prin fiecare dintre nivelurile de mai jos.
1. robots.txt
Fișierul robots.txt le spune crawlerelor dacă au permisiunea să acceseze anumite părți ale site-ului dvs. Crawlerele OpenAI respectă aceste reguli. Dacă accesul este interzis în robots.txt, accesarea cu crawlerul se va opri imediat.
Revizuiți configurația robots.txt și confirmați că crawlerele OpenAI au permisiune explicită să acceseze paginile și căile relevante. De exemplu: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protecție web și atenuarea boților
Multe site-uri web folosesc servicii precum Cloudflare, Akamai sau alți furnizori de protecție web pentru a se apăra împotriva atacurilor DDoS, a scrapingului și a traficului neautorizat. Aceste sisteme pot bloca din greșeală crawlere legitime, returnând adesea erori 403 Forbidden. Deoarece crawlerele OpenAI pot semăna cu tipare de trafic automatizat, accesul le poate fi refuzat dacă nu sunt adăugate explicit pe lista de permisiuni.
Revizuiți configurația protecției web sau a firewallului și adăugați traficul crawlerelor OpenAI pe lista de permisiuni acolo unde este posibil, ideal pe baza agenților de utilizator ai crawlerelor noastre. Echipa dvs. de inginerie sau infrastructură ar trebui să inspecteze și orice reguli automate de atenuare a boților care ar putea declanșa rezultate fals pozitive.
3. Verificarea umană și logica anti-bot
Unele site-uri web implementează verificări suplimentare la nivel de aplicație pentru a confirma că un vizitator este om, cum ar fi CAPTCHA, provocări JavaScript, analiză comportamentală sau validarea sesiunii. Deoarece crawlerele OpenAI sunt sisteme automatizate, aceste verificări pot bloca accesul chiar dacă crawlerul trece cu succes de nivelurile anterioare.
Revizuiți orice logică de verificare umană sau anti-automatizare implementată în aplicația dvs. și asigurați-vă că crawlerele OpenAI sunt exceptate acolo unde este cazul, ideal prin adăugarea agenților de utilizator ai crawlerelor noastre pe lista de permisiuni.
Notă despre intervalele IP stabile
Unele sisteme de securitate impun ca traficul crawlerelor să provină din intervale IP stabile, documentate public, înainte ca traficul să poată fi adăugat în mod fiabil pe lista de permisiuni. Deoarece infrastructura crawlerelor poate evolua în timp, echipa dvs. de inginerie ar trebui să evite să se bazeze exclusiv pe observații IP pe termen scurt din jurnale. În schimb, validați traficul printr-o combinație de identificare a agentului de utilizator, programe de boți verificați acolo unde sunt acceptate, liste de permisiuni în firewall, comportamentul robots.txt și sisteme de verificare a boților la nivel de furnizor.
Dacă trebuie să permiteți o listă stabilă de intervale IP, consultați https://openai.com/searchbot.json și https://openai.com/adsbot.json.
Notă despre limitarea ratei
Încărcările mari în loturi sau creșterile bruște ale traficului crawlerelor pot declanșa uneori sisteme automate de limitare a ratei sau de protecție împotriva boților.
Dacă suspectați că are loc o limitare a ratei, cereți echipei de inginerie să revizuiască codurile de răspuns HTTP, în special 429 Too Many Requests, jurnalele firewallului sau ale CDN-ului, evenimentele de atenuare a boților, regulile de limitare a solicitărilor și analizele de trafic din perioada în care crawlerul a încercat accesarea. Acest lucru poate ajuta la identificarea situațiilor în care solicitările sunt încetinite sau blocate intenționat de protecțiile infrastructurii.
De asemenea, puteți lua în considerare încărcarea reclamelor pe o perioadă mai lungă, în loturi mai mici.
Notă despre Cloudflare
OAI-AdsBot este verificat oficial și adăugat pe lista de permisiuni de Cloudflare.
Întrebări frecvente despre crawlere și paginile de destinație
Ce crawler este necesar pentru revizuirea reclamelor?
OAI-AdsBot este necesar pentru validarea și revizuirea paginilor de destinație ale ChatGPT Ads. OAI-SearchBot este recomandat deoarece poate ajuta OpenAI să înțeleagă conținutul web public, dar OAI-AdsBot este crawlerul pe care advertiserii ar trebui să îl prioritizeze pentru pregătirea reclamelor.
Poate echipa de asistență să ocolească manual validarea crawlerului?
Nu vă bazați pe o ocolire manuală. Faceți pagina de destinație accesibilă pentru OAI-AdsBot prin remedierea blocajelor din robots.txt, WAF, CDN, atenuarea boților, autentificare și limitarea ratei. Este posibil ca reclamele să trebuiască reîncărcate sau retrimise spre revizuire după ce pagina de destinație devine accesibilă.
Ce ar trebui să verifice mai întâi echipa mea de inginerie?
Verificați dacă pagina de destinație returnează un răspuns HTTP reușit către OAI-AdsBot, dacă robots.txt permite calea relevantă și dacă WAF, CDN, atenuarea boților, provocările JavaScript, CAPTCHA, autentificarea sau regulile geografice blochează accesul automatizat.
Sunt acceptate ca pagini de destinație linkurile către magazine de aplicații, linkurile profunde sau destinațiile non-web?
Folosiți ori de câte ori este posibil o pagină web de destinație accesibilă direct. Linkurile către magazine de aplicații, linkurile profunde, documentele sau destinațiile care necesită o aplicație, autentificare, acces specific unei regiuni ori redirecționări neacceptate pot să nu ofere suficient conținut accesibil crawlerelor pentru validare sau revizuire.
Când ar trebui să reîncarc sau să solicit din nou revizuirea?
După remedierea accesului crawlerului, reîncărcați sau retrimiteți reclamele afectate dacă starea nu se actualizează de la sine. Pentru reclamele încărcate în bloc, loturile mai mici pot reduce declanșarea limitelor de rată sau a protecției împotriva boților în timp ce echipa dvs. validează remedierea.