Għaliex OpenAI juża web crawlers?
Nużaw crawlers biex nivvalidaw is-sikurezza tal-paġni tal-web sottomessi bħala reklami fuq ChatGPT. Meta tissottometti reklam, OpenAI jista’ jżur il-paġna ta’ destinazzjoni biex jiżgura li tikkonforma mal-politiki tagħna. Nistgħu nużaw ukoll kontenut mill-paġna ta’ destinazzjoni biex niddeterminaw meta jkun l-aktar rilevanti li nuru r-reklam lill-utenti.
Liema crawlers ta’ OpenAI għandek tippermetti?
Trid tippermetti OAI-AdsBot. Nirrakkomandaw li tippermetti kemm OAI-AdsBot kif ukoll OAI-SearchBot.
Il-crawlers ta’ OpenAI ma jirnexxilhomx jitkaxkru s-sit web tiegħi. X’għandi nagħmel?
Il-biċċa l-kbira tas-siti web għandhom diversi saffi ta’ protezzjoni qabel ma crawler ikun jista’ jaċċessa paġna web b’suċċess. Aħdem mat-tim tal-inġinerija jew tas-sigurtà tiegħek biex tivvalida li l-crawlers ta’ OpenAI jistgħu jgħaddu minn kull wieħed mis-saffi li ġejjin.
1. robots.txt
Il-fajl robots.txt jgħid lill-crawlers jekk humiex permessi jaċċessaw ċerti partijiet tas-sit web tiegħek. Il-crawlers ta’ OpenAI jirrispettaw dawn ir-regoli. Jekk l-aċċess ma jkunx permess f’robots.txt, it-tkaxkir jieqaf minnufih.
Irrevedi l-konfigurazzjoni ta’ robots.txt tiegħek u kkonferma li l-crawlers ta’ OpenAI huma permessi b’mod espliċitu jaċċessaw il-paġni u l-mogħdijiet rilevanti. Pereżempju: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protezzjoni tal-web u mitigazzjoni tal-bots
Ħafna siti web jużaw servizzi bħal Cloudflare, Akamai, jew fornituri oħra ta’ protezzjoni tal-web biex jiddefendu kontra attakki DDoS, scraping, u traffiku mhux awtorizzat. Dawn is-sistemi jistgħu jimblukkaw bi żball crawlers leġittimi, u spiss jirritornaw żbalji 403 Forbidden. Minħabba li l-crawlers ta’ OpenAI jistgħu jixbhu mudelli ta’ traffiku awtomatizzat, jistgħu jiġu miċħuda sakemm ma jiddaħħlux speċifikament fil-lista permessa.
Irrevedi l-konfigurazzjoni tal-protezzjoni tal-web jew tal-firewall tiegħek u daħħal it-traffiku tal-crawlers ta’ OpenAI fil-lista permessa fejn possibbli, idealment abbażi tal-user agents tal-crawlers tagħna. It-tim tal-inġinerija jew tal-infrastruttura tiegħek għandu jispezzjona wkoll kwalunkwe regola awtomatizzata ta’ mitigazzjoni tal-bots li tista’ tkun qed tqajjem riżultati pożittivi foloz.
3. Verifika umana u loġika kontra l-bots
Xi siti web jimplimentaw kontrolli addizzjonali fil-livell tal-applikazzjoni biex jivverifikaw li viżitatur huwa bniedem, bħal CAPTCHAs, sfidi JavaScript, analiżi tal-imġiba, jew validazzjoni tas-sessjoni. Peress li l-crawlers ta’ OpenAI huma sistemi awtomatizzati, dawn il-kontrolli jistgħu jimblukkaw l-aċċess anki jekk il-crawler jgħaddi b’suċċess mis-saffi ta’ qabel.
Irrevedi kwalunkwe loġika ta’ verifika umana jew kontra l-awtomazzjoni implimentata fl-applikazzjoni tiegħek u żgura li l-crawlers ta’ OpenAI jiġu eżentati fejn xieraq, idealment billi ddaħħal il-user agents tal-crawlers tagħna fil-lista permessa.
Nota dwar firxiet ta’ IP stabbli
Xi sistemi tas-sigurtà jeħtieġu li t-traffiku tal-crawlers joriġina minn firxiet ta’ IP stabbli u dokumentati pubblikament qabel ma t-traffiku jkun jista’ jiddaħħal b’mod affidabbli fil-lista permessa. Minħabba li l-infrastruttura tal-crawlers tista’ tevolvi maż-żmien, it-tim tal-inġinerija tiegħek għandu jevita li jiddependi biss fuq osservazzjonijiet tal-IP għal żmien qasir mir-reġistri. Minflok, ivvalida t-traffiku permezz ta’ kombinazzjoni ta’ identifikazzjoni tal-user-agent, programmi ta’ bots verifikati fejn appoġġjati, listi permessi tal-firewall, imġiba ta’ robots.txt, u sistemi ta’ verifika tal-bots fil-livell tal-fornitur.
Jekk trid tippermetti lista stabbli ta’ firxiet ta’ IP, irreferi għal https://openai.com/searchbot.json u https://openai.com/adsbot.json.
Nota dwar il-limitu tal-veloċità
Uploads kbar f’lottijiet jew żidiet f’daqqa fit-traffiku tal-crawlers kultant jistgħu jattivaw sistemi awtomatizzati ta’ limitazzjoni tal-veloċità jew ta’ protezzjoni kontra l-bots.
Jekk tissuspetta li qed isseħħ limitazzjoni tal-veloċità, itlob lit-tim tal-inġinerija tiegħek jirrevedi l-kodiċijiet ta’ rispons HTTP, speċjalment 429 Too Many Requests, ir-reġistri tal-firewall jew tas-CDN, avvenimenti ta’ mitigazzjoni tal-bots, regoli ta’ tnaqqis tar-requests, u analitika tat-traffiku madwar il-ħin meta l-crawler ipprova jaċċessa. Dan jista’ jgħin biex jiġi identifikat jekk ir-requests humiex qed jitnaqqsu jew jiġu mblukkati intenzjonalment mill-protezzjonijiet tal-infrastruttura.
Tista’ tikkunsidra wkoll li ttella’ r-reklami fuq perjodu itwal ta’ żmien f’lottijiet iżgħar.
Nota dwar Cloudflare
OAI-AdsBot huwa vverifikat uffiċjalment u mdaħħal fil-lista permessa minn Cloudflare.
Mistoqsijiet frekwenti dwar il-crawlers u l-paġni ta’ destinazzjoni
Liema crawler huwa meħtieġ għar-reviżjoni tar-reklami?
OAI-AdsBot huwa meħtieġ għall-validazzjoni u r-reviżjoni tal-paġni ta’ destinazzjoni tar-Reklami ta’ ChatGPT. OAI-SearchBot huwa rrakkomandat għax jista’ jgħin lil OpenAI tifhem il-kontenut pubbliku tal-web, iżda OAI-AdsBot huwa l-crawler li min jirreklama għandu jagħti prijorità lilu għat-tħejjija tar-reklami.
Jista’ s-support jaqbeż manwalment il-validazzjoni tal-crawler?
Tiddependix fuq bypass manwali. Agħmel il-paġna ta’ destinazzjoni aċċessibbli għat-tkaxkir minn OAI-AdsBot billi tirranġa l-imblukkar minn robots.txt, WAF, CDN, mitigazzjoni tal-bots, awtentikazzjoni, u limitazzjoni tal-veloċità. Ir-reklami jista’ jkollhom bżonn jerġgħu jittellgħu jew jerġgħu jiġu sottomessi għar-reviżjoni wara li l-paġna ta’ destinazzjoni ssir aċċessibbli.
X’għandu jiċċekkja l-ewwel it-tim tal-inġinerija tiegħi?
Iċċekkja jekk il-paġna ta’ destinazzjoni tirritornax rispons HTTP b’suċċess lil OAI-AdsBot, jekk robots.txt jippermettix il-mogħdija rilevanti, u jekk WAF, CDN, mitigazzjoni tal-bots, sfidi JavaScript, CAPTCHAs, awtentikazzjoni, jew regoli ġeografiċi jimblukkawx aċċess awtomatizzat.
Links għall-app stores, deep links, jew destinazzjonijiet mhux tal-web huma appoġġjati bħala paġni ta’ destinazzjoni?
Uża paġna ta’ destinazzjoni tal-web li tista’ tintlaħaq direttament kull meta jkun possibbli. Links għall-app stores, deep links, dokumenti, jew destinazzjonijiet li jeħtieġu app, login, aċċess speċifiku għal reġjun, jew redirects mhux appoġġjati jistgħu ma jipprovdux biżżejjed kontenut li jista’ jitkaxkar għall-validazzjoni jew ir-reviżjoni.
Meta għandi nerġa’ ntella’ jew nitlob reviżjoni mill-ġdid?
Wara li tirranġa l-aċċess tal-crawler, erġa’ tella’ jew issottometti mill-ġdid ir-reklami affettwati jekk l-istatus ma jaġġornax waħdu. Għal reklami mtellgħin bl-ingrossa, lottijiet iżgħar jistgħu jnaqqsu l-attivazzjoni ta’ limitu tal-veloċità jew protezzjoni kontra l-bots waqt li t-tim tiegħek jivvalida s-soluzzjoni.