Għaliex OpenAI tuża crawlers tal-web?
Nużaw crawlers biex nivverifikaw is-sikurezza tal-paġni web sottomessi bħala reklami fuq ChatGPT. Meta tissottometti reklam, OpenAI tista’ żżur il-paġna tad-destinazzjoni biex tiżgura li din tikkonforma mal-politiki tagħna. Nistgħu nużaw ukoll kontenut mill-paġna tad-destinazzjoni biex niddeterminaw meta jkun l-aktar rilevanti li nuru r-reklam lill-utenti.
Liema crawlers ta’ OpenAI għandek tippermetti?
Trid tippermetti lil OAI-AdsBot. Nirrakkomandaw li tippermetti kemm lil OAI-AdsBot kif ukoll lil OAI-SearchBot.
Għall-feeds tal-prodotti, ippermetti wkoll lil OAI-SearchBot jaċċessa l-URLs tal-immaġnijiet tal-prodotti. Iċċekkja r-regoli tal-firewall, tas-CDN u tal-protezzjoni mill-bots fuq il-host tal-immaġnijiet; rispons 403 jista’ jimblokka l-ipproċessar tal-feed.
Il-crawlers ta’ OpenAI ma jirnexxilhomx jaċċessaw is-sit web tiegħi. X’għandi nagħmel?
Il-biċċa l-kbira tas-siti web għandhom diversi saffi ta’ protezzjoni li crawler irid jgħaddi minnhom biex jaċċessa paġna web b’suċċess. Aħdem mat-tim tal-inġinerija jew tas-sigurtà tiegħek biex tivverifika li l-crawlers ta’ OpenAI jistgħu jgħaddu minn kull wieħed mis-saffi li ġejjin.
1. robots.txt
Il-fajl robots.txt jgħid lill-crawlers jekk jistgħux jaċċessaw ċerti partijiet tas-sit web tiegħek. Il-crawlers ta’ OpenAI jirrispettaw dawn ir-regoli. Jekk l-aċċess ma jkunx permess f’robots.txt, it-tkaxkir jieqaf minnufih.
Eżamina l-konfigurazzjoni ta’ robots.txt u kkonferma li l-crawlers ta’ OpenAI għandhom permess espliċitu biex jaċċessaw il-paġni u l-mogħdijiet rilevanti. Pereżempju: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Protezzjoni tal-web u mitigazzjoni tal-bots
Ħafna siti web jużaw servizzi bħal Cloudflare, Akamai jew fornituri oħra tal-protezzjoni tal-web biex jiddefendu kontra attakki DDoS, estrazzjoni awtomatizzata ta’ data u traffiku mhux awtorizzat. Dawn is-sistemi jistgħu jimblokkaw crawlers leġittimi bi żball, u spiss jirritornaw żbalji 403 Forbidden. Minħabba li l-crawlers ta’ OpenAI jistgħu jixbhu mudelli ta’ traffiku awtomatizzat, l-aċċess tagħhom jista’ jiġi miċħud sakemm ma jiżdidux speċifikament ma’ lista ta’ permessi.
Eżamina l-konfigurazzjoni tal-protezzjoni tal-web jew tal-firewall u, fejn possibbli, żid it-traffiku tal-crawlers ta’ OpenAI ma’ lista ta’ permessi, idealment abbażi tal-user agents tal-crawlers tagħna. It-tim tal-inġinerija jew tal-infrastruttura tiegħek għandu jeżamina wkoll kwalunkwe regola awtomatizzata għall-mitigazzjoni tal-bots li tista’ tkun qed tikkawża pożittivi foloz.
3. Verifika umana u loġika kontra l-bots
Xi siti web jimplimentaw kontrolli addizzjonali fil-livell tal-applikazzjoni biex jivverifikaw li viżitatur huwa persuna, bħal CAPTCHAs, sfidi ta’ JavaScript, analiżi tal-imġiba jew validazzjoni tas-sessjoni. Peress li l-crawlers ta’ OpenAI huma sistemi awtomatizzati, dawn il-kontrolli jistgħu jimblukkaw l-aċċess anki jekk il-crawler jgħaddi b’suċċess mis-saffi preċedenti.
Eżamina kwalunkwe loġika ta’ verifika umana jew kontra l-awtomatizzazzjoni implimentata fl-applikazzjoni tiegħek u żgura li l-crawlers ta’ OpenAI jkunu eżentati fejn xieraq, idealment billi żżid il-user agents tal-crawlers tagħna ma’ lista ta’ permessi.
Nota dwar meded stabbli ta’ indirizzi IP
Xi sistemi tas-sigurtà jeħtieġu li t-traffiku tal-crawlers joriġina minn meded stabbli u dokumentati pubblikament ta’ indirizzi IP qabel ma jkun jista’ jiżdied b’mod affidabbli ma’ lista ta’ permessi. Minħabba li l-infrastruttura tal-crawlers tista’ tevolvi maż-żmien, it-tim tal-inġinerija tiegħek m’għandux joqgħod biss fuq osservazzjonijiet tal-IP għal żmien qasir mir-reġistri. Minflok, ivvalida t-traffiku permezz ta’ kombinazzjoni ta’ identifikazzjoni tal-user agent, programmi ta’ bots ivverifikati fejn ikunu appoġġjati, listi ta’ permessi tal-firewall, l-imġiba ta’ robots.txt u sistemi ta’ verifika tal-bots fil-livell tal-fornitur.
Jekk trid tippermetti lista stabbli ta’ meded ta’ indirizzi IP, irreferi għal https://openai.com/searchbot.json u https://openai.com/adsbot.json.
Nota dwar il-limitazzjoni tar-rata
Uploads kbar f’daqqa jew żidiet f’daqqa fit-traffiku tal-crawlers xi drabi jistgħu jattivaw limitazzjoni awtomatizzata tar-rata jew sistemi ta’ protezzjoni mill-bots.
Jekk tissuspetta li qed tiġi applikata limitazzjoni tar-rata, itlob lit-tim tal-inġinerija tiegħek jeżamina l-kodiċijiet ta’ rispons HTTP, speċjalment 429 Too Many Requests, ir-reġistri tal-firewall jew tas-CDN, l-avvenimenti tal-mitigazzjoni tal-bots, ir-regoli li jillimitaw it-talbiet u l-analitika tat-traffiku madwar il-ħin li fih il-crawler ipprova jaċċessa. Dan jista’ jgħin biex jiġi identifikat jekk it-talbiet humiex qed jitnaqqsu apposta jew jiġu mblukkati mill-protezzjonijiet tal-infrastruttura.
Tista’ tikkunsidra wkoll li ttella’ r-reklami f’lottijiet iżgħar fuq perjodu itwal.
Nota dwar Cloudflare
OAI-AdsBot huwa vverifikat uffiċjalment u miżjud mal-lista ta’ permessi minn Cloudflare.
Mistoqsijiet frekwenti dwar il-crawlers u l-paġni tad-destinazzjoni
Liema crawler huwa meħtieġ għar-rieżami tar-reklami?
OAI-AdsBot huwa meħtieġ għall-validazzjoni u r-rieżami tal-paġni tad-destinazzjoni tar-Reklami ta’ ChatGPT. OAI-SearchBot huwa rakkomandat għax jista’ jgħin lil OpenAI tifhem il-kontenut pubbliku tal-web, iżda OAI-AdsBot huwa l-crawler li dawk li jirreklamaw għandhom jagħtu prijorità biex iħejju r-reklami.
It-tim tal-appoġġ jista’ jevita manwalment il-validazzjoni tal-crawler?
Tistrieħx fuq soluzzjoni manwali biex tevita l-validazzjoni. Agħmel il-paġna tad-destinazzjoni aċċessibbli għal OAI-AdsBot billi tirranġa l-blokki ta’ robots.txt, WAF, CDN, mitigazzjoni tal-bots, awtentikazzjoni u limitazzjoni tar-rata. Jista’ jkun meħtieġ li r-reklami jerġgħu jittellgħu jew jiġu sottomessi mill-ġdid għar-rieżami wara li l-paġna tad-destinazzjoni ssir aċċessibbli.
X’għandu jiċċekkja l-ewwel it-tim tal-inġinerija tiegħi?
Iċċekkja jekk il-paġna tad-destinazzjoni tirritornax rispons HTTP ta’ suċċess lil OAI-AdsBot, jekk robots.txt jippermettix il-mogħdija rilevanti u jekk WAF, CDN, il-mitigazzjoni tal-bots, l-isfidi ta’ JavaScript, il-CAPTCHAs, l-awtentikazzjoni jew ir-regoli ġeografiċi jimblukkawx l-aċċess awtomatizzat.
Il-links tal-app stores, il-deep links jew destinazzjonijiet mhux fuq il-web huma appoġġjati bħala paġni tad-destinazzjoni?
Kull meta jkun possibbli, uża paġna web tad-destinazzjoni li tista’ tintlaħaq direttament. Links tal-app stores, deep links, dokumenti jew destinazzjonijiet li jeħtieġu app, login, aċċess speċifiku għal reġjun jew direzzjonar mill-ġdid mhux appoġġjat jistgħu ma jipprovdux biżżejjed kontenut aċċessibbli għall-validazzjoni jew ir-rieżami.
Meta għandi nerġa’ ntella’ r-reklam jew nitlob rieżami ieħor?
Wara li tirranġa l-aċċess tal-crawler, erġa’ tella’ jew issottometti mill-ġdid ir-reklami affettwati jekk l-istatus ma jiġix aġġornat waħdu. Għal reklami mtellgħin bil-massa, lottijiet iżgħar jistgħu jnaqqsu l-attivazzjoni tal-limitazzjoni tar-rata jew tal-protezzjoni mill-bots waqt li t-tim tiegħek jivvalida s-soluzzjoni.