OpenAI వెబ్ క్రాలర్లను ఎందుకు ఉపయోగిస్తుంది.
ChatGPTలో ప్రకటనలుగా సమర్పించిన వెబ్ పేజీల భద్రతను ధృవీకరించడానికి మేము క్రాలర్లను ఉపయోగిస్తాము. మీరు ప్రకటనను సమర్పించినప్పుడు, అది మా విధానాలకు అనుగుణంగా ఉందని నిర్ధారించడానికి OpenAI ల్యాండింగ్ పేజీని సందర్శించవచ్చు. వినియోగదారులకు ఆ ప్రకటనను చూపడం ఎప్పుడు అత్యంత సందర్భోచితమో నిర్ణయించడానికి కూడా మేము ల్యాండింగ్ పేజీలోని కంటెంట్ను ఉపయోగించవచ్చు.
మీరు ఏ OpenAI క్రాలర్లను అనుమతించాలి.
మీరు OAI-AdsBotను తప్పనిసరిగా అనుమతించాలి. OAI-AdsBot మరియు OAI-SearchBot రెండింటినీ అనుమతించాలని మేము సిఫార్సు చేస్తున్నాము.
OpenAI క్రాలర్లు నా వెబ్సైట్ను క్రాల్ చేయలేకపోతున్నాయి. నేను ఏమి చేయాలి.
ఒక క్రాలర్ వెబ్ పేజీని విజయవంతంగా యాక్సెస్ చేయడానికి ముందు, చాలా వెబ్సైట్లలో అనేక రక్షణ పొరలు ఉంటాయి. OpenAI క్రాలర్లు కింది ప్రతి పొరను దాటగలవో లేదో ధృవీకరించడానికి మీ ఇంజినీరింగ్ లేదా భద్రతా బృందంతో కలిసి పని చేయండి.
1. robots.txt
మీ వెబ్సైట్లోని నిర్దిష్ట భాగాలను యాక్సెస్ చేయడానికి క్రాలర్లకు అనుమతి ఉందో లేదో robots.txt ఫైల్ తెలియజేస్తుంది. OpenAI క్రాలర్లు ఈ నియమాలను పాటిస్తాయి. robots.txtలో యాక్సెస్ అనుమతించబడకపోతే, క్రాలింగ్ వెంటనే ఆగిపోతుంది.
మీ robots.txt కాన్ఫిగరేషన్ను సమీక్షించి, సంబంధిత పేజీలు మరియు పాత్లను యాక్సెస్ చేయడానికి OpenAI క్రాలర్లకు స్పష్టంగా అనుమతి ఉందని నిర్ధారించండి. ఉదాహరణకు: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. వెబ్ రక్షణ మరియు బాట్ నివారణ
DDoS దాడులు, స్క్రేపింగ్, అనధికార ట్రాఫిక్ నుండి రక్షించుకోవడానికి అనేక వెబ్సైట్లు Cloudflare, Akamai లేదా ఇతర వెబ్ రక్షణ ప్రొవైడర్ల వంటి సేవలను ఉపయోగిస్తాయి. ఈ సిస్టమ్లు చెల్లుబాటు అయ్యే క్రాలర్లను పొరపాటున బ్లాక్ చేయవచ్చు, తరచుగా 403 Forbidden లోపాలను తిరిగి ఇస్తాయి. OpenAI క్రాలర్లు ఆటోమేటెడ్ ట్రాఫిక్ నమూనాలను పోలి ఉండవచ్చు కాబట్టి, వాటిని ప్రత్యేకంగా అనుమతి జాబితాలో చేర్చకపోతే యాక్సెస్ తిరస్కరించబడవచ్చు.
మీ వెబ్ రక్షణ లేదా ఫైర్వాల్ కాన్ఫిగరేషన్ను సమీక్షించి, సాధ్యమైన చోట OpenAI క్రాలర్ ట్రాఫిక్ను అనుమతి జాబితాలో చేర్చండి. సాధ్యమైనంత వరకు మా క్రాలర్ యూజర్ ఏజెంట్ల ఆధారంగా చేయడం ఉత్తమం. తప్పుడు పాజిటివ్లను ట్రిగ్గర్ చేసే అవకాశం ఉన్న ఆటోమేటెడ్ బాట్ నివారణ నియమాలను కూడా మీ ఇంజినీరింగ్ లేదా ఇన్ఫ్రాస్ట్రక్చర్ బృందం పరిశీలించాలి.
3. మానవ ధృవీకరణ మరియు యాంటీ-బాట్ లాజిక్
CAPTCHAs, JavaScript చాలెంజ్లు, ప్రవర్తనా విశ్లేషణ లేదా సెషన్ ధృవీకరణ వంటి సందర్శకుడు మనిషే అని నిర్ధారించే అదనపు అప్లికేషన్-స్థాయి తనిఖీలను కొన్ని వెబ్సైట్లు అమలు చేస్తాయి. OpenAI క్రాలర్లు ఆటోమేటెడ్ సిస్టమ్లు కాబట్టి, క్రాలర్ ముందరి పొరలను విజయవంతంగా దాటినా ఈ తనిఖీలు యాక్సెస్ను బ్లాక్ చేయవచ్చు.
మీ అప్లికేషన్లో అమలు చేసిన మానవ ధృవీకరణ లేదా యాంటీ-ఆటోమేషన్ లాజిక్ను సమీక్షించి, అవసరమైన చోట OpenAI క్రాలర్లకు మినహాయింపు ఉందని నిర్ధారించండి. సాధ్యమైనంత వరకు మా క్రాలర్ యూజర్ ఏజెంట్లను అనుమతి జాబితాలో చేర్చడం ఉత్తమం.
స్థిర IP పరిధులపై గమనిక
క్రాలర్ ట్రాఫిక్ను విశ్వసనీయంగా అనుమతి జాబితాలో చేర్చే ముందు, అది స్థిరమైన, ప్రజలకు పత్రబద్ధం చేసిన IP పరిధుల నుండి రావాలని కొన్ని భద్రతా సిస్టమ్లు కోరుతాయి. క్రాలర్ ఇన్ఫ్రాస్ట్రక్చర్ కాలక్రమేణా మారవచ్చు కాబట్టి, మీ ఇంజినీరింగ్ బృందం లాగ్లలో కనిపించే స్వల్పకాలిక IP పరిశీలనలపైనే ఆధారపడకుండా ఉండాలి. బదులుగా, యూజర్-ఏజెంట్ గుర్తింపు, మద్దతు ఉన్న చోట ధృవీకరించిన బాట్ ప్రోగ్రామ్లు, ఫైర్వాల్ అనుమతి జాబితాలు, robots.txt ప్రవర్తన, ప్రొవైడర్-స్థాయి బాట్ ధృవీకరణ సిస్టమ్ల సమ్మేళనంతో ట్రాఫిక్ను ధృవీకరించండి.
మీరు స్థిరమైన IP పరిధుల జాబితాను తప్పనిసరిగా అనుమతించాల్సి ఉంటే, https://openai.com/searchbot.json మరియు https://openai.com/adsbot.json చూడండి.
రేట్ లిమిటింగ్పై గమనిక
పెద్ద బ్యాచ్ అప్లోడ్లు లేదా క్రాలర్ ట్రాఫిక్లో అకస్మాత్తు పెరుగుదలలు కొన్నిసార్లు ఆటోమేటెడ్ రేట్ లిమిటింగ్ లేదా బాట్ రక్షణ సిస్టమ్లను ట్రిగ్గర్ చేయవచ్చు.
రేట్ లిమిటింగ్ జరుగుతోందని మీరు అనుమానిస్తే, క్రాలర్ యాక్సెస్ చేయడానికి ప్రయత్నించిన సమయం చుట్టూ HTTP ప్రతిస్పందన కోడ్లు, ముఖ్యంగా 429 Too Many Requests, ఫైర్వాల్ లేదా CDN లాగ్లు, బాట్ నివారణ ఈవెంట్లు, అభ్యర్థన థ్రాట్లింగ్ నియమాలు, ట్రాఫిక్ అనలిటిక్స్ను సమీక్షించమని మీ ఇంజినీరింగ్ బృందాన్ని అడగండి. అభ్యర్థనలను ఇన్ఫ్రాస్ట్రక్చర్ రక్షణలు ఉద్దేశపూర్వకంగా నెమ్మదింపజేస్తున్నాయా లేదా బ్లాక్ చేస్తున్నాయా అనేది గుర్తించడానికి ఇది సహాయపడుతుంది.
ప్రకటనలను ఎక్కువ కాలవ్యవధిలో చిన్న బ్యాచ్లుగా అప్లోడ్ చేయడాన్ని కూడా మీరు పరిగణించవచ్చు.
Cloudflareపై గమనిక
OAI-AdsBotను Cloudflare అధికారికంగా ధృవీకరించి, అనుమతి జాబితాలో చేర్చింది.
క్రాలర్ మరియు ల్యాండింగ్ పేజీపై తరచుగా అడిగే ప్రశ్నలు
ప్రకటన సమీక్షకు ఏ క్రాలర్ అవసరం.
ChatGPT ప్రకటనల ల్యాండింగ్ పేజీ ధృవీకరణ మరియు సమీక్షకు OAI-AdsBot అవసరం. ప్రజలకు అందుబాటులో ఉన్న వెబ్ కంటెంట్ను OpenAI అర్థం చేసుకోవడానికి OAI-SearchBot సహాయపడవచ్చు కాబట్టి దాన్ని సిఫార్సు చేస్తున్నాము, కానీ ప్రకటనల సిద్ధత కోసం ప్రకటనదారులు ప్రాధాన్యం ఇవ్వాల్సిన క్రాలర్ OAI-AdsBot.
సపోర్ట్ క్రాలర్ ధృవీకరణను మాన్యువల్గా బైపాస్ చేయగలదా.
మాన్యువల్ బైపాస్పై ఆధారపడవద్దు. robots.txt, WAF, CDN, బాట్ నివారణ, ప్రామాణీకరణ, రేట్ లిమిటింగ్ బ్లాక్లను సరిచేసి, OAI-AdsBot కోసం ల్యాండింగ్ పేజీని క్రాల్ చేయగలిగేలా చేయండి. ల్యాండింగ్ పేజీ యాక్సెస్ చేయగలిగిన తర్వాత, ప్రకటనలను మళ్లీ అప్లోడ్ చేయాల్సి రావచ్చు లేదా సమీక్ష కోసం మళ్లీ సమర్పించాల్సి రావచ్చు.
నా ఇంజినీరింగ్ బృందం ముందుగా ఏమి తనిఖీ చేయాలి.
ల్యాండింగ్ పేజీ OAI-AdsBotకు విజయవంతమైన HTTP ప్రతిస్పందన ఇస్తుందో లేదో, robots.txt సంబంధిత పాత్ను అనుమతిస్తుందో లేదో, అలాగే WAF, CDN, బాట్ నివారణ, JavaScript చాలెంజ్లు, CAPTCHAs, ప్రామాణీకరణ లేదా భౌగోళిక నియమాలు ఆటోమేటెడ్ యాక్సెస్ను బ్లాక్ చేస్తున్నాయో లేదో తనిఖీ చేయండి.
యాప్-స్టోర్ లింక్లు, డీప్ లింక్లు లేదా వెబ్ కాని గమ్యస్థానాలను ల్యాండింగ్ పేజీలుగా మద్దతు ఇస్తారా.
సాధ్యమైనప్పుడల్లా నేరుగా చేరుకోగలిగే వెబ్ ల్యాండింగ్ పేజీని ఉపయోగించండి. యాప్-స్టోర్ లింక్లు, డీప్ లింక్లు, పత్రాలు లేదా యాప్, లాగిన్, ప్రాంతానికే పరిమితమైన యాక్సెస్ లేదా మద్దతు లేని రీడైరెక్ట్లు అవసరమయ్యే గమ్యస్థానాలు, ధృవీకరణ లేదా సమీక్షకు సరిపడా క్రాల్ చేయగల కంటెంట్ను అందించకపోవచ్చు.
నేను ఎప్పుడు మళ్లీ అప్లోడ్ చేయాలి లేదా మళ్లీ సమీక్ష కోరాలి.
క్రాలర్ యాక్సెస్ను సరిచేసిన తర్వాత, స్థితి స్వయంగా అప్డేట్ కాకపోతే ప్రభావిత ప్రకటనలను మళ్లీ అప్లోడ్ చేయండి లేదా మళ్లీ సమర్పించండి. బల్క్గా అప్లోడ్ చేసిన ప్రకటనల విషయంలో, మీ బృందం పరిష్కారాన్ని ధృవీకరిస్తున్నప్పుడు చిన్న బ్యాచ్లు రేట్ లిమిట్ లేదా బాట్ రక్షణ ట్రిగ్గర్లను తగ్గించగలవు.