OpenAI వెబ్ క్రాలర్లను ఎందుకు ఉపయోగిస్తుంది.
ChatGPTలో ప్రకటనలుగా సమర్పించిన వెబ్ పేజీల భద్రతను ధ్రువీకరించడానికి మేము క్రాలర్లను ఉపయోగిస్తాము. మీరు ప్రకటనను సమర్పించినప్పుడు, ల్యాండింగ్ పేజీ మా విధానాలకు అనుగుణంగా ఉందని నిర్ధారించుకోవడానికి OpenAI దాన్ని సందర్శించవచ్చు. వినియోగదారులకు ప్రకటనను చూపడానికి అత్యంత అనువైన సమయాన్ని నిర్ణయించేందుకు ల్యాండింగ్ పేజీలోని కంటెంట్‌ను కూడా మేము ఉపయోగించవచ్చు.
మీరు ఏ OpenAI క్రాలర్లను అనుమతించాలి.
మీరు తప్పనిసరిగా OAI-AdsBotను అనుమతించాలి. OAI-AdsBot, OAI-SearchBot రెండింటినీ అనుమతించాలని మేము సిఫార్సు చేస్తున్నాము.
ఉత్పత్తి ఫీడ్‌ల కోసం, ఉత్పత్తి చిత్రాల URLలను క్రాల్ చేయడానికి OAI-SearchBotను కూడా అనుమతించండి. చిత్రాల హోస్ట్‌లోని ఫైర్‌వాల్, CDN, బాట్ రక్షణ నియమాలను తనిఖీ చేయండి. 403 ప్రతిస్పందన ఫీడ్ ప్రాసెసింగ్‌ను నిరోధించవచ్చు.
OpenAI క్రాలర్లు నా వెబ్‌సైట్‌ను క్రాల్ చేయలేకపోతున్నాయి. నేను ఏమి చేయాలి.
క్రాలర్ ఒక వెబ్ పేజీని విజయవంతంగా యాక్సెస్ చేయడానికి ముందు చాలా వెబ్‌సైట్‌లలో అనేక రక్షణ అంచెలు ఉంటాయి. OpenAI క్రాలర్లు కింది ప్రతి అంచెను దాటగలవని ధ్రువీకరించడానికి మీ ఇంజినీరింగ్ లేదా భద్రతా బృందంతో కలిసి పని చేయండి.
1. robots.txt
మీ వెబ్‌సైట్‌లోని నిర్దిష్ట భాగాలను యాక్సెస్ చేయడానికి క్రాలర్లకు అనుమతి ఉందో లేదో robots.txt ఫైల్ తెలియజేస్తుంది. OpenAI క్రాలర్లు ఈ నియమాలను పాటిస్తాయి. robots.txtలో యాక్సెస్‌ను నిరాకరిస్తే, క్రాలింగ్ వెంటనే ఆగిపోతుంది.
మీ robots.txt కాన్ఫిగరేషన్‌ను సమీక్షించి, సంబంధిత పేజీలు, పాత్‌లను యాక్సెస్ చేయడానికి OpenAI క్రాలర్లకు స్పష్టంగా అనుమతి ఇచ్చారని నిర్ధారించండి. ఉదాహరణకు: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. వెబ్ రక్షణ, బాట్ నియంత్రణ
DDoS దాడులు, డేటా సేకరణ, అనధికార ట్రాఫిక్ నుంచి రక్షించుకోవడానికి చాలా వెబ్‌సైట్‌లు Cloudflare, Akamai లేదా ఇతర వెబ్ రక్షణ ప్రదాతల సేవలను ఉపయోగిస్తాయి. ఈ వ్యవస్థలు పొరపాటున చెల్లుబాటయ్యే క్రాలర్లను నిరోధించి, తరచూ 403 Forbidden లోపాలను చూపవచ్చు. OpenAI క్రాలర్లు స్వయంచాలక ట్రాఫిక్ నమూనాలను పోలి ఉండవచ్చు కాబట్టి, వాటిని ప్రత్యేకంగా అనుమతి జాబితాలో చేర్చకపోతే యాక్సెస్ నిరాకరించబడవచ్చు.
మీ వెబ్ రక్షణ లేదా ఫైర్‌వాల్ కాన్ఫిగరేషన్‌ను సమీక్షించి, సాధ్యమైన చోట OpenAI క్రాలర్ ట్రాఫిక్‌ను అనుమతి జాబితాలో చేర్చండి. వీలైతే, మా క్రాలర్ యూజర్ ఏజెంట్ల ఆధారంగా అలా చేయండి. తప్పుడు ప్రమాద సంకేతాలను ప్రేరేపించే స్వయంచాలక బాట్ నియంత్రణ నియమాలు ఏవైనా ఉన్నాయేమో మీ ఇంజినీరింగ్ లేదా మౌలిక సదుపాయాల బృందం కూడా పరిశీలించాలి.
3. మానవ ధ్రువీకరణ, బాట్ నిరోధక వ్యవస్థలు
సందర్శకుడు మనిషేనని ధ్రువీకరించడానికి కొన్ని వెబ్‌సైట్‌లు అప్లికేషన్ స్థాయిలో CAPTCHAలు, JavaScript సవాళ్లు, ప్రవర్తన విశ్లేషణ లేదా సెషన్ ధ్రువీకరణ వంటి అదనపు తనిఖీలను అమలు చేస్తాయి. OpenAI క్రాలర్లు స్వయంచాలక వ్యవస్థలు కాబట్టి, అవి మునుపటి అంచెలను విజయవంతంగా దాటినా ఈ తనిఖీలు యాక్సెస్‌ను నిరోధించవచ్చు.
మీ అప్లికేషన్‌లో అమలు చేసిన మానవ ధ్రువీకరణ లేదా స్వయంచాలక ప్రక్రియల నిరోధక వ్యవస్థలను సమీక్షించండి. తగిన సందర్భాల్లో OpenAI క్రాలర్లకు మినహాయింపు ఇవ్వండి. వీలైతే, మా క్రాలర్ యూజర్ ఏజెంట్లను అనుమతి జాబితాలో చేర్చండి.
స్థిరమైన IP పరిధుల గురించి గమనిక
క్రాలర్ ట్రాఫిక్‌ను విశ్వసనీయంగా అనుమతి జాబితాలో చేర్చడానికి ముందు, అది బహిరంగంగా నమోదు చేసిన స్థిరమైన IP పరిధుల నుంచి రావాలని కొన్ని భద్రతా వ్యవస్థలు కోరుతాయి. క్రాలర్ మౌలిక సదుపాయాలు కాలక్రమేణా మారవచ్చు కాబట్టి, లాగ్‌లలో కనిపించే స్వల్పకాలిక IP వివరాలపైనే మీ ఇంజినీరింగ్ బృందం ఆధారపడకూడదు. బదులుగా, యూజర్ ఏజెంట్ గుర్తింపు, మద్దతు ఉన్న చోట ధ్రువీకరించిన బాట్ ప్రోగ్రామ్‌లు, ఫైర్‌వాల్ అనుమతి జాబితాలు, robots.txt ప్రవర్తన, ప్రదాత స్థాయి బాట్ ధ్రువీకరణ వ్యవస్థల సమ్మేళనంతో ట్రాఫిక్‌ను ధ్రువీకరించండి.
మీరు తప్పనిసరిగా స్థిరమైన IP పరిధుల జాబితాను అనుమతించాల్సి వస్తే, https://openai.com/searchbot.json, https://openai.com/adsbot.jsonలను చూడండి.
అభ్యర్థన రేటు పరిమితి గురించి గమనిక
పెద్ద మొత్తంలో ఒకేసారి అప్‌లోడ్ చేయడం లేదా క్రాలర్ ట్రాఫిక్ అకస్మాత్తుగా పెరగడం వల్ల కొన్నిసార్లు స్వయంచాలక రేటు పరిమితులు లేదా బాట్ రక్షణ వ్యవస్థలు ప్రేరేపించబడవచ్చు.
రేటు పరిమితి అమలవుతోందని అనుమానిస్తే, క్రాలర్ యాక్సెస్ చేయడానికి ప్రయత్నించిన సమయానికి సంబంధించిన HTTP ప్రతిస్పందన కోడ్‌లను, ముఖ్యంగా 429 Too Many Requestsను, ఫైర్‌వాల్ లేదా CDN లాగ్‌లను, బాట్ నియంత్రణ ఘటనలను, అభ్యర్థన నియంత్రణ నియమాలను, ట్రాఫిక్ విశ్లేషణను సమీక్షించమని మీ ఇంజినీరింగ్ బృందాన్ని కోరండి. మౌలిక సదుపాయాల రక్షణల వల్ల అభ్యర్థనలు ఉద్దేశపూర్వకంగా నెమ్మదించబడుతున్నాయా లేదా నిరోధించబడుతున్నాయా అని గుర్తించడానికి ఇది సహాయపడుతుంది.
ప్రకటనలను చిన్న బ్యాచ్‌లుగా, ఎక్కువ కాల వ్యవధిలో అప్‌లోడ్ చేయడాన్ని కూడా మీరు పరిశీలించవచ్చు.
Cloudflare గురించి గమనిక
OAI-AdsBotను Cloudflare అధికారికంగా ధ్రువీకరించి, అనుమతి జాబితాలో చేర్చింది.
క్రాలర్, ల్యాండింగ్ పేజీ గురించి తరచుగా అడిగే ప్రశ్నలు
ప్రకటనల సమీక్షకు ఏ క్రాలర్ అవసరం.
ChatGPT యాడ్స్ ల్యాండింగ్ పేజీ ధ్రువీకరణ, సమీక్ష కోసం OAI-AdsBot అవసరం. పబ్లిక్ వెబ్ కంటెంట్‌ను అర్థం చేసుకోవడంలో OpenAIకి OAI-SearchBot సహాయపడవచ్చు కాబట్టి దాన్ని సిఫార్సు చేస్తున్నాము. అయితే, ప్రకటనలను సిద్ధం చేసేటప్పుడు ప్రకటనదారులు OAI-AdsBotకే ప్రాధాన్యమివ్వాలి.
సహాయ బృందం క్రాలర్ ధ్రువీకరణను మాన్యువల్‌గా దాటవేయగలదా.
మాన్యువల్‌గా దాటవేయడంపై ఆధారపడవద్దు. robots.txt, WAF, CDN, బాట్ నియంత్రణ, ప్రామాణీకరణ, రేటు పరిమితి అడ్డంకులను సరిచేసి, OAI-AdsBot ల్యాండింగ్ పేజీని క్రాల్ చేయగలిగేలా చేయండి. ల్యాండింగ్ పేజీ యాక్సెస్ చేయదగినదిగా మారిన తర్వాత, ప్రకటనలను మళ్లీ అప్‌లోడ్ చేయాల్సి రావచ్చు లేదా సమీక్ష కోసం తిరిగి సమర్పించాల్సి రావచ్చు.
నా ఇంజినీరింగ్ బృందం ముందుగా ఏమి తనిఖీ చేయాలి.
OAI-AdsBotకు ల్యాండింగ్ పేజీ విజయవంతమైన HTTP ప్రతిస్పందనను ఇస్తోందా, సంబంధిత పాత్‌ను robots.txt అనుమతిస్తోందా, WAF, CDN, బాట్ నియంత్రణ, JavaScript సవాళ్లు, CAPTCHAలు, ప్రామాణీకరణ లేదా భౌగోళిక నియమాలు స్వయంచాలక యాక్సెస్‌ను నిరోధిస్తున్నాయా అని తనిఖీ చేయండి.
యాప్ స్టోర్ లింక్‌లు, డీప్ లింక్‌లు లేదా వెబ్‌యేతర గమ్యస్థానాలను ల్యాండింగ్ పేజీలుగా ఉపయోగించవచ్చా.
సాధ్యమైనప్పుడల్లా నేరుగా యాక్సెస్ చేయగల వెబ్ ల్యాండింగ్ పేజీని ఉపయోగించండి. యాప్ స్టోర్ లింక్‌లు, డీప్ లింక్‌లు, పత్రాలు లేదా యాప్, లాగిన్, ప్రాంతానికే పరిమితమైన యాక్సెస్ లేదా మద్దతు లేని దారి మళ్లింపులు అవసరమయ్యే గమ్యస్థానాల్లో ధ్రువీకరణ లేదా సమీక్షకు సరిపడా క్రాల్ చేయగల కంటెంట్ ఉండకపోవచ్చు.
నేను ఎప్పుడు మళ్లీ అప్‌లోడ్ చేయాలి లేదా పునఃసమీక్షను కోరాలి.
క్రాలర్ యాక్సెస్‌ను సరిచేసిన తర్వాత స్థితి దానంతట అదే మారకపోతే, ప్రభావిత ప్రకటనలను మళ్లీ అప్‌లోడ్ చేయండి లేదా తిరిగి సమర్పించండి. మీ బృందం పరిష్కారాన్ని ధ్రువీకరిస్తున్నప్పుడు, పెద్ద మొత్తంలో అప్‌లోడ్ చేసిన ప్రకటనలను చిన్న బ్యాచ్‌లుగా విభజించడం ద్వారా రేటు పరిమితి లేదా బాట్ రక్షణ ప్రేరణలను తగ్గించవచ్చు.