OpenAI વેબ ક્રૉલરનો ઉપયોગ શા માટે કરે છે?
ChatGPT પર જાહેરાત તરીકે સબમિટ કરેલા વેબ પેજની સુરક્ષા ચકાસવા માટે અમે ક્રૉલરનો ઉપયોગ કરીએ છીએ. તમે જાહેરાત સબમિટ કરો ત્યારે તે અમારી નીતિઓનું પાલન કરે છે તેની ખાતરી કરવા OpenAI લેન્ડિંગ પેજની મુલાકાત લઈ શકે છે. વપરાશકર્તાઓને જાહેરાત ક્યારે બતાવવી સૌથી વધુ સુસંગત છે તે નક્કી કરવા માટે અમે લેન્ડિંગ પેજની સામગ્રીનો પણ ઉપયોગ કરી શકીએ છીએ.
તમારે કયા OpenAI ક્રૉલરને મંજૂરી આપવી જોઈએ?
તમારે OAI-AdsBotને મંજૂરી આપવી આવશ્યક છે. અમે OAI-AdsBot અને OAI-SearchBot બંનેને મંજૂરી આપવાની ભલામણ કરીએ છીએ.
ઉત્પાદન ફીડ માટે, OAI-SearchBotને ઉત્પાદનની છબીઓના URL ક્રૉલ કરવાની પણ મંજૂરી આપો. છબીના હોસ્ટ પર ફાયરવૉલ, CDN અને બૉટ-સુરક્ષાના નિયમો તપાસો. 403 પ્રતિસાદ ફીડની પ્રક્રિયાને અવરોધી શકે છે.
OpenAI ક્રૉલર મારી વેબસાઇટ ક્રૉલ કરી શકતા નથી. મારે શું કરવું જોઈએ?
ક્રૉલર સફળતાપૂર્વક વેબ પેજ ઍક્સેસ કરી શકે તે પહેલાં મોટાભાગની વેબસાઇટ પર સુરક્ષાનાં અનેક સ્તર હોય છે. OpenAI ક્રૉલર નીચેનાં દરેક સ્તરમાંથી પસાર થઈ શકે છે કે નહીં તે ચકાસવા માટે તમારી એન્જિનિયરિંગ અથવા સુરક્ષા ટીમ સાથે કામ કરો.
1. robots.txt
robots.txt ફાઇલ ક્રૉલરને જણાવે છે કે તેમને તમારી વેબસાઇટના અમુક ભાગ ઍક્સેસ કરવાની પરવાનગી છે કે નહીં. OpenAI ક્રૉલર આ નિયમોનું પાલન કરે છે. જો robots.txtમાં ઍક્સેસની મનાઈ હશે, તો ક્રૉલિંગ તરત જ બંધ થઈ જશે.
તમારું robots.txt રૂપરેખાંકન તપાસો અને ખાતરી કરો કે OpenAI ક્રૉલરને સંબંધિત પેજ અને પાથ ઍક્સેસ કરવાની સ્પષ્ટ મંજૂરી છે. ઉદાહરણ તરીકે: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. વેબ સુરક્ષા અને બૉટ નિવારણ
ઘણી વેબસાઇટ DDoS હુમલા, સામગ્રીની અનધિકૃત નકલ અને અનધિકૃત ટ્રાફિક સામે રક્ષણ માટે Cloudflare, Akamai અથવા અન્ય વેબ સુરક્ષા પ્રદાતાઓની સેવાઓનો ઉપયોગ કરે છે. આ સિસ્ટમ ભૂલથી અધિકૃત ક્રૉલરને અવરોધી શકે છે અને ઘણી વાર 403 Forbidden ભૂલ પરત કરે છે. OpenAI ક્રૉલરનો ટ્રાફિક સ્વચાલિત ટ્રાફિક જેવો દેખાઈ શકે છે, તેથી તેમને મંજૂર સૂચિમાં ખાસ ઉમેરવામાં ન આવે તો ઍક્સેસ નકારવામાં આવી શકે છે.
તમારી વેબ સુરક્ષા અથવા ફાયરવૉલનું રૂપરેખાંકન તપાસો અને શક્ય હોય ત્યાં OpenAI ક્રૉલરના ટ્રાફિકને મંજૂર સૂચિમાં ઉમેરો. આ માટે અમારા ક્રૉલર યુઝર એજન્ટને આધાર બનાવવો શ્રેષ્ઠ છે. તમારી એન્જિનિયરિંગ અથવા ઇન્ફ્રાસ્ટ્રક્ચર ટીમે ખોટી રીતે જોખમ દર્શાવી શકે તેવા સ્વચાલિત બૉટ-નિવારણના નિયમો પણ તપાસવા જોઈએ.
3. માનવીય ચકાસણી અને બૉટ-વિરોધી તર્ક
કેટલીક વેબસાઇટ મુલાકાતી માનવી છે કે નહીં તે ચકાસવા માટે ઍપ્લિકેશન સ્તરે વધારાની તપાસ લાગુ કરે છે, જેમ કે CAPTCHA, JavaScript પડકાર, વર્તનનું વિશ્લેષણ અથવા સત્રની ચકાસણી. OpenAI ક્રૉલર સ્વચાલિત સિસ્ટમ હોવાથી, ક્રૉલર અગાઉનાં સ્તર સફળતાપૂર્વક પાર કરે તો પણ આ તપાસ ઍક્સેસને અવરોધી શકે છે.
તમારી ઍપ્લિકેશનમાં લાગુ કરેલો માનવીય ચકાસણી અથવા સ્વચાલન-વિરોધી તર્ક તપાસો અને જ્યાં યોગ્ય હોય ત્યાં OpenAI ક્રૉલરને તેમાંથી મુક્ત રાખો. આ માટે અમારા ક્રૉલર યુઝર એજન્ટને મંજૂર સૂચિમાં ઉમેરવા શ્રેષ્ઠ છે.
સ્થિર IP શ્રેણીઓ વિશે નોંધ
ટ્રાફિકને વિશ્વસનીય રીતે મંજૂર સૂચિમાં ઉમેરવા માટે કેટલીક સુરક્ષા સિસ્ટમમાં ક્રૉલર ટ્રાફિક જાહેર રીતે દસ્તાવેજીકૃત સ્થિર IP શ્રેણીઓમાંથી આવવો જરૂરી હોય છે. ક્રૉલર ઇન્ફ્રાસ્ટ્રક્ચર સમય જતાં બદલાઈ શકે છે, તેથી તમારી એન્જિનિયરિંગ ટીમે લૉગમાં દેખાતા ટૂંકા ગાળાના IP અવલોકનો પર જ આધાર રાખવો નહીં. તેના બદલે, યુઝર એજન્ટની ઓળખ, જ્યાં સમર્થિત હોય ત્યાં ચકાસાયેલા બૉટ પ્રોગ્રામ, ફાયરવૉલની મંજૂર સૂચિઓ, robots.txtનું વર્તન અને પ્રદાતા સ્તરની બૉટ ચકાસણી સિસ્ટમના સંયોજનથી ટ્રાફિક ચકાસો.
જો તમારે IP શ્રેણીઓની સ્થિર સૂચિને મંજૂરી આપવી જ પડે, તો https://openai.com/searchbot.json અને https://openai.com/adsbot.jsonનો સંદર્ભ લો.
દર મર્યાદા વિશે નોંધ
મોટા જથ્થામાં અપલોડ અથવા ક્રૉલર ટ્રાફિકમાં અચાનક ઉછાળો ક્યારેક સ્વચાલિત દર મર્યાદા અથવા બૉટ-સુરક્ષા સિસ્ટમને સક્રિય કરી શકે છે.
જો તમને દર મર્યાદા લાગુ થઈ રહી હોવાની શંકા હોય, તો તમારી એન્જિનિયરિંગ ટીમને HTTP પ્રતિસાદ કોડ, ખાસ કરીને 429 Too Many Requests, ફાયરવૉલ અથવા CDN લૉગ, બૉટ-નિવારણની ઘટનાઓ, વિનંતીની ગતિ મર્યાદિત કરવાના નિયમો અને ક્રૉલરે ઍક્સેસ કરવાનો પ્રયાસ કર્યો તે સમયની આસપાસનું ટ્રાફિક વિશ્લેષણ તપાસવા કહો. આનાથી જાણી શકાય છે કે ઇન્ફ્રાસ્ટ્રક્ચરની સુરક્ષાને કારણે વિનંતીઓ ઇરાદાપૂર્વક ધીમી કરવામાં કે અવરોધવામાં આવી રહી છે કે નહીં.
તમે લાંબા સમયગાળા દરમિયાન નાના જથ્થામાં જાહેરાતો અપલોડ કરવાનું પણ વિચારી શકો છો.
Cloudflare વિશે નોંધ
OAI-AdsBotને Cloudflare દ્વારા સત્તાવાર રીતે ચકાસીને મંજૂર સૂચિમાં ઉમેરવામાં આવ્યું છે.
ક્રૉલર અને લેન્ડિંગ પેજ વિશે વારંવાર પૂછાતા પ્રશ્નો
જાહેરાતની સમીક્ષા માટે કયું ક્રૉલર જરૂરી છે?
ChatGPT જાહેરાતના લેન્ડિંગ પેજની ચકાસણી અને સમીક્ષા માટે OAI-AdsBot જરૂરી છે. OAI-SearchBotની ભલામણ કરવામાં આવે છે, કારણ કે તે OpenAIને જાહેર વેબ સામગ્રી સમજવામાં મદદ કરી શકે છે. જોકે, જાહેરાતને તૈયાર કરવા માટે જાહેરાતકર્તાઓએ OAI-AdsBotને પ્રાથમિકતા આપવી જોઈએ.
શું સહાયતા ટીમ ક્રૉલરની ચકાસણીને મૅન્યુઅલી ટાળી શકે છે?
મૅન્યુઅલ ઉપાય પર આધાર રાખશો નહીં. robots.txt, WAF, CDN, બૉટ નિવારણ, પ્રમાણીકરણ અને દર મર્યાદાના અવરોધો સુધારીને લેન્ડિંગ પેજને OAI-AdsBot દ્વારા ક્રૉલ કરી શકાય તેવું બનાવો. લેન્ડિંગ પેજ ઍક્સેસ કરી શકાય તેવું બન્યા પછી જાહેરાતોને ફરી અપલોડ કરવી અથવા સમીક્ષા માટે ફરી સબમિટ કરવી પડી શકે છે.
મારી એન્જિનિયરિંગ ટીમે સૌથી પહેલાં શું તપાસવું જોઈએ?
લેન્ડિંગ પેજ OAI-AdsBotને સફળ HTTP પ્રતિસાદ આપે છે કે નહીં, robots.txt સંબંધિત પાથને મંજૂરી આપે છે કે નહીં અને WAF, CDN, બૉટ નિવારણ, JavaScript પડકાર, CAPTCHA, પ્રમાણીકરણ અથવા ભૌગોલિક નિયમો સ્વચાલિત ઍક્સેસને અવરોધે છે કે નહીં તે તપાસો.
શું ઍપ સ્ટોર લિંક, ડીપ લિંક અથવા વેબ સિવાયનાં ગંતવ્યને લેન્ડિંગ પેજ તરીકે સમર્થન મળે છે?
જ્યારે પણ શક્ય હોય ત્યારે સીધું ઍક્સેસ કરી શકાય તેવું વેબ લેન્ડિંગ પેજ વાપરો. ઍપ સ્ટોર લિંક, ડીપ લિંક, દસ્તાવેજ અથવા ઍપ, લૉગિન, પ્રદેશ-વિશિષ્ટ ઍક્સેસ કે અસમર્થિત રીડાયરેક્ટ જરૂરી હોય તેવાં ગંતવ્ય ચકાસણી અથવા સમીક્ષા માટે પૂરતી ક્રૉલ કરી શકાય તેવી સામગ્રી ન આપી શકે.
મારે ફરી ક્યારે અપલોડ કરવું અથવા સમીક્ષાની ફરી વિનંતી કરવી જોઈએ?
ક્રૉલરની ઍક્સેસ સુધાર્યા પછી સ્થિતિ આપમેળે અપડેટ ન થાય તો અસરગ્રસ્ત જાહેરાતોને ફરી અપલોડ કરો અથવા ફરી સબમિટ કરો. મોટા જથ્થામાં અપલોડ કરેલી જાહેરાતો માટે, તમારી ટીમ સુધારાની ચકાસણી કરે ત્યારે નાના જથ્થાથી દર મર્યાદા અથવા બૉટ-સુરક્ષા સક્રિય થવાની શક્યતા ઘટાડી શકાય છે.