OpenAI વેબ ક્રૉલર્સનો ઉપયોગ શા માટે કરે છે?
ChatGPT પર જાહેરાતો તરીકે સબમિટ કરેલા વેબ પેજની સુરક્ષા ચકાસવા માટે અમે ક્રૉલર્સનો ઉપયોગ કરીએ છીએ. જ્યારે તમે જાહેરાત સબમિટ કરો છો, ત્યારે તે અમારી નીતિઓનું પાલન કરે છે તેની ખાતરી કરવા માટે OpenAI લેન્ડિંગ પેજની મુલાકાત લઈ શકે છે. વપરાશકર્તાઓને જાહેરાત ક્યારે બતાવવી સૌથી સુસંગત રહેશે તે નક્કી કરવા માટે અમે લેન્ડિંગ પેજની સામગ્રીનો પણ ઉપયોગ કરી શકીએ છીએ.
તમારે કયા OpenAI ક્રૉલર્સને મંજૂરી આપવી જોઈએ?
તમારે OAI-AdsBotને મંજૂરી આપવી આવશ્યક છે. અમે OAI-AdsBot અને OAI-SearchBot બન્નેને મંજૂરી આપવાની ભલામણ કરીએ છીએ.
OpenAI ક્રૉલર્સ મારી વેબસાઇટ ક્રૉલ કરી શકતા નથી. મારે શું કરવું જોઈએ?
મોટાભાગની વેબસાઇટ્સમાં ક્રૉલર કોઈ વેબપેજને સફળતાપૂર્વક ઍક્સેસ કરી શકે તે પહેલાં સુરક્ષાના અનેક સ્તરો હોય છે. તમારી એન્જિનિયરિંગ અથવા સુરક્ષા ટીમ સાથે કામ કરીને ખાતરી કરો કે OpenAI ક્રૉલર્સ નીચેના દરેક સ્તરમાંથી પસાર થઈ શકે છે.
1. robots.txt
robots.txt ફાઇલ ક્રૉલર્સને જણાવે છે કે તેમને તમારી વેબસાઇટના ચોક્કસ ભાગો ઍક્સેસ કરવાની પરવાનગી છે કે નહીં. OpenAI ક્રૉલર્સ આ નિયમોનું પાલન કરે છે. જો robots.txtમાં ઍક્સેસની મંજૂરી ન હોય, તો ક્રૉલિંગ તરત જ બંધ થઈ જશે.
તમારી robots.txt ગોઠવણીની સમીક્ષા કરો અને ખાતરી કરો કે OpenAI ક્રૉલર્સને સંબંધિત પેજ અને પાથ ઍક્સેસ કરવાની સ્પષ્ટ મંજૂરી છે. ઉદાહરણ તરીકે: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. વેબ સુરક્ષા અને બોટ નિવારણ
ઘણી વેબસાઇટ્સ DDoS હુમલા, સ્ક્રેપિંગ અને અનધિકૃત ટ્રાફિક સામે રક્ષણ માટે Cloudflare, Akamai અથવા અન્ય વેબ સુરક્ષા પ્રદાતાઓ જેવી સેવાઓનો ઉપયોગ કરે છે. આ સિસ્ટમો ક્યારેક ભૂલથી કાયદેસર ક્રૉલર્સને અવરોધી શકે છે, ઘણીવાર 403 Forbidden ભૂલો પરત કરે છે. OpenAI ક્રૉલર્સ ઑટોમેટેડ ટ્રાફિક પેટર્ન જેવા લાગી શકે છે, તેથી ખાસ કરીને અનુમતિ સૂચિમાં ઉમેરવામાં ન આવે તો તેમને નકારવામાં આવી શકે છે.
તમારી વેબ સુરક્ષા અથવા ફાયરવૉલ ગોઠવણીની સમીક્ષા કરો અને શક્ય હોય ત્યાં OpenAI ક્રૉલર ટ્રાફિકને અનુમતિ સૂચિમાં ઉમેરો, શ્રેષ્ઠ રીતે અમારા ક્રૉલર user agentsના આધારે. તમારી એન્જિનિયરિંગ અથવા ઇન્ફ્રાસ્ટ્રક્ચર ટીમે ખોટા પોઝિટિવ ટ્રિગર કરી શકે એવા કોઈપણ ઑટોમેટેડ બોટ નિવારણ નિયમોની પણ તપાસ કરવી જોઈએ.
3. માનવ ચકાસણી અને એન્ટિ-બોટ તર્ક
કેટલીક વેબસાઇટ્સ મુલાકાતી માનવ છે કે નહીં તે ચકાસવા માટે વધારાની એપ્લિકેશન-સ્તરની તપાસો લાગુ કરે છે, જેમ કે CAPTCHAs, JavaScript ચેલેન્જ, વર્તન વિશ્લેષણ અથવા સેશન માન્યતા. OpenAI ક્રૉલર્સ ઑટોમેટેડ સિસ્ટમો હોવાથી, ક્રૉલર અગાઉના સ્તરો સફળતાપૂર્વક પસાર કરે તો પણ આ તપાસો ઍક્સેસ અવરોધી શકે છે.
તમારી એપ્લિકેશનમાં લાગુ કરેલા કોઈપણ માનવ-ચકાસણી અથવા એન્ટિ-ઑટોમેશન તર્કની સમીક્ષા કરો અને યોગ્ય હોય ત્યાં OpenAI ક્રૉલર્સને મુક્ત રાખો, શ્રેષ્ઠ રીતે અમારા ક્રૉલર user agentsને અનુમતિ સૂચિમાં ઉમેરીને.
સ્થિર IP શ્રેણીઓ અંગે નોંધ
કેટલીક સુરક્ષા સિસ્ટમો ટ્રાફિકને વિશ્વસનીય રીતે અનુમતિ સૂચિમાં ઉમેરવા પહેલાં ક્રૉલર ટ્રાફિક સ્થિર અને જાહેર રીતે દસ્તાવેજિત IP શ્રેણીઓમાંથી આવે તેવી આવશ્યકતા રાખે છે. ક્રૉલર ઇન્ફ્રાસ્ટ્રક્ચર સમય જતાં બદલાઈ શકે છે, તેથી તમારી એન્જિનિયરિંગ ટીમે લોગમાંથી મળેલા ટૂંકા ગાળાના IP અવલોકનો પર જ આધાર રાખવાનું ટાળવું જોઈએ. તેના બદલે, user-agent ઓળખ, જ્યાં સપોર્ટેડ હોય ત્યાં ચકાસાયેલા બોટ પ્રોગ્રામ, ફાયરવૉલ અનુમતિ સૂચિઓ, robots.txt વર્તન અને પ્રદાતા-સ્તરની બોટ ચકાસણી સિસ્ટમોના સંયોજન દ્વારા ટ્રાફિકની ચકાસણી કરો.
જો તમારે IP શ્રેણીઓની સ્થિર સૂચિને મંજૂરી આપવી જ હોય, તો https://openai.com/searchbot.json અને https://openai.com/adsbot.jsonનો સંદર્ભ લો.
દર મર્યાદા લાગુ કરવા અંગે નોંધ
મોટા બેચ અપલોડ અથવા ક્રૉલર ટ્રાફિકમાં અચાનક વધારો ક્યારેક ઑટોમેટેડ દર મર્યાદા અથવા બોટ સુરક્ષા સિસ્ટમોને ટ્રિગર કરી શકે છે.
જો તમને દર મર્યાદા લાગુ થઈ રહી હોવાની શંકા હોય, તો તમારી એન્જિનિયરિંગ ટીમને HTTP પ્રતિભાવ કોડ, ખાસ કરીને 429 Too Many Requests, ફાયરવૉલ અથવા CDN લોગ, બોટ નિવારણ ઇવેન્ટ, વિનંતી થ્રોટલિંગ નિયમો અને ક્રૉલરે ઍક્સેસનો પ્રયાસ કર્યો તે સમયની આસપાસના ટ્રાફિક વિશ્લેષણની સમીક્ષા કરવા કહો. આથી ઓળખવામાં મદદ મળી શકે છે કે ઇન્ફ્રાસ્ટ્રક્ચર સુરક્ષાઓ દ્વારા વિનંતીઓને ઇરાદાપૂર્વક ધીમી કરવામાં આવી રહી છે કે અવરોધવામાં આવી રહી છે.
તમે વધુ લાંબા સમયગાળામાં નાના બેચમાં જાહેરાતો અપલોડ કરવાનું પણ વિચારી શકો છો.
Cloudflare અંગે નોંધ
OAI-AdsBotને Cloudflare દ્વારા સત્તાવાર રીતે ચકાસવામાં આવ્યો છે અને અનુમતિ સૂચિમાં ઉમેરવામાં આવ્યો છે.
ક્રૉલર અને લેન્ડિંગ પેજ FAQ
જાહેરાતોની સમીક્ષા માટે કયો ક્રૉલર જરૂરી છે?
ChatGPT Ads લેન્ડિંગ પેજની માન્યતા અને સમીક્ષા માટે OAI-AdsBot જરૂરી છે. OAI-SearchBotની ભલામણ કરવામાં આવે છે કારણ કે તે OpenAIને જાહેર વેબ સામગ્રી સમજવામાં મદદ કરી શકે છે, પરંતુ જાહેરાતદાતાઓએ જાહેરાતોની તૈયારી માટે OAI-AdsBotને પ્રાથમિકતા આપવી જોઈએ.
શું સપોર્ટ ક્રૉલર માન્યતાને મેન્યુઅલી બાયપાસ કરી શકે છે?
મેન્યુઅલ બાયપાસ પર આધાર રાખશો નહીં. robots.txt, WAF, CDN, બોટ નિવારણ, પ્રમાણીકરણ અને દર મર્યાદાના અવરોધોને ઠીક કરીને લેન્ડિંગ પેજને OAI-AdsBot માટે ક્રૉલ કરી શકાય તેવું બનાવો. લેન્ડિંગ પેજ ઍક્સેસ કરી શકાય તેવું બન્યા પછી જાહેરાતો ફરીથી અપલોડ કરવાની અથવા સમીક્ષા માટે ફરીથી સબમિટ કરવાની જરૂર પડી શકે છે.
મારી એન્જિનિયરિંગ ટીમે પહેલાં શું તપાસવું જોઈએ?
તપાસો કે લેન્ડિંગ પેજ OAI-AdsBotને સફળ HTTP પ્રતિભાવ આપે છે કે નહીં, robots.txt સંબંધિત પાથને મંજૂરી આપે છે કે નહીં, અને WAF, CDN, બોટ નિવારણ, JavaScript ચેલેન્જ, CAPTCHAs, પ્રમાણીકરણ અથવા ભૂગોળ નિયમો ઑટોમેટેડ ઍક્સેસને અવરોધે છે કે નહીં.
શું app-store લિંક્સ, deep links અથવા બિન-વેબ ગંતવ્યો લેન્ડિંગ પેજ તરીકે સપોર્ટેડ છે?
શક્ય હોય ત્યારે સીધું ઍક્સેસ કરી શકાય તેવું વેબ લેન્ડિંગ પેજ વાપરો. App-store લિંક્સ, deep links, દસ્તાવેજો અથવા એવા ગંતવ્યો જેને એપ, લૉગિન, પ્રદેશ-વિશિષ્ટ ઍક્સેસ અથવા અસપોર્ટેડ રીડાયરેક્ટની જરૂર પડે છે, તે માન્યતા અથવા સમીક્ષા માટે પૂરતી ક્રૉલ કરી શકાય તેવી સામગ્રી આપી શકતા નથી.
મારે ફરીથી ક્યારે અપલોડ કરવું અથવા ફરીથી સમીક્ષા માટે વિનંતી કરવી જોઈએ?
ક્રૉલર ઍક્સેસ ઠીક કર્યા પછી, જો સ્થિતિ પોતાની રીતે અપડેટ ન થાય તો અસરગ્રસ્ત જાહેરાતો ફરીથી અપલોડ કરો અથવા ફરીથી સબમિટ કરો. બલ્ક-અપલોડ કરેલી જાહેરાતો માટે, તમારી ટીમ સુધારાની ચકાસણી કરતી વખતે નાના બેચ દર મર્યાદા અથવા બોટ-સુરક્ષા ટ્રિગરને ઘટાડી શકે છે.