OpenAI ویب کرالرز کیوں استعمال کرتا ہے؟
ہم ChatGPT پر اشتہارات کے طور پر جمع کرائے گئے ویب صفحات کی حفاظت کی توثیق کے لیے کرالرز استعمال کرتے ہیں۔ جب آپ کوئی اشتہار جمع کراتے ہیں تو OpenAI یہ یقینی بنانے کے لیے اس کے لینڈنگ صفحے پر جا سکتا ہے کہ وہ ہماری پالیسیوں کی تعمیل کرتا ہے۔ ہم لینڈنگ صفحے کا مواد یہ طے کرنے کے لیے بھی استعمال کر سکتے ہیں کہ صارفین کو اشتہار دکھانا کب سب سے زیادہ موزوں ہے۔
آپ کو OpenAI کے کن کرالرز کو اجازت دینی چاہیے؟
آپ کے لیے OAI-AdsBot کو اجازت دینا ضروری ہے۔ ہم OAI-AdsBot اور OAI-SearchBot دونوں کو اجازت دینے کی تجویز کرتے ہیں۔
مصنوعات کی فیڈز کے لیے OAI-SearchBot کو مصنوعات کی تصاویر کے URLs کرال کرنے کی بھی اجازت دیں۔ تصاویر کے میزبان پر فائر وال، CDN اور بوٹ سے تحفظ کے قواعد چیک کریں؛ 403 جواب فیڈ کی کارروائی روک سکتا ہے۔
OpenAI کے کرالرز میری ویب سائٹ کرال نہیں کر پا رہے ہیں۔ مجھے کیا کرنا چاہیے؟
زیادہ تر ویب سائٹس پر تحفظ کی متعدد تہیں ہوتی ہیں جن سے گزرنے کے بعد ہی کوئی کرالر ویب صفحے تک کامیابی سے رسائی حاصل کر سکتا ہے۔ اپنی انجینئرنگ یا سیکیورٹی ٹیم کے ساتھ مل کر تصدیق کریں کہ OpenAI کے کرالرز درج ذیل ہر تہہ سے گزر سکتے ہیں۔
1. robots.txt
robots.txt فائل کرالرز کو بتاتی ہے کہ آیا انہیں آپ کی ویب سائٹ کے مخصوص حصوں تک رسائی کی اجازت ہے۔ OpenAI کے کرالرز ان قواعد کی پابندی کرتے ہیں۔ اگر robots.txt میں رسائی ممنوع ہو تو کرالنگ فوراً رک جائے گی۔
اپنی robots.txt ترتیب کا جائزہ لیں اور تصدیق کریں کہ OpenAI کے کرالرز کو متعلقہ صفحات اور راستوں تک رسائی کی واضح اجازت ہے۔ مثلاً: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ویب تحفظ اور بوٹس کی روک تھام
بہت سی ویب سائٹس DDoS حملوں، مواد کی خودکار نقل اور غیر مجاز ٹریفک سے بچنے کے لیے Cloudflare، Akamai یا دیگر ویب تحفظ فراہم کنندگان کی خدمات استعمال کرتی ہیں۔ یہ نظام غلطی سے جائز کرالرز کو روک سکتے ہیں اور اکثر 403 Forbidden کی خرابی لوٹاتے ہیں۔ چونکہ OpenAI کے کرالرز خودکار ٹریفک جیسے دکھائی دے سکتے ہیں، اس لیے انہیں خاص طور پر مجاز فہرست میں شامل کیے بغیر رسائی سے روکا جا سکتا ہے۔
اپنے ویب تحفظ یا فائر وال کی ترتیب کا جائزہ لیں اور جہاں ممکن ہو، بہتر یہ ہے کہ ہمارے کرالر یوزر ایجنٹس کی بنیاد پر OpenAI کے کرالرز کی ٹریفک کو مجاز فہرست میں شامل کریں۔ آپ کی انجینئرنگ یا بنیادی ڈھانچے کی ٹیم کو بوٹس کی روک تھام کے ان خودکار قواعد کا بھی جائزہ لینا چاہیے جو غلط طور پر فعال ہو سکتے ہیں۔
3. انسانی تصدیق اور بوٹ مخالف منطق
کچھ ویب سائٹس یہ تصدیق کرنے کے لیے کہ وزیٹر انسان ہے، ایپلیکیشن کی سطح پر اضافی جانچ نافذ کرتی ہیں، جیسے CAPTCHAs، JavaScript چیلنجز، طرزِ عمل کا تجزیہ یا سیشن کی توثیق۔ چونکہ OpenAI کے کرالرز خودکار نظام ہیں، اس لیے پہلے کی تہوں سے کامیابی سے گزرنے کے باوجود یہ جانچ ان کی رسائی روک سکتی ہے۔
اپنی ایپلیکیشن میں نافذ انسانی تصدیق یا خودکاری مخالف منطق کا جائزہ لیں اور جہاں مناسب ہو، بہتر یہ ہے کہ ہمارے کرالر یوزر ایجنٹس کو مجاز فہرست میں شامل کر کے OpenAI کے کرالرز کو مستثنیٰ رکھیں۔
مستحکم IP حدود کے بارے میں نوٹ
کچھ سیکیورٹی نظاموں میں ٹریفک کو قابلِ اعتماد طور پر مجاز فہرست میں شامل کرنے کے لیے ضروری ہوتا ہے کہ کرالر ٹریفک مستحکم اور عوامی طور پر دستاویزی IP حدود سے آئے۔ چونکہ کرالر کا بنیادی ڈھانچہ وقت کے ساتھ بدل سکتا ہے، اس لیے آپ کی انجینئرنگ ٹیم کو لاگز میں نظر آنے والے قلیل مدتی IP مشاہدات پر ہی انحصار نہیں کرنا چاہیے۔ اس کے بجائے یوزر ایجنٹ کی شناخت، جہاں معاونت دستیاب ہو وہاں تصدیق شدہ بوٹ پروگراموں، فائر وال کی مجاز فہرستوں، robots.txt کے طرزِ عمل اور فراہم کنندہ کی سطح کے بوٹ تصدیقی نظاموں کو ملا کر ٹریفک کی توثیق کریں۔
اگر آپ کے لیے IP حدود کی مستحکم فہرست کو اجازت دینا ضروری ہو تو https://openai.com/searchbot.json اور https://openai.com/adsbot.json سے رجوع کریں۔
رفتار محدود کرنے کے بارے میں نوٹ
بڑی تعداد میں ایک ساتھ اپ لوڈز یا کرالر ٹریفک میں اچانک اضافہ کبھی کبھار خودکار رفتار کی حد یا بوٹ سے تحفظ کے نظام فعال کر سکتا ہے۔
اگر آپ کو رفتار محدود کیے جانے کا شبہ ہو تو اپنی انجینئرنگ ٹیم سے HTTP جوابی کوڈز، بالخصوص 429 Too Many Requests، فائر وال یا CDN لاگز، بوٹ روک تھام کے واقعات، درخواستوں کی رفتار محدود کرنے کے قواعد اور کرالر کی رسائی کی کوشش کے وقت کے آس پاس کے ٹریفک تجزیات کا جائزہ لینے کو کہیں۔ اس سے یہ معلوم کرنے میں مدد مل سکتی ہے کہ آیا بنیادی ڈھانچے کے تحفظات جان بوجھ کر درخواستوں کو سست یا مسدود کر رہے ہیں۔
آپ اشتہارات کو زیادہ طویل عرصے میں چھوٹی کھیپوں کی صورت میں اپ لوڈ کرنے پر بھی غور کر سکتے ہیں۔
Cloudflare کے بارے میں نوٹ
Cloudflare نے OAI-AdsBot کی باضابطہ توثیق کر کے اسے مجاز فہرست میں شامل کیا ہے۔
کرالر اور لینڈنگ صفحے کے اکثر پوچھے جانے والے سوالات
اشتہارات کے جائزے کے لیے کون سا کرالر درکار ہے؟
اشتہارات ChatGPT کے لینڈنگ صفحے کی توثیق اور جائزے کے لیے OAI-AdsBot درکار ہے۔ OAI-SearchBot کی تجویز دی جاتی ہے کیونکہ اس سے OpenAI کو عوامی ویب مواد سمجھنے میں مدد مل سکتی ہے، لیکن اشتہارات کی تیاری کے لیے مشتہرین کو OAI-AdsBot کو ترجیح دینی چاہیے۔
کیا معاونت کی ٹیم کرالر کی توثیق کو دستی طور پر نظر انداز کر سکتی ہے؟
دستی طور پر نظر انداز کیے جانے پر انحصار نہ کریں۔ robots.txt، WAF، CDN، بوٹ روک تھام، تصدیقِ شناخت اور رفتار محدود کرنے والی رکاوٹیں درست کر کے لینڈنگ صفحے کو OAI-AdsBot کے لیے قابلِ کرال بنائیں۔ لینڈنگ صفحہ قابلِ رسائی ہونے کے بعد اشتہارات کو دوبارہ اپ لوڈ یا جائزے کے لیے پھر جمع کرانا پڑ سکتا ہے۔
میری انجینئرنگ ٹیم کو سب سے پہلے کیا چیک کرنا چاہیے؟
چیک کریں کہ آیا لینڈنگ صفحہ OAI-AdsBot کو کامیاب HTTP جواب دیتا ہے، robots.txt متعلقہ راستے کی اجازت دیتی ہے، اور آیا WAF، CDN، بوٹ روک تھام، JavaScript چیلنجز، CAPTCHAs، تصدیقِ شناخت یا جغرافیائی قواعد خودکار رسائی کو روکتے ہیں۔
کیا ایپ اسٹور لنکس، ڈیپ لنکس یا غیر ویب مقامات کو لینڈنگ صفحات کے طور پر استعمال کیا جا سکتا ہے؟
جب بھی ممکن ہو، براہِ راست قابلِ رسائی ویب لینڈنگ صفحہ استعمال کریں۔ ایپ اسٹور لنکس، ڈیپ لنکس، دستاویزات یا ایسے مقامات جن کے لیے ایپ، لاگ اِن، مخصوص خطے سے رسائی یا غیر معاون ری ڈائریکٹس درکار ہوں، توثیق یا جائزے کے لیے کافی قابلِ کرال مواد فراہم نہیں کر سکتے۔
مجھے دوبارہ اپ لوڈ یا پھر جائزے کی درخواست کب کرنی چاہیے؟
کرالر کی رسائی درست کرنے کے بعد، اگر حالت خود بخود اپ ڈیٹ نہ ہو تو متاثرہ اشتہارات کو دوبارہ اپ لوڈ یا جمع کرائیں۔ بڑی تعداد میں اپ لوڈ کیے گئے اشتہارات کے لیے چھوٹی کھیپیں رفتار کی حد یا بوٹ سے تحفظ کے نظام فعال ہونے کا امکان کم کر سکتی ہیں، جبکہ آپ کی ٹیم اصلاح کی توثیق کرتی ہے۔