OpenAI ویب کرالرز کیوں استعمال کرتا ہے؟
ہم ChatGPT پر اشتہارات کے طور پر جمع کرائے گئے ویب صفحات کی حفاظت کی توثیق کے لیے کرالرز استعمال کرتے ہیں. جب آپ کوئی اشتہار جمع کراتے ہیں، تو OpenAI لینڈنگ پیج پر جا کر یہ یقینی بنا سکتا ہے کہ وہ ہماری پالیسیوں کے مطابق ہے. ہم لینڈنگ پیج کے مواد کو یہ طے کرنے کے لیے بھی استعمال کر سکتے ہیں کہ صارفین کو اشتہار دکھانا کب سب سے زیادہ متعلقہ ہے.
آپ کو کن OpenAI کرالرز کی اجازت دینی چاہیے؟
آپ کو OAI-AdsBot کی اجازت دینی ہوگی. ہم OAI-AdsBot اور OAI-SearchBot دونوں کی اجازت دینے کی سفارش کرتے ہیں.
OpenAI کرالرز میری ویب سائٹ کرال کرنے میں ناکام ہو رہے ہیں. مجھے کیا کرنا چاہیے؟
زیادہ تر ویب سائٹس میں تحفظ کی کئی تہیں ہوتی ہیں جن سے گزرنے کے بعد ہی کوئی کرالر کسی ویب پیج تک کامیابی سے رسائی حاصل کر سکتا ہے. اپنی انجینئرنگ یا سیکیورٹی ٹیم کے ساتھ مل کر تصدیق کریں کہ OpenAI کرالرز درج ذیل ہر تہہ سے گزر سکتے ہیں.
1. robots.txt
robots.txt فائل کرالرز کو بتاتی ہے کہ آیا انہیں آپ کی ویب سائٹ کے کچھ حصوں تک رسائی کی اجازت ہے یا نہیں. OpenAI کرالرز ان قواعد کا احترام کرتے ہیں. اگر robots.txt میں رسائی ممنوع ہو تو کرالنگ فوراً رک جائے گی.
اپنی robots.txt کنفیگریشن کا جائزہ لیں اور تصدیق کریں کہ OpenAI کرالرز کو متعلقہ صفحات اور راستوں تک رسائی کی واضح اجازت ہے. مثلاً: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ویب تحفظ اور بوٹ سے بچاؤ
کئی ویب سائٹس DDoS حملوں، اسکریپنگ اور غیر مجاز ٹریفک سے بچنے کے لیے Cloudflare، Akamai یا دوسرے ویب تحفظ فراہم کنندگان جیسی خدمات استعمال کرتی ہیں. یہ سسٹمز جائز کرالرز کو غلطی سے بلاک کر سکتے ہیں، اور اکثر 403 Forbidden خرابیاں واپس کرتے ہیں. چونکہ OpenAI کرالرز خودکار ٹریفک کے نمونوں جیسے لگ سکتے ہیں، اس لیے خاص طور پر allowlist نہ کیے جانے تک انہیں رسائی سے روکا جا سکتا ہے.
اپنی ویب پروٹیکشن یا فائر وال کنفیگریشن کا جائزہ لیں اور جہاں ممکن ہو OpenAI کرالر ٹریفک کو allowlist کریں، بہتر ہے کہ یہ ہمارے کرالر یوزر ایجنٹس کی بنیاد پر ہو. آپ کی انجینئرنگ یا انفراسٹرکچر ٹیم کو بوٹ سے خودکار بچاؤ کے ایسے قواعد بھی دیکھنے چاہییں جو false positives پیدا کر سکتے ہیں.
3. انسانی توثیق اور اینٹی بوٹ منطق
کچھ ویب سائٹس یہ تصدیق کرنے کے لیے ایپلیکیشن سطح کی اضافی جانچیں نافذ کرتی ہیں کہ وزٹر انسان ہے، جیسے CAPTCHAs، JavaScript چیلنجز، رویّے کا تجزیہ یا سیشن کی توثیق. چونکہ OpenAI کرالرز خودکار سسٹمز ہیں، اس لیے یہ جانچیں رسائی کو بلاک کر سکتی ہیں، چاہے کرالر پچھلی تہوں سے کامیابی سے گزر چکا ہو.
اپنی ایپلیکیشن میں نافذ انسانی توثیق یا اینٹی آٹومیشن منطق کا جائزہ لیں اور یقینی بنائیں کہ جہاں مناسب ہو OpenAI کرالرز کو مستثنیٰ رکھا گیا ہے، بہتر ہے کہ ہمارے کرالر یوزر ایجنٹس کو allowlist کر کے.
مستحکم IP رینجز کے بارے میں نوٹ
کچھ سیکیورٹی سسٹمز کا تقاضا ہوتا ہے کہ کرالر ٹریفک مستحکم، عوامی طور پر دستاویزی IP رینجز سے آئے، تبھی ٹریفک کو قابل اعتماد طور پر allowlist کیا جا سکتا ہے. چونکہ کرالر انفراسٹرکچر وقت کے ساتھ بدل سکتا ہے، اس لیے آپ کی انجینئرنگ ٹیم کو لاگز سے ملنے والے قلیل مدتی IP مشاہدات پر ہی انحصار کرنے سے گریز کرنا چاہیے. اس کے بجائے، یوزر ایجنٹ کی شناخت، جہاں معاونت ہو وہاں تصدیق شدہ بوٹ پروگرامز، فائر وال allowlists، robots.txt کے رویّے اور فراہم کنندہ کی سطح کے بوٹ ویریفکیشن سسٹمز کے امتزاج سے ٹریفک کی توثیق کریں.
اگر آپ کو IP رینجز کی ایک مستحکم فہرست کی اجازت دینی ہی ہو، تو https://openai.com/searchbot.json اور https://openai.com/adsbot.json دیکھیں.
ریٹ لمٹ کے بارے میں نوٹ
بڑے بیچ اپ لوڈز یا کرالر ٹریفک میں اچانک اضافہ کبھی کبھی خودکار ریٹ لمٹ یا بوٹ پروٹیکشن سسٹمز کو متحرک کر سکتا ہے.
اگر آپ کو شبہ ہو کہ ریٹ لمٹ لگ رہی ہے، تو اپنی انجینئرنگ ٹیم سے HTTP رسپانس کوڈز، خاص طور پر 429 Too Many Requests، فائر وال یا CDN لاگز، بوٹ مٹیگیشن ایونٹس، درخواست تھروٹلنگ قواعد، اور اس وقت کے آس پاس کی ٹریفک اینالیٹکس کا جائزہ لینے کو کہیں جب کرالر نے رسائی کی کوشش کی تھی. اس سے یہ شناخت کرنے میں مدد مل سکتی ہے کہ آیا درخواستوں کو انفراسٹرکچر تحفظات کے ذریعے جان بوجھ کر سست یا بلاک کیا جا رہا ہے.
آپ اشتہارات کو چھوٹے بیچز میں طویل مدت کے دوران اپ لوڈ کرنے پر بھی غور کر سکتے ہیں.
Cloudflare کے بارے میں نوٹ
OAI-AdsBot کو Cloudflare نے باضابطہ طور پر تصدیق شدہ اور allowlisted کیا ہے.
کرالر اور لینڈنگ پیج سے متعلق عام سوالات
اشتہارات کے جائزے کے لیے کون سا کرالر درکار ہے؟
OAI-AdsBot، ChatGPT Ads کے لینڈنگ پیج کی توثیق اور جائزے کے لیے درکار ہے. OAI-SearchBot کی سفارش کی جاتی ہے کیونکہ یہ OpenAI کو عوامی ویب مواد سمجھنے میں مدد دے سکتا ہے، لیکن اشتہار دہندگان کو اشتہارات کی تیاری کے لیے OAI-AdsBot کو ترجیح دینی چاہیے.
کیا سپورٹ کرالر توثیق کو دستی طور پر بائی پاس کر سکتی ہے؟
دستی بائی پاس پر انحصار نہ کریں. robots.txt، WAF، CDN، بوٹ مٹیگیشن، توثیق، اور ریٹ لمٹ کی رکاوٹیں درست کر کے لینڈنگ پیج کو OAI-AdsBot کے لیے قابل کرال بنائیں. لینڈنگ پیج قابل رسائی ہونے کے بعد اشتہارات کو دوبارہ اپ لوڈ کرنا یا جائزے کے لیے دوبارہ جمع کرانا پڑ سکتا ہے.
میری انجینئرنگ ٹیم کو سب سے پہلے کیا چیک کرنا چاہیے؟
چیک کریں کہ آیا لینڈنگ پیج OAI-AdsBot کو کامیاب HTTP رسپانس واپس کرتا ہے، آیا robots.txt متعلقہ راستے کی اجازت دیتا ہے، اور آیا WAF، CDN، بوٹ مٹیگیشن، JavaScript چیلنجز، CAPTCHAs، توثیق یا جیو قواعد خودکار رسائی کو بلاک کرتے ہیں.
کیا ایپ اسٹور لنکس، ڈیپ لنکس یا غیر ویب مقامات کو لینڈنگ پیجز کے طور پر سپورٹ کیا جاتا ہے؟
جہاں ممکن ہو، براہ راست قابل رسائی ویب لینڈنگ پیج استعمال کریں. ایپ اسٹور لنکس، ڈیپ لنکس، دستاویزات یا ایسے مقامات جن کے لیے ایپ، لاگ ان، علاقے کے لحاظ سے رسائی یا غیر معاون ری ڈائریکٹس درکار ہوں، توثیق یا جائزے کے لیے کافی قابل کرال مواد فراہم نہیں کر سکتے.
مجھے کب دوبارہ اپ لوڈ کرنا یا دوبارہ جائزے کی درخواست کرنی چاہیے؟
کرالر رسائی درست کرنے کے بعد، اگر اسٹیٹس خود سے اپ ڈیٹ نہ ہو تو متاثرہ اشتہارات کو دوبارہ اپ لوڈ کریں یا دوبارہ جمع کرائیں. بڑی تعداد میں اپ لوڈ کیے گئے اشتہارات کے لیے، چھوٹے بیچز ریٹ لمٹ یا بوٹ پروٹیکشن ٹرگرز کو کم کر سکتے ہیں جب آپ کی ٹیم درستگی کی توثیق کر رہی ہو.