OpenAI কেন ওয়েব ক্রলার ব্যবহার করে?
ChatGPT-এ বিজ্ঞাপন হিসেবে জমা দেওয়া ওয়েব পেজের নিরাপত্তা যাচাই করতে আমরা ক্রলার ব্যবহার করি. আপনি কোনো বিজ্ঞাপন জমা দিলে, সেটি আমাদের নীতিমালা মেনে চলছে কি না নিশ্চিত করতে OpenAI ল্যান্ডিং পেজটি দেখতে পারে. ব্যবহারকারীদের কাছে বিজ্ঞাপনটি কখন সবচেয়ে প্রাসঙ্গিকভাবে দেখানো যাবে তা নির্ধারণ করতেও আমরা ল্যান্ডিং পেজের কনটেন্ট ব্যবহার করতে পারি.
OpenAI-এর কোন ক্রলারগুলোকে অনুমতি দেওয়া উচিত?
আপনাকে অবশ্যই OAI-AdsBot-কে অনুমতি দিতে হবে. আমরা OAI-AdsBot এবং OAI-SearchBot দুটোকেই অনুমতি দেওয়ার পরামর্শ দিই.
পণ্যের ফিডের ক্ষেত্রে, পণ্যের ছবির URL ক্রল করার জন্য OAI-SearchBot-কেও অনুমতি দিন. ছবির হোস্টে firewall, CDN এবং bot-protection নিয়ম পরীক্ষা করুন; 403 response ফিড প্রসেসিং ব্লক করতে পারে.
OpenAI ক্রলার আমার ওয়েবসাইট ক্রল করতে পারছে না. আমার কী করা উচিত?
বেশিরভাগ ওয়েবসাইটে কোনো ক্রলার সফলভাবে ওয়েবপেজে প্রবেশ করার আগে সুরক্ষার একাধিক স্তর থাকে. OpenAI ক্রলারগুলো যেন নিচের প্রতিটি স্তর পার হতে পারে, তা যাচাই করতে আপনার ইঞ্জিনিয়ারিং বা নিরাপত্তা টিমের সঙ্গে কাজ করুন.
1. robots.txt
robots.txt ফাইলটি ক্রলারদের জানায় আপনার ওয়েবসাইটের নির্দিষ্ট অংশে তাদের প্রবেশের অনুমতি আছে কি না. OpenAI ক্রলারগুলো এসব নিয়ম মেনে চলে. robots.txt-এ প্রবেশ নিষিদ্ধ থাকলে, ক্রলিং সঙ্গে সঙ্গে বন্ধ হয়ে যাবে.
আপনার robots.txt কনফিগারেশন পর্যালোচনা করুন এবং নিশ্চিত করুন যে OpenAI ক্রলারগুলোকে সংশ্লিষ্ট পেজ ও পাথে স্পষ্টভাবে প্রবেশের অনুমতি দেওয়া আছে. উদাহরণ: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ওয়েব সুরক্ষা ও বট প্রতিরোধ
অনেক ওয়েবসাইট DDoS আক্রমণ, স্ক্র্যাপিং এবং অননুমোদিত ট্রাফিক থেকে রক্ষা পেতে Cloudflare, Akamai বা অন্যান্য ওয়েব সুরক্ষা প্রদানকারীর মতো পরিষেবা ব্যবহার করে. এই সিস্টেমগুলো ভুলবশত বৈধ ক্রলার ব্লক করতে পারে, এবং প্রায়ই 403 Forbidden ত্রুটি ফেরত দেয়. OpenAI ক্রলারগুলো স্বয়ংক্রিয় ট্রাফিক প্যাটার্নের মতো দেখাতে পারে বলে, বিশেষভাবে অনুমোদিত তালিকায় না রাখলে সেগুলোর প্রবেশ নাকচ হতে পারে.
আপনার ওয়েব সুরক্ষা বা firewall কনফিগারেশন পর্যালোচনা করুন এবং সম্ভব হলে OpenAI ক্রলার ট্রাফিক অনুমোদিত তালিকায় রাখুন, আদর্শভাবে আমাদের ক্রলার ইউজার এজেন্টের ভিত্তিতে. আপনার ইঞ্জিনিয়ারিং বা অবকাঠামো টিমের এমন কোনো স্বয়ংক্রিয় বট প্রতিরোধ নিয়মও পরীক্ষা করা উচিত, যা ভুলভাবে সতর্কতা তৈরি করতে পারে.
3. মানব যাচাই ও অ্যান্টি-বট লজিক
কিছু ওয়েবসাইট দর্শক মানুষ কি না যাচাই করতে অতিরিক্ত অ্যাপ্লিকেশন-স্তরের পরীক্ষা চালু করে, যেমন CAPTCHA, JavaScript challenge, আচরণগত বিশ্লেষণ বা সেশন যাচাই. OpenAI ক্রলারগুলো স্বয়ংক্রিয় সিস্টেম হওয়ায়, আগের স্তরগুলো সফলভাবে পার হলেও এসব পরীক্ষা প্রবেশাধিকার ব্লক করতে পারে.
আপনার অ্যাপ্লিকেশনের মধ্যে চালু থাকা যেকোনো মানব-যাচাই বা অ্যান্টি-অটোমেশন লজিক পর্যালোচনা করুন এবং যেখানে উপযুক্ত সেখানে OpenAI ক্রলারগুলোকে অব্যাহতি দেওয়া নিশ্চিত করুন, আদর্শভাবে আমাদের ক্রলার ইউজার এজেন্ট অনুমোদিত তালিকায় রেখে.
স্থিতিশীল IP রেঞ্জ সম্পর্কে একটি নোট
কিছু নিরাপত্তা সিস্টেমে ক্রলার ট্রাফিক নির্ভরযোগ্যভাবে অনুমোদিত তালিকায় রাখার আগে সেটি স্থিতিশীল, প্রকাশ্যে নথিভুক্ত IP রেঞ্জ থেকে আসা প্রয়োজন হয়. ক্রলার অবকাঠামো সময়ের সঙ্গে বদলাতে পারে বলে, আপনার ইঞ্জিনিয়ারিং টিমের শুধু লগ থেকে পাওয়া স্বল্পমেয়াদি IP পর্যবেক্ষণের ওপর নির্ভর করা এড়ানো উচিত. এর বদলে, user-agent শনাক্তকরণ, যেখানে সমর্থিত সেখানে verified bot program, firewall allowlist, robots.txt আচরণ এবং provider-level bot verification system—এসবের সমন্বয়ে ট্রাফিক যাচাই করুন.
স্থিতিশীল IP রেঞ্জের তালিকা অনুমতি দিতে হলে https://openai.com/searchbot.json এবং https://openai.com/adsbot.json দেখুন.
রেট লিমিটিং সম্পর্কে একটি নোট
বড় ব্যাচে আপলোড বা ক্রলার ট্রাফিকের হঠাৎ বৃদ্ধি কখনও কখনও স্বয়ংক্রিয় rate limiting বা bot protection system সক্রিয় করতে পারে.
আপনার যদি মনে হয় rate limiting হচ্ছে, তাহলে আপনার ইঞ্জিনিয়ারিং টিমকে HTTP response code, বিশেষ করে 429 Too Many Requests, firewall বা CDN log, bot mitigation event, request throttling rule এবং ক্রলার প্রবেশের চেষ্টা করার সময়কার traffic analytics পর্যালোচনা করতে বলুন. এটি বুঝতে সাহায্য করতে পারে যে অনুরোধগুলো অবকাঠামোগত সুরক্ষার কারণে ইচ্ছাকৃতভাবে ধীর করা হচ্ছে নাকি ব্লক করা হচ্ছে.
আপনি আরও ছোট ব্যাচে, দীর্ঘ সময় ধরে বিজ্ঞাপন আপলোড করার কথাও বিবেচনা করতে পারেন.
Cloudflare সম্পর্কে একটি নোট
OAI-AdsBot Cloudflare দ্বারা আনুষ্ঠানিকভাবে যাচাইকৃত এবং অনুমোদিত তালিকাভুক্ত.
ক্রলার ও ল্যান্ডিং পেজ সম্পর্কে FAQ
বিজ্ঞাপন পর্যালোচনার জন্য কোন ক্রলার প্রয়োজন?
ChatGPT অ্যাডের ল্যান্ডিং পেজ যাচাই ও পর্যালোচনার জন্য OAI-AdsBot প্রয়োজন. OAI-SearchBot সুপারিশ করা হয়, কারণ এটি OpenAI-কে পাবলিক ওয়েব কনটেন্ট বুঝতে সাহায্য করতে পারে, তবে বিজ্ঞাপনদাতাদের বিজ্ঞাপন প্রস্তুতির জন্য OAI-AdsBot-কে অগ্রাধিকার দেওয়া উচিত.
সাপোর্ট কি ম্যানুয়ালি ক্রলার যাচাই বাইপাস করতে পারে?
ম্যানুয়াল বাইপাসের ওপর নির্ভর করবেন না. robots.txt, WAF, CDN, bot mitigation, authentication এবং rate-limiting block ঠিক করে OAI-AdsBot-এর জন্য ল্যান্ডিং পেজটি ক্রলযোগ্য করুন. ল্যান্ডিং পেজ অ্যাক্সেসযোগ্য হওয়ার পর বিজ্ঞাপনগুলো আবার আপলোড করতে বা পর্যালোচনার জন্য আবার জমা দিতে হতে পারে.
আমার ইঞ্জিনিয়ারিং টিমের প্রথমে কী পরীক্ষা করা উচিত?
ল্যান্ডিং পেজ OAI-AdsBot-কে সফল HTTP response ফেরত দেয় কি না, robots.txt সংশ্লিষ্ট path অনুমতি দেয় কি না, এবং WAF, CDN, bot mitigation, JavaScript challenge, CAPTCHA, authentication বা geo rule স্বয়ংক্রিয় access ব্লক করে কি না পরীক্ষা করুন.
app-store link, deep link বা non-web destination কি ল্যান্ডিং পেজ হিসেবে সমর্থিত?
যখনই সম্ভব, সরাসরি পৌঁছানো যায় এমন ওয়েব ল্যান্ডিং পেজ ব্যবহার করুন. App-store link, deep link, document অথবা এমন destination যেখানে app, login, অঞ্চলভিত্তিক access বা unsupported redirect প্রয়োজন, সেগুলো যাচাই বা পর্যালোচনার জন্য যথেষ্ট crawlable content নাও দিতে পারে.
কখন আবার আপলোড করব বা পুনরায় পর্যালোচনার অনুরোধ করব?
ক্রলার অ্যাক্সেস ঠিক করার পর, স্ট্যাটাস নিজে থেকে আপডেট না হলে প্রভাবিত বিজ্ঞাপনগুলো আবার আপলোড করুন বা পুনরায় জমা দিন. বাল্কে আপলোড করা বিজ্ঞাপনের ক্ষেত্রে, আপনার টিম সমাধানটি যাচাই করার সময় ছোট ব্যাচ rate-limit বা bot-protection trigger কমাতে পারে.