OpenAI কেন ওয়েব ক্রলার ব্যবহার করে?
ChatGPT-এ বিজ্ঞাপন হিসেবে জমা দেওয়া ওয়েব পৃষ্ঠাগুলোর নিরাপত্তা যাচাই করতে আমরা ক্রলার ব্যবহার করি. আপনি কোনো বিজ্ঞাপন জমা দিলে, সেটি আমাদের নীতিমালা মেনে চলছে কি না নিশ্চিত করতে OpenAI ল্যান্ডিং পেজটি দেখতে পারে. ব্যবহারকারীদের কাছে বিজ্ঞাপনটি কখন সবচেয়ে প্রাসঙ্গিক হবে তা নির্ধারণ করতেও আমরা ল্যান্ডিং পেজের কনটেন্ট ব্যবহার করতে পারি.
আপনার কোন OpenAI ক্রলারগুলোকে অনুমতি দেওয়া উচিত?
আপনাকে অবশ্যই OAI-AdsBot-কে অনুমতি দিতে হবে. আমরা OAI-AdsBot এবং OAI-SearchBot দুটোকেই অনুমতি দেওয়ার পরামর্শ দিই.
OpenAI ক্রলারগুলো আমার ওয়েবসাইট ক্রল করতে পারছে না. আমার কী করা উচিত?
কোনো ক্রলার সফলভাবে ওয়েব পেজে প্রবেশ করার আগে বেশিরভাগ ওয়েবসাইটে সুরক্ষার একাধিক স্তর থাকে. OpenAI ক্রলারগুলো নিচের প্রতিটি স্তর পার হতে পারে কি না তা যাচাই করতে আপনার ইঞ্জিনিয়ারিং বা নিরাপত্তা দলের সঙ্গে কাজ করুন.
1. robots.txt
robots.txt ফাইল ক্রলারগুলোকে জানায়, তারা আপনার ওয়েবসাইটের নির্দিষ্ট অংশে প্রবেশের অনুমতি পেয়েছে কি না. OpenAI ক্রলারগুলো এসব নিয়ম মেনে চলে. robots.txt-এ প্রবেশ নিষিদ্ধ থাকলে ক্রলিং সঙ্গে সঙ্গে বন্ধ হয়ে যাবে.
আপনার robots.txt কনফিগারেশন পর্যালোচনা করুন এবং প্রাসঙ্গিক পেজ ও পাথে OpenAI ক্রলারগুলোর প্রবেশ স্পষ্টভাবে অনুমোদিত আছে কি না নিশ্চিত করুন. উদাহরণ: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ওয়েব সুরক্ষা এবং বট প্রতিরোধ
DDoS আক্রমণ, স্ক্র্যাপিং এবং অননুমোদিত ট্রাফিক থেকে সুরক্ষার জন্য অনেক ওয়েবসাইট Cloudflare, Akamai বা অন্যান্য ওয়েব সুরক্ষা প্রদানকারীর মতো সেবা ব্যবহার করে. এই সিস্টেমগুলো ভুল করে বৈধ ক্রলার আটকে দিতে পারে, প্রায়ই 403 Forbidden ত্রুটি দেখায়. OpenAI ক্রলারগুলো স্বয়ংক্রিয় ট্রাফিক প্যাটার্নের মতো মনে হতে পারে, তাই নির্দিষ্টভাবে অনুমোদিত তালিকায় না থাকলে সেগুলো প্রত্যাখ্যাত হতে পারে.
আপনার ওয়েব সুরক্ষা বা ফায়ারওয়াল কনফিগারেশন পর্যালোচনা করুন এবং সম্ভব হলে OpenAI ক্রলার ট্রাফিককে অনুমোদিত তালিকায় যোগ করুন, আদর্শভাবে আমাদের ক্রলার ইউজার এজেন্টের ভিত্তিতে. আপনার ইঞ্জিনিয়ারিং বা অবকাঠামো দলকে এমন কোনো স্বয়ংক্রিয় বট প্রতিরোধ নিয়মও পরীক্ষা করা উচিত, যা ভুল সতর্কতা চালু করতে পারে.
3. মানব যাচাইকরণ এবং অ্যান্টি-বট যুক্তি
কিছু ওয়েবসাইট ভিজিটর মানুষ কি না যাচাই করতে অ্যাপ্লিকেশন স্তরে অতিরিক্ত পরীক্ষা চালায়, যেমন CAPTCHAs, JavaScript চ্যালেঞ্জ, আচরণ বিশ্লেষণ বা সেশন যাচাইকরণ. OpenAI ক্রলারগুলো স্বয়ংক্রিয় সিস্টেম হওয়ায়, ক্রলার আগের স্তরগুলো সফলভাবে পার হলেও এসব পরীক্ষা প্রবেশ আটকে দিতে পারে.
আপনার অ্যাপ্লিকেশনে ব্যবহৃত মানব যাচাইকরণ বা অ্যান্টি-অটোমেশন যুক্তি পর্যালোচনা করুন এবং যেখানে উপযুক্ত সেখানে OpenAI ক্রলারগুলোকে ছাড় দেওয়া হয়েছে কি না নিশ্চিত করুন, আদর্শভাবে আমাদের ক্রলার ইউজার এজেন্টকে অনুমোদিত তালিকায় যোগ করে.
স্থিতিশীল IP রেঞ্জ সম্পর্কে একটি নোট
কিছু নিরাপত্তা সিস্টেমে ক্রলার ট্রাফিককে নির্ভরযোগ্যভাবে অনুমোদিত তালিকায় রাখতে হলে সেই ট্রাফিক স্থিতিশীল, প্রকাশ্যে নথিভুক্ত IP রেঞ্জ থেকে আসা প্রয়োজন হয়. ক্রলার অবকাঠামো সময়ের সঙ্গে বদলাতে পারে, তাই আপনার ইঞ্জিনিয়ারিং দলের উচিত লগে দেখা স্বল্পমেয়াদি IP পর্যবেক্ষণের ওপরই শুধু নির্ভর না করা. এর বদলে, ইউজার এজেন্ট শনাক্তকরণ, সমর্থিত হলে যাচাইকৃত বট প্রোগ্রাম, ফায়ারওয়াল অনুমোদিত তালিকা, robots.txt আচরণ এবং প্রদানকারী-স্তরের বট যাচাইকরণ সিস্টেম মিলিয়ে ট্রাফিক যাচাই করুন.
আপনাকে যদি IP রেঞ্জের একটি স্থিতিশীল তালিকা অনুমোদন করতেই হয়, তাহলে https://openai.com/searchbot.json এবং https://openai.com/adsbot.json দেখুন.
সীমা প্রয়োগ সম্পর্কে একটি নোট
বড় ব্যাচ আপলোড বা ক্রলার ট্রাফিক হঠাৎ বেড়ে যাওয়া কখনো কখনো স্বয়ংক্রিয় সীমা প্রয়োগ বা বট সুরক্ষা সিস্টেম চালু করতে পারে.
আপনার যদি মনে হয় সীমা প্রয়োগ হচ্ছে, তাহলে আপনার ইঞ্জিনিয়ারিং দলকে HTTP রেসপন্স কোড, বিশেষ করে 429 Too Many Requests, ফায়ারওয়াল বা CDN লগ, বট প্রতিরোধ ইভেন্ট, অনুরোধ থ্রটলিং নিয়ম এবং ক্রলার প্রবেশের চেষ্টা করার সময়ের কাছাকাছি ট্রাফিক অ্যানালিটিক্স পর্যালোচনা করতে বলুন. এতে বোঝা যেতে পারে অবকাঠামোগত সুরক্ষার কারণে অনুরোধগুলো ইচ্ছাকৃতভাবে ধীর করা বা আটকে দেওয়া হচ্ছে কি না.
আপনি চাইলে আরও দীর্ঘ সময় ধরে ছোট ছোট ব্যাচে বিজ্ঞাপন আপলোড করার কথাও বিবেচনা করতে পারেন.
Cloudflare সম্পর্কে একটি নোট
OAI-AdsBot Cloudflare দ্বারা আনুষ্ঠানিকভাবে যাচাইকৃত এবং অনুমোদিত তালিকাভুক্ত.
ক্রলার এবং ল্যান্ডিং পেজ FAQ
বিজ্ঞাপন পর্যালোচনার জন্য কোন ক্রলার প্রয়োজন?
ChatGPT বিজ্ঞাপনের ল্যান্ডিং পেজ যাচাই ও পর্যালোচনার জন্য OAI-AdsBot প্রয়োজন. OAI-SearchBot ব্যবহারের পরামর্শ দেওয়া হয়, কারণ এটি OpenAI-কে পাবলিক ওয়েব কনটেন্ট বুঝতে সহায়তা করতে পারে; তবে বিজ্ঞাপন প্রস্তুতির জন্য বিজ্ঞাপনদাতাদের OAI-AdsBot-কে অগ্রাধিকার দেওয়া উচিত.
সহায়তা দল কি ম্যানুয়ালি ক্রলার যাচাইকরণ বাইপাস করতে পারে?
ম্যানুয়াল বাইপাসের ওপর নির্ভর করবেন না. robots.txt, WAF, CDN, বট প্রতিরোধ, প্রমাণীকরণ এবং সীমা-সংক্রান্ত ব্লক ঠিক করে ল্যান্ডিং পেজটি OAI-AdsBot-এর জন্য ক্রলযোগ্য করুন. ল্যান্ডিং পেজ অ্যাক্সেসযোগ্য হওয়ার পর বিজ্ঞাপনগুলো আবার আপলোড করতে বা পর্যালোচনার জন্য পুনরায় জমা দিতে হতে পারে.
আমার ইঞ্জিনিয়ারিং দলের আগে কী পরীক্ষা করা উচিত?
ল্যান্ডিং পেজটি OAI-AdsBot-কে সফল HTTP রেসপন্স দেয় কি না, robots.txt প্রাসঙ্গিক পাথ অনুমতি দেয় কি না এবং WAF, CDN, বট প্রতিরোধ, JavaScript চ্যালেঞ্জ, CAPTCHAs, প্রমাণীকরণ বা ভূ-নিয়ম স্বয়ংক্রিয় প্রবেশ আটকে দেয় কি না পরীক্ষা করুন.
অ্যাপ স্টোর লিংক, ডিপ লিংক বা ওয়েব নয় এমন গন্তব্য কি ল্যান্ডিং পেজ হিসেবে সমর্থিত?
যেখানে সম্ভব সরাসরি পৌঁছানো যায় এমন ওয়েব ল্যান্ডিং পেজ ব্যবহার করুন. অ্যাপ স্টোর লিংক, ডিপ লিংক, ডকুমেন্ট বা এমন গন্তব্য যেখানে অ্যাপ, লগইন, অঞ্চলভিত্তিক অ্যাক্সেস বা অসমর্থিত রিডাইরেক্ট প্রয়োজন, সেগুলো যাচাই বা পর্যালোচনার জন্য যথেষ্ট ক্রলযোগ্য কনটেন্ট নাও দিতে পারে.
কখন আমার আবার আপলোড বা পুনরায় পর্যালোচনার অনুরোধ করা উচিত?
ক্রলার অ্যাক্সেস ঠিক করার পর স্ট্যাটাস নিজে থেকে আপডেট না হলে প্রভাবিত বিজ্ঞাপনগুলো আবার আপলোড করুন বা পুনরায় জমা দিন. বাল্ক আপলোড করা বিজ্ঞাপনের ক্ষেত্রে, আপনার দল সমাধানটি যাচাই করার সময় ছোট ব্যাচ সীমা বা বট সুরক্ষা চালু হওয়ার ঝুঁকি কমাতে পারে.