რატომ იყენებს OpenAI ვებკროულერებს?
ChatGPT-ში რეკლამებად გაგზავნილი ვებგვერდების უსაფრთხოების შესამოწმებლად კროულერებს ვიყენებთ. რეკლამის გაგზავნისას OpenAI შეიძლება ეწვიოს სამიზნე გვერდს, რათა დარწმუნდეს, რომ ის ჩვენს წესებს შეესაბამება. სამიზნე გვერდის შიგთავსი შეიძლება ასევე გამოვიყენოთ იმის დასადგენად, თუ როდის იქნება რეკლამის მომხმარებლებისთვის ჩვენება ყველაზე რელევანტური.
OpenAI-ის რომელ კროულერებს უნდა მისცეთ წვდომა?
OAI-AdsBot-ს წვდომა აუცილებლად უნდა მისცეთ. გირჩევთ, წვდომა მისცეთ როგორც OAI-AdsBot-ს, ისე OAI-SearchBot-ს.
პროდუქტების არხებისთვის OAI-SearchBot-ს ასევე მიეცით პროდუქტების სურათების URL-ების სკანირების უფლება. სურათების ჰოსტზე შეამოწმეთ ფაიერვოლის, CDN-ისა და ბოტებისგან დაცვის წესები; 403 პასუხმა შეიძლება არხის დამუშავება დაბლოკოს.
OpenAI-ის კროულერები ჩემს ვებსაიტს ვერ ასკანირებენ. როგორ მოვიქცე?
ვებსაიტების უმეტესობას დაცვის რამდენიმე შრე აქვს, რომლებიც კროულერმა ვებგვერდზე წარმატებით წვდომამდე უნდა გაიაროს. საინჟინრო ან უსაფრთხოების გუნდთან ერთად გადაამოწმეთ, რომ OpenAI-ის კროულერებს ქვემოთ ჩამოთვლილი თითოეული შრის გავლა შეუძლიათ.
1. robots.txt
robots.txt ფაილი კროულერებს მიუთითებს, აქვთ თუ არა თქვენი ვებსაიტის გარკვეულ ნაწილებზე წვდომის უფლება. OpenAI-ის კროულერები ამ წესებს იცავენ. თუ robots.txt წვდომას კრძალავს, სკანირება დაუყოვნებლივ შეწყდება.
გადახედეთ robots.txt-ის კონფიგურაციას და დარწმუნდით, რომ OpenAI-ის კროულერებს შესაბამის გვერდებსა და მისამართებზე წვდომა ცალსახად აქვთ ნებადართული. მაგალითად: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ვებდაცვა და ბოტებისგან თავდაცვა
ბევრი ვებსაიტი DDoS-შეტევებისგან, მონაცემების ავტომატური მოპოვებისა და არაავტორიზებული ტრაფიკისგან დასაცავად იყენებს ისეთ სერვისებს, როგორებიცაა Cloudflare, Akamai და ვებდაცვის სხვა პროვაიდერები. ამ სისტემებმა შეიძლება შეცდომით დაბლოკონ ლეგიტიმური კროულერები და ხშირად დააბრუნონ შეცდომა 403 Forbidden. რადგან OpenAI-ის კროულერები ავტომატიზებულ ტრაფიკს შეიძლება ჰგავდნენ, სპეციალურად დაშვებულთა სიაში დამატების გარეშე მათ წვდომა შეიძლება აეკრძალოთ.
გადახედეთ ვებდაცვის ან ფაიერვოლის კონფიგურაციას და, სადაც შესაძლებელია, OpenAI-ის კროულერების ტრაფიკი დაშვებულთა სიაში დაამატეთ — სასურველია, ჩვენი კროულერების user-agent-ების მიხედვით. თქვენმა საინჟინრო ან ინფრასტრუქტურის გუნდმა ასევე უნდა შეამოწმოს ბოტების ავტომატური ბლოკირების წესები, რომლებმაც შეიძლება ცრუ განგაში გამოიწვიოს.
3. ადამიანის იდენტიფიკაცია და ბოტების საწინააღმდეგო ლოგიკა
ზოგი ვებსაიტი აპლიკაციის დონეზე დამატებით ამოწმებს, ადამიანია თუ არა სტუმარი, მაგალითად, CAPTCHA-ს, JavaScript-შემოწმებების, ქცევითი ანალიზის ან სესიის ვალიდაციის მეშვეობით. რადგან OpenAI-ის კროულერები ავტომატიზებული სისტემებია, ამ შემოწმებებმა შეიძლება წვდომა დაბლოკოს მაშინაც კი, თუ კროულერმა წინა შრეები წარმატებით გაიარა.
გადახედეთ თქვენს აპლიკაციაში დანერგილ ადამიანის იდენტიფიკაციისა და ავტომატიზაციის საწინააღმდეგო ლოგიკას და საჭიროებისამებრ გაათავისუფლეთ OpenAI-ის კროულერები ამ შემოწმებებისგან — სასურველია, ჩვენი კროულერების user-agent-ების დაშვებულთა სიაში დამატებით.
შენიშვნა სტაბილური IP-დიაპაზონების შესახებ
ზოგი უსაფრთხოების სისტემა მოითხოვს, რომ კროულერის ტრაფიკი სტაბილური, საჯაროდ დოკუმენტირებული IP-დიაპაზონებიდან მოდიოდეს, სანამ მის საიმედოდ დამატებას შეძლებს დაშვებულთა სიაში. რადგან კროულერების ინფრასტრუქტურა დროთა განმავლობაში შეიძლება შეიცვალოს, თქვენი საინჟინრო გუნდი მხოლოდ ჟურნალებში დაფიქსირებულ მოკლევადიან IP-დაკვირვებებს არ უნდა დაეყრდნოს. ამის ნაცვლად, ტრაფიკი გადაამოწმეთ user-agent-ის იდენტიფიკაციის, მხარდაჭერის შემთხვევაში ბოტების ვერიფიცირებული პროგრამების, ფაიერვოლის დაშვებულთა სიების, robots.txt-ის ქცევისა და პროვაიდერის დონეზე ბოტების შემოწმების სისტემების ერთობლიობით.
თუ აუცილებელია IP-დიაპაზონების სტაბილური სიის დაშვება, გამოიყენეთ https://openai.com/searchbot.json და https://openai.com/adsbot.json.
შენიშვნა მოთხოვნების სიხშირის შეზღუდვის შესახებ
დიდი პაკეტების ატვირთვამ ან კროულერის ტრაფიკის უეცარმა ზრდამ ზოგჯერ შეიძლება გაააქტიუროს მოთხოვნების სიხშირის ავტომატური შეზღუდვა ან ბოტებისგან დაცვის სისტემები.
თუ ეჭვობთ, რომ მოთხოვნების სიხშირე იზღუდება, სთხოვეთ საინჟინრო გუნდს, შეამოწმოს HTTP-პასუხის კოდები, განსაკუთრებით 429 Too Many Requests, ფაიერვოლის ან CDN-ის ჟურნალები, ბოტების შეზღუდვის მოვლენები, მოთხოვნების სიხშირის მართვის წესები და იმ პერიოდის ტრაფიკის ანალიტიკა, როდესაც კროულერი წვდომას ცდილობდა. ეს დაგეხმარებათ დაადგინოთ, ინფრასტრუქტურის დაცვის მექანიზმები მოთხოვნებს განზრახ ანელებს თუ ბლოკავს.
ასევე შეგიძლიათ რეკლამები მცირე პაკეტებად, უფრო ხანგრძლივი პერიოდის განმავლობაში ატვირთოთ.
შენიშვნა Cloudflare-ის შესახებ
OAI-AdsBot ოფიციალურად ვერიფიცირებულია და Cloudflare-ის დაშვებულთა სიაშია დამატებული.
ხშირად დასმული კითხვები კროულერებისა და სამიზნე გვერდების შესახებ
რომელი კროულერია საჭირო რეკლამის შესამოწმებლად?
OAI-AdsBot საჭიროა ChatGPT-რეკლამების სამიზნე გვერდების ვალიდაციისა და შემოწმებისთვის. OAI-SearchBot რეკომენდებულია, რადგან ის OpenAI-ს შეიძლება საჯარო ვებშიგთავსის გაგებაში დაეხმაროს, თუმცა რეკლამის განთავსებისთვის მზადებისას რეკლამის განმთავსებლებმა უპირატესობა OAI-AdsBot-ს უნდა მიანიჭონ.
შეუძლია მხარდაჭერის გუნდს კროულერის ვალიდაციის ხელით გვერდის ავლა?
ხელით გვერდის ავლას ნუ დაეყრდნობით. სამიზნე გვერდი ხელმისაწვდომი გახადეთ OAI-AdsBot-ისთვის robots.txt-ის, WAF-ის, CDN-ის, ბოტებისგან დაცვის, ავთენტიფიკაციისა და მოთხოვნების სიხშირის შეზღუდვით გამოწვეული ბლოკების აღმოფხვრით. სამიზნე გვერდის ხელმისაწვდომობის აღდგენის შემდეგ შეიძლება საჭირო გახდეს რეკლამების ხელახლა ატვირთვა ან შესამოწმებლად განმეორებით გაგზავნა.
რა უნდა შეამოწმოს პირველ რიგში ჩემმა საინჟინრო გუნდმა?
შეამოწმეთ, უბრუნებს თუ არა სამიზნე გვერდი OAI-AdsBot-ს წარმატებულ HTTP-პასუხს, უშვებს თუ არა robots.txt შესაბამის მისამართზე და ხომ არ ბლოკავს ავტომატურ წვდომას WAF, CDN, ბოტებისგან დაცვა, JavaScript-შემოწმებები, CAPTCHA, ავთენტიფიკაცია ან გეოგრაფიული წესები.
მხარდაჭერილია თუ არა სამიზნე გვერდებად აპების მაღაზიის ბმულები, ღრმა ბმულები ან დანიშნულების ადგილები, რომლებიც ვებგვერდები არ არის?
შეძლებისდაგვარად გამოიყენეთ პირდაპირ ხელმისაწვდომი სამიზნე ვებგვერდი. აპების მაღაზიის ბმულები, ღრმა ბმულები, დოკუმენტები ან დანიშნულების ადგილები, რომლებიც მოითხოვს აპს, სისტემაში შესვლას, კონკრეტული რეგიონიდან წვდომას ან იყენებს მხარდაუჭერელ გადამისამართებებს, ვალიდაციისა თუ შემოწმებისთვის შეიძლება საკმარისად სკანირებად შიგთავსს არ იძლეოდეს.
როდის უნდა ავტვირთო ხელახლა ან კვლავ მოვითხოვო შემოწმება?
კროულერის წვდომის გამოსწორების შემდეგ, თუ სტატუსი ავტომატურად არ განახლდა, დაზარალებული რეკლამები ხელახლა ატვირთეთ ან განმეორებით გაგზავნეთ. მასობრივად ატვირთული რეკლამების შემთხვევაში მცირე პაკეტებით ატვირთვამ შეიძლება შეამციროს მოთხოვნების სიხშირის შეზღუდვის ან ბოტებისგან დაცვის გააქტიურების ალბათობა, სანამ თქვენი გუნდი შესწორებას ამოწმებს.