რატომ იყენებს OpenAI ვებ-ქროულერებს?
ჩვენ ვიყენებთ ქროულერებს, რათა შევამოწმოთ ChatGPT-ზე რეკლამებად გაგზავნილი ვებგვერდების უსაფრთხოება. რეკლამის გაგზავნისას OpenAI-მ შეიძლება მოინახულოს სადესანტო გვერდი, რათა დარწმუნდეს, რომ ის ჩვენს პოლიტიკებს შეესაბამება. ასევე შეიძლება გამოვიყენოთ სადესანტო გვერდის შიგთავსი, რათა განვსაზღვროთ, როდის არის ყველაზე რელევანტური რეკლამის მომხმარებლებისთვის ჩვენება.
OpenAI-ის რომელი ქროულერები უნდა დაუშვათ?
აუცილებელია OAI-AdsBot-ის დაშვება. გირჩევთ დაუშვათ როგორც OAI-AdsBot, ისე OAI-SearchBot.
OpenAI-ის ქროულერები ვერ ასკანირებენ ჩემს ვებსაიტს. რა უნდა გავაკეთო?
ვებსაიტების უმეტესობას დაცვის რამდენიმე ფენა აქვს, სანამ ქროულერი ვებგვერდზე წარმატებით წვდომას შეძლებს. იმუშავეთ თქვენს საინჟინრო ან უსაფრთხოების გუნდთან, რათა შეამოწმოთ, რომ OpenAI-ის ქროულერები ქვემოთ ჩამოთვლილ თითოეულ ფენას გადიან.
1. robots.txt
robots.txt ფაილი ქროულერებს მიუთითებს, აქვთ თუ არა თქვენი ვებსაიტის გარკვეულ ნაწილებზე წვდომის ნებართვა. OpenAI-ის ქროულერები ამ წესებს იცავენ. თუ robots.txt-ში წვდომა აკრძალულია, ასკანირება დაუყოვნებლივ შეწყდება.
გადახედეთ robots.txt-ის კონფიგურაციას და დაადასტურეთ, რომ OpenAI-ის ქროულერებს შესაბამის გვერდებსა და ბილიკებზე წვდომა პირდაპირ აქვთ დაშვებული. მაგალითად: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ვებდაცვა და ბოტების შეკავება
ბევრი ვებსაიტი იყენებს ისეთ სერვისებს, როგორიცაა Cloudflare, Akamai ან ვებდაცვის სხვა მომწოდებლები, DDoS შეტევებისგან, მონაცემთა ავტომატური ამოღებისა და არასანქცირებული ტრაფიკისგან დასაცავად. ამ სისტემებმა შეიძლება შეცდომით დაბლოკონ ლეგიტიმური ქროულერები და ხშირად დააბრუნონ 403 Forbidden შეცდომები. რადგან OpenAI-ის ქროულერები შეიძლება ავტომატიზებული ტრაფიკის შაბლონებს ჰგავდეს, ისინი შეიძლება დაიბლოკოს, თუ სპეციალურად არ იქნება დამატებული დაშვებულთა სიაში.
გადახედეთ ვებდაცვის ან firewall-ის კონფიგურაციას და, სადაც შესაძლებელია, დაამატეთ OpenAI-ის ქროულერების ტრაფიკი დაშვებულთა სიაში, უმჯობესია ჩვენი ქროულერების user agent-ების საფუძველზე. თქვენმა საინჟინრო ან ინფრასტრუქტურის გუნდმა ასევე უნდა შეამოწმოს ბოტების ავტომატური შეკავების წესები, რომლებმაც შეიძლება ცრუ დადებითი შედეგები გამოიწვიოს.
3. ადამიანის შემოწმება და ანტიბოტური ლოგიკა
ზოგი ვებსაიტი აპლიკაციის დონეზე დამატებით შემოწმებებს იყენებს, რათა დაადასტუროს, რომ ვიზიტორი ადამიანია; მაგალითად, CAPTCHA-ს, JavaScript გამოწვევებს, ქცევის ანალიზს ან სესიის ვალიდაციას. რადგან OpenAI-ის ქროულერები ავტომატიზებული სისტემებია, ასეთმა შემოწმებებმა შეიძლება დაბლოკოს წვდომა მაშინაც კი, თუ ქროულერი წინა ფენებს წარმატებით გაივლის.
გადახედეთ თქვენს აპლიკაციაში დანერგილ ადამიანის შემოწმების ან ანტიავტომატიზაციის ნებისმიერ ლოგიკას და უზრუნველყავით, რომ OpenAI-ის ქროულერები საჭიროებისამებრ გამონაკლისებში მოხვდეს, უმჯობესია ჩვენი ქროულერების user agent-ების დაშვებულთა სიაში დამატებით.
შენიშვნა სტაბილური IP დიაპაზონების შესახებ
ზოგ უსაფრთხოების სისტემას სჭირდება, რომ ქროულერების ტრაფიკი სტაბილური, საჯაროდ დოკუმენტირებული IP დიაპაზონებიდან მოდიოდეს, სანამ ტრაფიკის სანდოდ დაშვებულთა სიაში დამატება გახდება შესაძლებელი. რადგან ქროულერების ინფრასტრუქტურა დროთა განმავლობაში შეიძლება შეიცვალოს, თქვენმა საინჟინრო გუნდმა არ უნდა დაეყრდნოს მხოლოდ ჟურნალებში ნანახ მოკლევადიან IP დაკვირვებებს. ამის ნაცვლად, გადაამოწმეთ ტრაფიკი user-agent-ის იდენტიფიკაციის, მხარდაჭერის შემთხვევაში დადასტურებული ბოტების პროგრამების, firewall-ის დაშვებულთა სიების, robots.txt-ის ქცევისა და მომწოდებლის დონეზე ბოტების ვერიფიკაციის სისტემების კომბინაციით.
თუ აუცილებელია IP დიაპაზონების სტაბილური სიის დაშვება, გამოიყენეთ https://openai.com/searchbot.json და https://openai.com/adsbot.json.
შენიშვნა მოთხოვნების ლიმიტის შესახებ
დიდმა პაკეტურმა ატვირთვებმა ან ქროულერების ტრაფიკის უეცარმა ზრდამ ზოგჯერ შეიძლება ავტომატური მოთხოვნების ლიმიტი ან ბოტების დაცვის სისტემები გაააქტიუროს.
თუ ეჭვობთ, რომ მოთხოვნების ლიმიტირება ხდება, სთხოვეთ თქვენს საინჟინრო გუნდს გადახედოს HTTP პასუხის კოდებს, განსაკუთრებით 429 Too Many Requests-ს, firewall-ის ან CDN-ის ჟურნალებს, ბოტების შეკავების მოვლენებს, მოთხოვნების შეზღუდვის წესებსა და ტრაფიკის ანალიტიკას იმ პერიოდისთვის, როცა ქროულერი წვდომას ცდილობდა. ეს დაგეხმარებათ დაადგინოთ, ინფრასტრუქტურის დაცვის მექანიზმები განზრახ ანელებს თუ ბლოკავს მოთხოვნებს.
ასევე შეგიძლიათ განიხილოთ რეკლამების უფრო ხანგრძლივ პერიოდში, მცირე პაკეტებად ატვირთვა.
შენიშვნა Cloudflare-ის შესახებ
OAI-AdsBot ოფიციალურად დადასტურებულია და დაშვებულთა სიაშია Cloudflare-ის მიერ.
ქროულერებისა და სადესანტო გვერდების FAQ
რომელი ქროულერია საჭირო რეკლამების განხილვისთვის?
OAI-AdsBot საჭიროა ChatGPT Ads-ის სადესანტო გვერდის ვალიდაციისა და განხილვისთვის. OAI-SearchBot რეკომენდებულია, რადგან ის შეიძლება OpenAI-ს საჯარო ვებშიგთავსის გაგებაში დაეხმაროს, თუმცა რეკლამის განმთავსებლებმა რეკლამების მზადყოფნისთვის პრიორიტეტი OAI-AdsBot-ს უნდა მიანიჭონ.
შეუძლია მხარდაჭერის გუნდს ქროულერის ვალიდაციის ხელით გვერდის ავლა?
ნუ დაეყრდნობით ხელით გვერდის ავლას. გახადეთ სადესანტო გვერდი OAI-AdsBot-ისთვის ასკანირებადი robots.txt-ის, WAF-ის, CDN-ის, ბოტების შეკავების, ავთენტიფიკაციისა და მოთხოვნების ლიმიტის ბლოკირებების გამოსწორებით. სადესანტო გვერდის ხელმისაწვდომობის შემდეგ რეკლამების ხელახლა ატვირთვა ან განხილვაზე ხელახლა გაგზავნა შეიძლება გახდეს საჭირო.
რა უნდა შეამოწმოს პირველ რიგში ჩემმა საინჟინრო გუნდმა?
შეამოწმეთ, აბრუნებს თუ არა სადესანტო გვერდი წარმატებულ HTTP პასუხს OAI-AdsBot-ისთვის, უშვებს თუ არა robots.txt შესაბამის ბილიკს და ბლოკავს თუ არა WAF, CDN, ბოტების შეკავება, JavaScript გამოწვევები, CAPTCHA, ავთენტიფიკაცია ან გეოგრაფიული წესები ავტომატიზებულ წვდომას.
არის თუ არა მხარდაჭერილი app-store ბმულები, deep link-ები ან არავებ დანიშნულებები სადესანტო გვერდებად?
შეძლებისდაგვარად გამოიყენეთ პირდაპირ ხელმისაწვდომი ვებსადესანტო გვერდი. App-store ბმულებმა, deep link-ებმა, დოკუმენტებმა ან დანიშნულებებმა, რომლებიც აპს, შესვლას, რეგიონზე დამოკიდებულ წვდომას ან მხარდაუჭერელ გადამისამართებებს მოითხოვს, შეიძლება ვალიდაციისა თუ განხილვისთვის საკმარისი ასკანირებადი შიგთავსი ვერ უზრუნველყოს.
როდის უნდა ავტვირთო ხელახლა ან კვლავ მოვითხოვო განხილვა?
ქროულერის წვდომის გამოსწორების შემდეგ, თუ სტატუსი თავისით არ განახლდება, ხელახლა ატვირთეთ ან განხილვაზე ხელახლა გაგზავნეთ დაზარალებული რეკლამები. მასობრივად ატვირთული რეკლამებისთვის მცირე პაკეტებს შეუძლია შეამციროს მოთხოვნების ლიმიტის ან ბოტების დაცვის ამოქმედება, სანამ თქვენი გუნდი გამოსწორებას ამოწმებს.