เหตุใด OpenAI จึงใช้โปรแกรมรวบรวมข้อมูลเว็บ
เราใช้โปรแกรมรวบรวมข้อมูลเว็บเพื่อตรวจสอบความปลอดภัยของหน้าเว็บที่ส่งมาเป็นโฆษณาบน ChatGPT เมื่อคุณส่งโฆษณา OpenAI อาจเข้าชมหน้า Landing Page เพื่อตรวจสอบว่าเป็นไปตามนโยบายของเรา เราอาจใช้เนื้อหาจากหน้า Landing Page เพื่อพิจารณาว่าช่วงเวลาใดเหมาะสมที่สุดที่จะแสดงโฆษณาแก่ผู้ใช้
คุณควรอนุญาตโปรแกรมรวบรวมข้อมูลเว็บใดของ OpenAI บ้าง
คุณต้องอนุญาต OAI-AdsBot เราแนะนำให้อนุญาตทั้ง OAI-AdsBot และ OAI-SearchBot
สำหรับฟีดผลิตภัณฑ์ ให้ OAI-SearchBot รวบรวมข้อมูลจาก URL ของรูปภาพผลิตภัณฑ์ได้ด้วย ตรวจสอบกฎของไฟร์วอลล์, CDN และระบบป้องกันบอตบนโฮสต์รูปภาพ เนื่องจากการตอบกลับ 403 อาจขัดขวางการประมวลผลฟีด
โปรแกรมรวบรวมข้อมูลเว็บของ OpenAI รวบรวมข้อมูลจากเว็บไซต์ของฉันไม่สำเร็จ ฉันควรทำอย่างไร
เว็บไซต์ส่วนใหญ่มีการป้องกันหลายชั้นที่โปรแกรมรวบรวมข้อมูลเว็บต้องผ่านก่อนจึงจะเข้าถึงหน้าเว็บได้สำเร็จ ประสานงานกับทีมวิศวกรรมหรือทีมรักษาความปลอดภัยของคุณ เพื่อตรวจสอบว่าโปรแกรมรวบรวมข้อมูลเว็บของ OpenAI ผ่านการป้องกันแต่ละชั้นต่อไปนี้ได้
1. robots.txt
ไฟล์ robots.txt ระบุว่าโปรแกรมรวบรวมข้อมูลเว็บได้รับอนุญาตให้เข้าถึงส่วนใดของเว็บไซต์คุณบ้าง โปรแกรมรวบรวมข้อมูลเว็บของ OpenAI ปฏิบัติตามกฎเหล่านี้ หาก robots.txt ไม่อนุญาตให้เข้าถึง การรวบรวมข้อมูลจะหยุดลงทันที
ตรวจสอบการกำหนดค่า robots.txt และยืนยันว่าได้อนุญาตอย่างชัดเจนให้โปรแกรมรวบรวมข้อมูลเว็บของ OpenAI เข้าถึงหน้าและพาธที่เกี่ยวข้อง ตัวอย่าง: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. การป้องกันเว็บและการบรรเทาภัยจากบอต
เว็บไซต์จำนวนมากใช้บริการอย่าง Cloudflare, Akamai หรือผู้ให้บริการป้องกันเว็บรายอื่น เพื่อป้องกันการโจมตีแบบ DDoS การดึงข้อมูล และการรับส่งข้อมูลที่ไม่ได้รับอนุญาต ระบบเหล่านี้อาจบล็อกโปรแกรมรวบรวมข้อมูลเว็บที่ถูกต้องโดยไม่ได้ตั้งใจ และมักส่งคืนข้อผิดพลาด 403 Forbidden เนื่องจากโปรแกรมรวบรวมข้อมูลเว็บของ OpenAI อาจมีรูปแบบคล้ายการรับส่งข้อมูลอัตโนมัติ จึงอาจถูกปฏิเสธหากไม่ได้เพิ่มไว้ในรายการที่อนุญาตโดยเฉพาะ
ตรวจสอบการกำหนดค่าระบบป้องกันเว็บหรือไฟร์วอลล์ และเพิ่มการรับส่งข้อมูลจากโปรแกรมรวบรวมข้อมูลเว็บของ OpenAI ลงในรายการที่อนุญาตหากทำได้ โดยควรอ้างอิงจาก user agent ของโปรแกรมรวบรวมข้อมูลเว็บของเรา ทีมวิศวกรรมหรือทีมโครงสร้างพื้นฐานควรตรวจสอบกฎบรรเทาภัยจากบอตแบบอัตโนมัติที่อาจตรวจพบผิดพลาดด้วย
3. การยืนยันว่าเป็นมนุษย์และกลไกป้องกันบอต
บางเว็บไซต์ใช้การตรวจสอบเพิ่มเติมในระดับแอปพลิเคชันเพื่อยืนยันว่าผู้เข้าชมเป็นมนุษย์ เช่น CAPTCHA, JavaScript challenge, การวิเคราะห์พฤติกรรม หรือการตรวจสอบเซสชัน เนื่องจากโปรแกรมรวบรวมข้อมูลเว็บของ OpenAI เป็นระบบอัตโนมัติ การตรวจสอบเหล่านี้จึงอาจบล็อกการเข้าถึง แม้โปรแกรมจะผ่านการป้องกันชั้นก่อนหน้าแล้วก็ตาม
ตรวจสอบกลไกยืนยันว่าเป็นมนุษย์หรือป้องกันระบบอัตโนมัติภายในแอปพลิเคชัน และยกเว้นโปรแกรมรวบรวมข้อมูลเว็บของ OpenAI ตามความเหมาะสม โดยควรเพิ่ม user agent ของโปรแกรมรวบรวมข้อมูลเว็บของเราลงในรายการที่อนุญาต
หมายเหตุเกี่ยวกับช่วง IP แบบคงที่
ระบบรักษาความปลอดภัยบางระบบกำหนดให้การรับส่งข้อมูลจากโปรแกรมรวบรวมข้อมูลเว็บต้องมาจากช่วง IP แบบคงที่ซึ่งมีการเผยแพร่ต่อสาธารณะ จึงจะเพิ่มลงในรายการที่อนุญาตได้อย่างน่าเชื่อถือ เนื่องจากโครงสร้างพื้นฐานของโปรแกรมรวบรวมข้อมูลเว็บอาจเปลี่ยนแปลงได้ ทีมวิศวกรรมจึงไม่ควรอาศัยเพียงข้อมูล IP ระยะสั้นที่พบในบันทึกระบบ ควรตรวจสอบการรับส่งข้อมูลโดยใช้หลายวิธีร่วมกัน ได้แก่ การระบุ user agent, โปรแกรมยืนยันบอตหากรองรับ, รายการที่อนุญาตของไฟร์วอลล์, ลักษณะการทำงานของ robots.txt และระบบยืนยันบอตระดับผู้ให้บริการ
หากจำเป็นต้องอนุญาตรายการช่วง IP แบบคงที่ โปรดอ้างอิง https://openai.com/searchbot.json และ https://openai.com/adsbot.json
หมายเหตุเกี่ยวกับการจำกัดอัตรา
การอัปโหลดจำนวนมากเป็นชุดหรือการเพิ่มขึ้นอย่างฉับพลันของการรับส่งข้อมูลจากโปรแกรมรวบรวมข้อมูลเว็บ อาจกระตุ้นระบบจำกัดอัตราหรือระบบป้องกันบอตอัตโนมัติ
หากสงสัยว่ามีการจำกัดอัตรา ให้ทีมวิศวกรรมตรวจสอบรหัสตอบกลับ HTTP โดยเฉพาะ 429 Too Many Requests, บันทึกของไฟร์วอลล์หรือ CDN, เหตุการณ์จากระบบบรรเทาภัยจากบอต, กฎควบคุมอัตราคำขอ และการวิเคราะห์การรับส่งข้อมูลในช่วงที่โปรแกรมรวบรวมข้อมูลเว็บพยายามเข้าถึง ข้อมูลเหล่านี้ช่วยระบุได้ว่าโครงสร้างพื้นฐานด้านการป้องกันจงใจชะลอหรือบล็อกคำขอหรือไม่
คุณอาจพิจารณาแบ่งโฆษณาเป็นชุดเล็กลงและทยอยอัปโหลดในระยะเวลาที่นานขึ้น
หมายเหตุเกี่ยวกับ Cloudflare
OAI-AdsBot ได้รับการยืนยันอย่างเป็นทางการและเพิ่มไว้ในรายการที่อนุญาตของ Cloudflare แล้ว
คำถามที่พบบ่อยเกี่ยวกับโปรแกรมรวบรวมข้อมูลเว็บและหน้า Landing Page
ต้องใช้โปรแกรมรวบรวมข้อมูลเว็บใดในการตรวจสอบโฆษณา
การตรวจสอบและพิจารณาหน้า Landing Page ของ ChatGPT Ads ต้องใช้ OAI-AdsBot เราแนะนำ OAI-SearchBot เพราะอาจช่วยให้ OpenAI เข้าใจเนื้อหาสาธารณะบนเว็บได้ แต่ผู้ลงโฆษณาควรให้ความสำคัญกับ OAI-AdsBot เพื่อเตรียมโฆษณาให้พร้อม
ฝ่ายสนับสนุนสามารถข้ามขั้นตอนตรวจสอบของโปรแกรมรวบรวมข้อมูลเว็บด้วยตนเองได้หรือไม่
อย่าพึ่งพาการข้ามขั้นตอนด้วยตนเอง ทำให้ OAI-AdsBot รวบรวมข้อมูลจากหน้า Landing Page ได้ โดยแก้ไขการบล็อกจาก robots.txt, WAF, CDN, ระบบบรรเทาภัยจากบอต, การยืนยันตัวตน และการจำกัดอัตรา หลังจากเข้าถึงหน้า Landing Page ได้แล้ว อาจต้องอัปโหลดโฆษณาใหม่หรือส่งเข้ารับการตรวจสอบอีกครั้ง
ทีมวิศวกรรมของฉันควรตรวจสอบสิ่งใดก่อน
ตรวจสอบว่าหน้า Landing Page ส่งการตอบกลับ HTTP ที่สำเร็จให้ OAI-AdsBot หรือไม่, robots.txt อนุญาตพาธที่เกี่ยวข้องหรือไม่ และ WAF, CDN, ระบบบรรเทาภัยจากบอต, JavaScript challenge, CAPTCHA, การยืนยันตัวตน หรือกฎตามภูมิศาสตร์บล็อกการเข้าถึงอัตโนมัติหรือไม่
รองรับลิงก์ App Store, Deep Link หรือปลายทางที่ไม่ใช่เว็บเป็นหน้า Landing Page หรือไม่
ใช้หน้า Landing Page บนเว็บที่เข้าถึงได้โดยตรง whenever possible ลิงก์ App Store, Deep Link, เอกสาร หรือปลายทางที่ต้องใช้แอป การเข้าสู่ระบบ การเข้าถึงเฉพาะภูมิภาค หรือการเปลี่ยนเส้นทางที่ไม่รองรับ อาจมีเนื้อหาที่รวบรวมได้ไม่เพียงพอสำหรับการตรวจสอบหรือพิจารณา
ฉันควรอัปโหลดใหม่หรือขอรับการตรวจสอบอีกครั้งเมื่อใด
หลังจากแก้ไขการเข้าถึงของโปรแกรมรวบรวมข้อมูลเว็บแล้ว ให้อัปโหลดใหม่หรือส่งโฆษณาที่ได้รับผลกระทบอีกครั้ง หากสถานะไม่อัปเดตโดยอัตโนมัติ สำหรับโฆษณาที่อัปโหลดเป็นจำนวนมาก การแบ่งเป็นชุดเล็กลงช่วยลดการกระตุ้นระบบจำกัดอัตราหรือระบบป้องกันบอต ระหว่างที่ทีมของคุณตรวจสอบผลการแก้ไข