เหตุใด OpenAI จึงใช้โปรแกรมรวบรวมข้อมูลเว็บ
เราใช้โปรแกรมรวบรวมข้อมูลเพื่อตรวจสอบความปลอดภัยของหน้าเว็บที่ส่งมาเป็นโฆษณาบน ChatGPT เมื่อคุณส่งโฆษณา OpenAI อาจเข้าชมหน้า Landing Page เพื่อตรวจสอบว่าเป็นไปตามนโยบายของเรา เราอาจใช้เนื้อหาจากหน้า Landing Page เพื่อพิจารณาว่าช่วงใดเหมาะสมที่สุดที่จะแสดงโฆษณาต่อผู้ใช้
คุณควรอนุญาตโปรแกรมรวบรวมข้อมูลใดของ OpenAI
คุณต้องอนุญาต OAI-AdsBot เราขอแนะนำให้อนุญาตทั้ง OAI-AdsBot และ OAI-SearchBot
โปรแกรมรวบรวมข้อมูลของ OpenAI รวบรวมข้อมูลเว็บไซต์ของฉันไม่สำเร็จ ฉันควรทำอย่างไร
เว็บไซต์ส่วนใหญ่มีการป้องกันหลายชั้นก่อนที่โปรแกรมรวบรวมข้อมูลจะเข้าถึงหน้าเว็บได้สำเร็จ ทำงานร่วมกับทีมวิศวกรรมหรือทีมรักษาความปลอดภัยของคุณเพื่อตรวจสอบว่าโปรแกรมรวบรวมข้อมูลของ OpenAI สามารถผ่านแต่ละชั้นต่อไปนี้ได้
1. robots.txt
ไฟล์ robots.txt จะบอกโปรแกรมรวบรวมข้อมูลว่าได้รับอนุญาตให้เข้าถึงบางส่วนของเว็บไซต์ของคุณหรือไม่ โปรแกรมรวบรวมข้อมูลของ OpenAI ปฏิบัติตามกฎเหล่านี้ หาก robots.txt ไม่อนุญาตให้เข้าถึง การรวบรวมข้อมูลจะหยุดทันที
ตรวจสอบการตั้งค่า robots.txt ของคุณ และยืนยันว่าโปรแกรมรวบรวมข้อมูลของ OpenAI ได้รับอนุญาตอย่างชัดเจนให้เข้าถึงหน้าและพาธที่เกี่ยวข้อง ตัวอย่าง: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. การป้องกันเว็บและการลดผลกระทบจากบอต
เว็บไซต์จำนวนมากใช้บริการอย่าง Cloudflare, Akamai หรือผู้ให้บริการป้องกันเว็บรายอื่นเพื่อป้องกันการโจมตี DDoS การดึงข้อมูล และทราฟฟิกที่ไม่ได้รับอนุญาต ระบบเหล่านี้อาจบล็อกโปรแกรมรวบรวมข้อมูลที่ถูกต้องโดยไม่ตั้งใจ โดยมักส่งคืนข้อผิดพลาด 403 Forbidden เนื่องจากโปรแกรมรวบรวมข้อมูลของ OpenAI อาจมีรูปแบบทราฟฟิกคล้ายระบบอัตโนมัติ จึงอาจถูกปฏิเสธหากไม่ได้เพิ่มในรายการอนุญาตโดยเฉพาะ
ตรวจสอบการตั้งค่าการป้องกันเว็บหรือไฟร์วอลล์ของคุณ และเพิ่มทราฟฟิกจากโปรแกรมรวบรวมข้อมูลของ OpenAI ในรายการอนุญาตเมื่อทำได้ โดยควรอิงตาม user agent ของโปรแกรมรวบรวมข้อมูลของเรา ทีมวิศวกรรมหรือทีมโครงสร้างพื้นฐานของคุณควรตรวจสอบกฎลดผลกระทบจากบอตอัตโนมัติที่อาจทำให้เกิดผลบวกปลอมด้วย
3. การยืนยันว่าเป็นมนุษย์และตรรกะป้องกันบอต
บางเว็บไซต์ใช้การตรวจสอบเพิ่มเติมในระดับแอปพลิเคชันเพื่อยืนยันว่าผู้เข้าชมเป็นมนุษย์ เช่น CAPTCHA, JavaScript challenge, การวิเคราะห์พฤติกรรม หรือการตรวจสอบเซสชัน เนื่องจากโปรแกรมรวบรวมข้อมูลของ OpenAI เป็นระบบอัตโนมัติ การตรวจสอบเหล่านี้อาจบล็อกการเข้าถึง แม้โปรแกรมรวบรวมข้อมูลจะผ่านชั้นก่อนหน้าได้สำเร็จแล้วก็ตาม
ตรวจสอบตรรกะการยืนยันว่าเป็นมนุษย์หรือป้องกันระบบอัตโนมัติที่ใช้ภายในแอปพลิเคชันของคุณ และตรวจสอบให้แน่ใจว่าโปรแกรมรวบรวมข้อมูลของ OpenAI ได้รับการยกเว้นเมื่อเหมาะสม โดยควรเพิ่ม user agent ของโปรแกรมรวบรวมข้อมูลของเราในรายการอนุญาต
หมายเหตุเกี่ยวกับช่วง IP ที่เสถียร
ระบบรักษาความปลอดภัยบางระบบกำหนดให้ทราฟฟิกของโปรแกรมรวบรวมข้อมูลต้องมาจากช่วง IP ที่เสถียรและมีเอกสารเผยแพร่ต่อสาธารณะ ก่อนจึงจะเพิ่มทราฟฟิกในรายการอนุญาตได้อย่างเชื่อถือได้ เนื่องจากโครงสร้างพื้นฐานของโปรแกรมรวบรวมข้อมูลอาจเปลี่ยนแปลงไปตามเวลา ทีมวิศวกรรมของคุณจึงไม่ควรพึ่งพาการสังเกต IP ระยะสั้นจากบันทึกเพียงอย่างเดียว ให้ตรวจสอบทราฟฟิกด้วยหลายวิธีร่วมกันแทน ได้แก่ การระบุ user-agent, โปรแกรมบอตที่ผ่านการยืนยันในกรณีที่รองรับ, รายการอนุญาตของไฟร์วอลล์, พฤติกรรมของ robots.txt และระบบยืนยันบอตระดับผู้ให้บริการ
หากคุณจำเป็นต้องอนุญาตรายการช่วง IP ที่เสถียร โปรดอ้างอิง https://openai.com/searchbot.json และ https://openai.com/adsbot.json
หมายเหตุเกี่ยวกับลิมิตการใช้งาน
การอัปโหลดจำนวนมากเป็นชุดหรือทราฟฟิกจากโปรแกรมรวบรวมข้อมูลที่เพิ่มขึ้นอย่างกะทันหัน อาจทริกเกอร์ระบบจำกัดลิมิตการใช้งานหรือระบบป้องกันบอตอัตโนมัติได้ในบางครั้ง
หากคุณสงสัยว่ากำลังเกิดการจำกัดลิมิตการใช้งาน ให้ทีมวิศวกรรมของคุณตรวจสอบรหัสการตอบกลับ HTTP โดยเฉพาะ 429 Too Many Requests, บันทึกไฟร์วอลล์หรือ CDN, เหตุการณ์ลดผลกระทบจากบอต, กฎการชะลอคำขอ และการวิเคราะห์ทราฟฟิกในช่วงเวลาที่โปรแกรมรวบรวมข้อมูลพยายามเข้าถึง วิธีนี้ช่วยระบุได้ว่าคำขอกำลังถูกชะลอหรือถูกบล็อกโดยเจตนาจากการป้องกันของโครงสร้างพื้นฐานหรือไม่
คุณอาจพิจารณาอัปโหลดโฆษณาเป็นชุดเล็กลงและกระจายเป็นระยะเวลานานขึ้นด้วย
หมายเหตุเกี่ยวกับ Cloudflare
OAI-AdsBot ได้รับการยืนยันอย่างเป็นทางการและถูกเพิ่มในรายการอนุญาตโดย Cloudflare
คำถามที่พบบ่อยเกี่ยวกับโปรแกรมรวบรวมข้อมูลและหน้า Landing Page
ต้องใช้โปรแกรมรวบรวมข้อมูลใดในการตรวจสอบโฆษณา
ต้องใช้ OAI-AdsBot สำหรับการตรวจสอบและทบทวนหน้า Landing Page ของโฆษณา ChatGPT เราขอแนะนำ OAI-SearchBot เพราะอาจช่วยให้ OpenAI เข้าใจเนื้อหาเว็บสาธารณะได้ แต่ OAI-AdsBot คือโปรแกรมรวบรวมข้อมูลที่ผู้ลงโฆษณาควรให้ความสำคัญเพื่อเตรียมโฆษณาให้พร้อม
ฝ่ายสนับสนุนสามารถข้ามการตรวจสอบของโปรแกรมรวบรวมข้อมูลด้วยตนเองได้ไหม
อย่าพึ่งพาการข้ามขั้นตอนด้วยตนเอง ทำให้ OAI-AdsBot รวบรวมข้อมูลจากหน้า Landing Page ได้โดยแก้ไขการบล็อกจาก robots.txt, WAF, CDN, การลดผลกระทบจากบอต, การยืนยันตัวตน และลิมิตการใช้งาน อาจจำเป็นต้องอัปโหลดหรือส่งโฆษณาอีกครั้งเพื่อรับการตรวจสอบ หลังจากหน้า Landing Page เข้าถึงได้แล้ว
ทีมวิศวกรรมของฉันควรตรวจสอบอะไรก่อน
ตรวจสอบว่าหน้า Landing Page ส่งคืนการตอบกลับ HTTP ที่สำเร็จให้ OAI-AdsBot หรือไม่, robots.txt อนุญาตพาธที่เกี่ยวข้องหรือไม่ และ WAF, CDN, การลดผลกระทบจากบอต, JavaScript challenge, CAPTCHA, การยืนยันตัวตน หรือกฎตามภูมิศาสตร์บล็อกการเข้าถึงแบบอัตโนมัติหรือไม่
รองรับลิงก์ App Store, Deep Link หรือปลายทางที่ไม่ใช่เว็บเป็นหน้า Landing Page หรือไม่
ใช้หน้า Landing Page บนเว็บที่เข้าถึงได้โดยตรงทุกครั้งที่ทำได้ ลิงก์ App Store, Deep Link, เอกสาร หรือปลายทางที่ต้องใช้แอป การเข้าสู่ระบบ การเข้าถึงเฉพาะภูมิภาค หรือการเปลี่ยนเส้นทางที่ไม่รองรับ อาจมีเนื้อหาที่รวบรวมข้อมูลได้ไม่เพียงพอสำหรับการตรวจสอบหรือทบทวน
ฉันควรอัปโหลดอีกครั้งหรือขอรับการตรวจสอบอีกครั้งเมื่อใด
หลังจากแก้ไขการเข้าถึงของโปรแกรมรวบรวมข้อมูลแล้ว ให้อัปโหลดหรือส่งโฆษณาที่ได้รับผลกระทบอีกครั้ง หากสถานะไม่อัปเดตเอง สำหรับโฆษณาที่อัปโหลดแบบกลุ่ม การแบ่งเป็นชุดเล็กลงช่วยลดการทริกเกอร์ลิมิตการใช้งานหรือการป้องกันบอตได้ ระหว่างที่ทีมของคุณตรวจสอบความถูกต้องของการแก้ไข