Vì sao OpenAI sử dụng trình thu thập dữ liệu web?
Chúng tôi sử dụng trình thu thập dữ liệu để xác thực mức độ an toàn của các trang web được gửi làm quảng cáo trên ChatGPT. Khi bạn gửi quảng cáo, OpenAI có thể truy cập trang đích để đảm bảo trang đó tuân thủ chính sách của chúng tôi. Chúng tôi cũng có thể dùng nội dung từ trang đích để xác định thời điểm phù hợp nhất để hiển thị quảng cáo cho người dùng.
Bạn nên cho phép trình thu thập dữ liệu nào của OpenAI?
Bạn phải cho phép OAI-AdsBot. Chúng tôi khuyến nghị cho phép cả OAI-AdsBot và OAI-SearchBot.
Trình thu thập dữ liệu của OpenAI không thu thập được dữ liệu trên trang web của tôi. Tôi nên làm gì?
Hầu hết trang web có nhiều lớp bảo vệ trước khi một trình thu thập dữ liệu có thể truy cập thành công một trang web. Hãy phối hợp với đội ngũ kỹ thuật hoặc bảo mật của bạn để xác minh rằng trình thu thập dữ liệu của OpenAI có thể đi qua từng lớp sau đây.
1. robots.txt
Tệp robots.txt cho trình thu thập dữ liệu biết liệu chúng có được phép truy cập một số phần nhất định trên trang web của bạn hay không. Trình thu thập dữ liệu của OpenAI tuân thủ các quy tắc này. Nếu robots.txt không cho phép truy cập, hoạt động thu thập dữ liệu sẽ dừng ngay lập tức.
Hãy xem lại cấu hình robots.txt của bạn và xác nhận rằng trình thu thập dữ liệu của OpenAI được cho phép rõ ràng để truy cập các trang và đường dẫn liên quan. Ví dụ: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Bảo vệ web và giảm thiểu bot
Nhiều trang web sử dụng các dịch vụ như Cloudflare, Akamai hoặc các nhà cung cấp bảo vệ web khác để chống lại tấn công DDoS, thu thập dữ liệu trái phép và lưu lượng truy cập không được phép. Các hệ thống này có thể chặn nhầm những trình thu thập dữ liệu hợp lệ, thường trả về lỗi 403 Forbidden. Vì trình thu thập dữ liệu của OpenAI có thể giống các mẫu lưu lượng truy cập tự động, chúng có thể bị từ chối nếu không được đưa cụ thể vào danh sách cho phép.
Hãy xem lại cấu hình bảo vệ web hoặc tường lửa của bạn và đưa lưu lượng truy cập của trình thu thập dữ liệu OpenAI vào danh sách cho phép khi có thể, lý tưởng nhất là dựa trên user agent của trình thu thập dữ liệu. Đội ngũ kỹ thuật hoặc hạ tầng của bạn cũng nên kiểm tra mọi quy tắc giảm thiểu bot tự động có thể đang gây ra kết quả dương tính giả.
3. Xác minh con người và logic chống bot
Một số trang web triển khai thêm các bước kiểm tra ở cấp ứng dụng để xác minh khách truy cập là con người, chẳng hạn như CAPTCHA, thử thách JavaScript, phân tích hành vi hoặc xác thực phiên. Vì trình thu thập dữ liệu của OpenAI là hệ thống tự động, các bước kiểm tra này có thể chặn quyền truy cập ngay cả khi trình thu thập dữ liệu đã vượt qua các lớp trước đó.
Hãy xem lại mọi logic xác minh con người hoặc chống tự động hóa được triển khai trong ứng dụng của bạn và đảm bảo trình thu thập dữ liệu của OpenAI được miễn trừ khi phù hợp, lý tưởng nhất là bằng cách đưa user agent của trình thu thập dữ liệu vào danh sách cho phép.
Lưu ý về dải IP ổn định
Một số hệ thống bảo mật yêu cầu lưu lượng truy cập của trình thu thập dữ liệu phải đến từ các dải IP ổn định, được ghi nhận công khai trước khi có thể đưa lưu lượng đó vào danh sách cho phép một cách đáng tin cậy. Vì hạ tầng trình thu thập dữ liệu có thể thay đổi theo thời gian, đội ngũ kỹ thuật của bạn nên tránh chỉ dựa vào các quan sát IP ngắn hạn từ nhật ký. Thay vào đó, hãy xác thực lưu lượng truy cập bằng cách kết hợp nhận dạng user-agent, các chương trình bot đã xác minh nếu được hỗ trợ, danh sách cho phép của tường lửa, hành vi robots.txt và hệ thống xác minh bot ở cấp nhà cung cấp.
Nếu bạn phải cho phép một danh sách dải IP ổn định, hãy tham khảo https://openai.com/searchbot.json và https://openai.com/adsbot.json.
Lưu ý về giới hạn tốc độ
Các lượt tải lên hàng loạt lớn hoặc lưu lượng truy cập của trình thu thập dữ liệu tăng đột biến đôi khi có thể kích hoạt hệ thống giới hạn tốc độ tự động hoặc bảo vệ bot.
Nếu bạn nghi ngờ đang xảy ra giới hạn tốc độ, hãy yêu cầu đội ngũ kỹ thuật xem lại mã phản hồi HTTP, đặc biệt là 429 Too Many Requests, nhật ký tường lửa hoặc CDN, sự kiện giảm thiểu bot, quy tắc điều tiết yêu cầu và phân tích lưu lượng truy cập quanh thời điểm trình thu thập dữ liệu cố gắng truy cập. Việc này có thể giúp xác định liệu các yêu cầu có đang bị hạ tốc độ hoặc bị chặn có chủ đích bởi các lớp bảo vệ hạ tầng hay không.
Bạn cũng có thể cân nhắc tải quảng cáo lên trong các lô nhỏ hơn và trải dài trong thời gian lâu hơn.
Lưu ý về Cloudflare
OAI-AdsBot đã được Cloudflare xác minh chính thức và đưa vào danh sách cho phép.
Câu hỏi thường gặp về trình thu thập dữ liệu và trang đích
Trình thu thập dữ liệu nào là bắt buộc để xét duyệt quảng cáo?
OAI-AdsBot là bắt buộc để xác thực và xét duyệt trang đích của Quảng cáo ChatGPT. OAI-SearchBot được khuyến nghị vì có thể giúp OpenAI hiểu nội dung web công khai, nhưng OAI-AdsBot là trình thu thập dữ liệu mà nhà quảng cáo nên ưu tiên để sẵn sàng chạy quảng cáo.
Bộ phận hỗ trợ có thể bỏ qua thủ công bước xác thực trình thu thập dữ liệu không?
Đừng dựa vào việc bỏ qua thủ công. Hãy giúp OAI-AdsBot có thể thu thập dữ liệu trang đích bằng cách khắc phục các chặn do robots.txt, WAF, CDN, biện pháp giảm thiểu bot, xác thực và giới hạn tốc độ. Quảng cáo có thể cần được tải lên lại hoặc gửi lại để xét duyệt sau khi trang đích có thể truy cập được.
Đội ngũ kỹ thuật của tôi nên kiểm tra điều gì trước tiên?
Hãy kiểm tra xem trang đích có trả về phản hồi HTTP thành công cho OAI-AdsBot hay không, robots.txt có cho phép đường dẫn liên quan hay không, và WAF, CDN, biện pháp giảm thiểu bot, thử thách JavaScript, CAPTCHA, xác thực hoặc quy tắc địa lý có chặn truy cập tự động hay không.
Liên kết cửa hàng ứng dụng, liên kết sâu hoặc đích đến không phải web có được hỗ trợ làm trang đích không?
Hãy sử dụng trang đích web có thể truy cập trực tiếp bất cứ khi nào có thể. Liên kết cửa hàng ứng dụng, liên kết sâu, tài liệu hoặc đích đến yêu cầu ứng dụng, đăng nhập, quyền truy cập theo khu vực hoặc chuyển hướng không được hỗ trợ có thể không cung cấp đủ nội dung có thể thu thập dữ liệu để xác thực hoặc xét duyệt.
Khi nào tôi nên tải lên lại hoặc yêu cầu xét duyệt lại?
Sau khi khắc phục quyền truy cập của trình thu thập dữ liệu, hãy tải lên lại hoặc gửi lại các quảng cáo bị ảnh hưởng nếu trạng thái không tự cập nhật. Đối với quảng cáo được tải lên hàng loạt, chia thành các lô nhỏ hơn có thể giảm việc kích hoạt giới hạn tốc độ hoặc bảo vệ bot trong khi đội ngũ của bạn xác minh bản sửa lỗi.