Γιατί χρησιμοποιεί η OpenAI ανιχνευτές ιστού;
Χρησιμοποιούμε ανιχνευτές ιστού για να επαληθεύουμε την ασφάλεια των ιστοσελίδων που υποβάλλονται ως διαφημίσεις στο ChatGPT. Όταν υποβάλλετε μια διαφήμιση, η OpenAI ενδέχεται να επισκεφτεί τη σελίδα προορισμού για να διασφαλίσει ότι συμμορφώνεται με τις πολιτικές μας. Ενδέχεται επίσης να χρησιμοποιήσουμε περιεχόμενο από τη σελίδα προορισμού, ώστε να προσδιορίσουμε πότε είναι πιο συναφές να εμφανιστεί η διαφήμιση στους χρήστες.
Ποιους ανιχνευτές ιστού της OpenAI πρέπει να επιτρέψετε;
Πρέπει να επιτρέψετε το OAI-AdsBot. Συνιστούμε να επιτρέψετε τόσο το OAI-AdsBot όσο και το OAI-SearchBot.
Για ροές προϊόντων, επιτρέψτε επίσης στο OAI-SearchBot να ανιχνεύει τις διευθύνσεις URL των εικόνων προϊόντων. Ελέγξτε τους κανόνες τείχους προστασίας, CDN και προστασίας από bot στον διακομιστή των εικόνων. Μια απόκριση 403 μπορεί να εμποδίσει την επεξεργασία της ροής.
Οι ανιχνευτές ιστού της OpenAI δεν μπορούν να ανιχνεύσουν τον ιστότοπό μου. Τι πρέπει να κάνω;
Οι περισσότεροι ιστότοποι διαθέτουν πολλαπλά επίπεδα προστασίας, τα οποία πρέπει να διασχίσει ένας ανιχνευτής ιστού για να αποκτήσει πρόσβαση σε μια ιστοσελίδα. Συνεργαστείτε με την ομάδα μηχανικών ή ασφάλειας, για να επαληθεύσετε ότι οι ανιχνευτές ιστού της OpenAI μπορούν να περάσουν από καθένα από τα ακόλουθα επίπεδα.
1. robots.txt
Το αρχείο robots.txt υποδεικνύει στους ανιχνευτές ιστού αν επιτρέπεται να έχουν πρόσβαση σε συγκεκριμένα τμήματα του ιστοτόπου σας. Οι ανιχνευτές ιστού της OpenAI τηρούν αυτούς τους κανόνες. Αν η πρόσβαση απαγορεύεται στο robots.txt, η ανίχνευση θα διακοπεί αμέσως.
Ελέγξτε τη διαμόρφωση του robots.txt και επιβεβαιώστε ότι επιτρέπεται ρητά στους ανιχνευτές ιστού της OpenAI να έχουν πρόσβαση στις σχετικές σελίδες και διαδρομές. Για παράδειγμα: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Προστασία ιστού και περιορισμός bot
Πολλοί ιστότοποι χρησιμοποιούν υπηρεσίες όπως το Cloudflare, το Akamai ή άλλους παρόχους προστασίας ιστού, για να αμύνονται έναντι επιθέσεων DDoS, αυτοματοποιημένης συλλογής δεδομένων και μη εξουσιοδοτημένης κίνησης. Αυτά τα συστήματα μπορεί να αποκλείσουν κατά λάθος νόμιμους ανιχνευτές ιστού, επιστρέφοντας συχνά σφάλματα 403 Forbidden. Επειδή η συμπεριφορά των ανιχνευτών ιστού της OpenAI μπορεί να μοιάζει με μοτίβα αυτοματοποιημένης κίνησης, ενδέχεται να απορριφθούν αν δεν προστεθούν ρητά στη λίστα επιτρεπόμενων.
Ελέγξτε τη διαμόρφωση της προστασίας ιστού ή του τείχους προστασίας και, όπου είναι δυνατόν, προσθέστε την κίνηση των ανιχνευτών ιστού της OpenAI στη λίστα επιτρεπόμενων, ιδανικά βάσει των user agent των ανιχνευτών μας. Η ομάδα μηχανικών ή υποδομών σας θα πρέπει επίσης να ελέγξει τυχόν αυτοματοποιημένους κανόνες περιορισμού bot που θα μπορούσαν να προκαλούν ψευδώς θετικά αποτελέσματα.
3. Επαλήθευση χρήστη και μηχανισμοί προστασίας από bot
Ορισμένοι ιστότοποι εφαρμόζουν πρόσθετους ελέγχους σε επίπεδο εφαρμογής, για να επαληθεύσουν ότι ένας επισκέπτης είναι άνθρωπος, όπως CAPTCHA, δοκιμασίες JavaScript, ανάλυση συμπεριφοράς ή επικύρωση περιόδου σύνδεσης. Επειδή οι ανιχνευτές ιστού της OpenAI είναι αυτοματοποιημένα συστήματα, αυτοί οι έλεγχοι ενδέχεται να αποκλείσουν την πρόσβαση, ακόμη και αν ο ανιχνευτής πέρασε με επιτυχία τα προηγούμενα επίπεδα.
Ελέγξτε κάθε μηχανισμό επαλήθευσης χρήστη ή προστασίας από αυτοματοποίηση που έχει υλοποιηθεί στην εφαρμογή σας και διασφαλίστε ότι οι ανιχνευτές ιστού της OpenAI εξαιρούνται όπου ενδείκνυται, ιδανικά προσθέτοντας τα user agent των ανιχνευτών μας στη λίστα επιτρεπόμενων.
Σημείωση για τα σταθερά εύρη διευθύνσεων IP
Ορισμένα συστήματα ασφάλειας απαιτούν η κίνηση των ανιχνευτών ιστού να προέρχεται από σταθερά, δημόσια τεκμηριωμένα εύρη διευθύνσεων IP, προτού μπορέσει να προστεθεί αξιόπιστα στη λίστα επιτρεπόμενων. Επειδή η υποδομή των ανιχνευτών ιστού μπορεί να εξελίσσεται με την πάροδο του χρόνου, η ομάδα μηχανικών σας δεν θα πρέπει να βασίζεται αποκλειστικά σε βραχυπρόθεσμες παρατηρήσεις διευθύνσεων IP από αρχεία καταγραφής. Αντίθετα, επαληθεύστε την κίνηση συνδυάζοντας την αναγνώριση user agent, προγράμματα επαληθευμένων bot όπου υποστηρίζονται, λίστες επιτρεπόμενων του τείχους προστασίας, τη συμπεριφορά του robots.txt και συστήματα επαλήθευσης bot σε επίπεδο παρόχου.
Αν πρέπει να επιτρέψετε μια σταθερή λίστα ευρών διευθύνσεων IP, ανατρέξτε στα https://openai.com/searchbot.json και https://openai.com/adsbot.json.
Σημείωση για τον περιορισμό ρυθμού αιτημάτων
Οι μεγάλες μαζικές μεταφορτώσεις ή οι απότομες αυξήσεις στην κίνηση των ανιχνευτών ιστού μπορεί μερικές φορές να ενεργοποιήσουν αυτοματοποιημένα συστήματα περιορισμού ρυθμού αιτημάτων ή προστασίας από bot.
Αν υποψιάζεστε ότι εφαρμόζεται περιορισμός ρυθμού αιτημάτων, ζητήστε από την ομάδα μηχανικών σας να ελέγξει τους κωδικούς απόκρισης HTTP, ιδίως τον 429 Too Many Requests, τα αρχεία καταγραφής του τείχους προστασίας ή του CDN, τα συμβάντα περιορισμού bot, τους κανόνες περιορισμού αιτημάτων και τα αναλυτικά στοιχεία κίνησης κατά το χρονικό διάστημα που ο ανιχνευτής επιχείρησε να αποκτήσει πρόσβαση. Έτσι μπορείτε να διαπιστώσετε αν τα αιτήματα επιβραδύνονται ή αποκλείονται σκόπιμα από τα συστήματα προστασίας της υποδομής.
Μπορείτε επίσης να εξετάσετε το ενδεχόμενο να μεταφορτώνετε τις διαφημίσεις σε μικρότερες παρτίδες και για μεγαλύτερο χρονικό διάστημα.
Σημείωση για το Cloudflare
Το OAI-AdsBot είναι επίσημα επαληθευμένο και περιλαμβάνεται στη λίστα επιτρεπόμενων του Cloudflare.
Συχνές ερωτήσεις για τους ανιχνευτές ιστού και τις σελίδες προορισμού
Ποιος ανιχνευτής ιστού απαιτείται για τον έλεγχο διαφημίσεων;
Το OAI-AdsBot απαιτείται για την επικύρωση και τον έλεγχο των σελίδων προορισμού του ChatGPT Ads. Το OAI-SearchBot συνιστάται, επειδή μπορεί να βοηθήσει την OpenAI να κατανοήσει το δημόσιο περιεχόμενο ιστού, όμως το OAI-AdsBot είναι ο ανιχνευτής στον οποίο πρέπει να δώσουν προτεραιότητα οι διαφημιζόμενοι για την ετοιμότητα των διαφημίσεων.
Μπορεί η υποστήριξη να παρακάμψει χειροκίνητα την επικύρωση του ανιχνευτή;
Μην βασίζεστε σε χειροκίνητη παράκαμψη. Κάντε τη σελίδα προορισμού προσβάσιμη στο OAI-AdsBot, διορθώνοντας τους αποκλεισμούς που σχετίζονται με τα robots.txt, WAF, CDN, τον περιορισμό bot, τον έλεγχο ταυτότητας και τον περιορισμό ρυθμού αιτημάτων. Αφού η σελίδα προορισμού γίνει προσβάσιμη, ίσως χρειαστεί να μεταφορτώσετε ξανά τις διαφημίσεις ή να τις υποβάλετε εκ νέου για έλεγχο.
Τι πρέπει να ελέγξει πρώτα η ομάδα μηχανικών μου;
Ελέγξτε αν η σελίδα προορισμού επιστρέφει επιτυχή απόκριση HTTP στο OAI-AdsBot, αν το robots.txt επιτρέπει τη σχετική διαδρομή και αν το WAF, το CDN, ο περιορισμός bot, οι δοκιμασίες JavaScript, τα CAPTCHA, ο έλεγχος ταυτότητας ή οι γεωγραφικοί κανόνες αποκλείουν την αυτοματοποιημένη πρόσβαση.
Υποστηρίζονται ως σελίδες προορισμού οι σύνδεσμοι προς καταστήματα εφαρμογών, οι σύνδεσμοι σε βάθος ή οι προορισμοί εκτός ιστού;
Όποτε είναι δυνατόν, χρησιμοποιείτε μια άμεσα προσβάσιμη σελίδα προορισμού στον ιστό. Οι σύνδεσμοι προς καταστήματα εφαρμογών, οι σύνδεσμοι σε βάθος, τα έγγραφα ή οι προορισμοί που απαιτούν εφαρμογή, σύνδεση, πρόσβαση από συγκεκριμένη περιοχή ή μη υποστηριζόμενες ανακατευθύνσεις ενδέχεται να μην παρέχουν αρκετό ανιχνεύσιμο περιεχόμενο για επικύρωση ή έλεγχο.
Πότε πρέπει να μεταφορτώσω ξανά τη διαφήμιση ή να ζητήσω νέο έλεγχο;
Αφού διορθώσετε την πρόσβαση του ανιχνευτή, μεταφορτώστε ξανά ή υποβάλετε εκ νέου τις επηρεαζόμενες διαφημίσεις, αν η κατάστασή τους δεν ενημερωθεί αυτόματα. Για διαφημίσεις που μεταφορτώνονται μαζικά, οι μικρότερες παρτίδες μπορούν να μειώσουν την ενεργοποίηση περιορισμών ρυθμού αιτημάτων ή προστασίας από bot, όσο η ομάδα σας επαληθεύει τη διόρθωση.