Γιατί η OpenAI χρησιμοποιεί ανιχνευτές ιστού;
Χρησιμοποιούμε ανιχνευτές για να επαληθεύουμε την ασφάλεια των ιστοσελίδων που υποβάλλονται ως διαφημίσεις στο ChatGPT. Όταν υποβάλλετε μια διαφήμιση, η OpenAI μπορεί να επισκεφτεί τη σελίδα προορισμού για να βεβαιωθεί ότι συμμορφώνεται με τις πολιτικές μας. Μπορεί επίσης να χρησιμοποιήσουμε περιεχόμενο από τη σελίδα προορισμού για να προσδιορίσουμε πότε είναι πιο συναφές να εμφανίζεται η διαφήμιση στους χρήστες.
Ποιους ανιχνευτές της OpenAI πρέπει να επιτρέπετε;
Πρέπει να επιτρέπετε το OAI-AdsBot. Συνιστούμε να επιτρέπετε τόσο το OAI-AdsBot όσο και το OAI-SearchBot.
Οι ανιχνευτές της OpenAI δεν μπορούν να ανιχνεύσουν τον ιστότοπό μου. Τι πρέπει να κάνω;
Οι περισσότεροι ιστότοποι διαθέτουν πολλαπλά επίπεδα προστασίας πριν ένας ανιχνευτής μπορέσει να αποκτήσει επιτυχώς πρόσβαση σε μια ιστοσελίδα. Συνεργαστείτε με την ομάδα μηχανικών ή ασφάλειας για να επαληθεύσετε ότι οι ανιχνευτές της OpenAI μπορούν να περάσουν από καθένα από τα παρακάτω επίπεδα.
1. robots.txt
Το αρχείο robots.txt ενημερώνει τους ανιχνευτές αν επιτρέπεται να προσπελάσουν συγκεκριμένα τμήματα του ιστοτόπου σας. Οι ανιχνευτές της OpenAI τηρούν αυτούς τους κανόνες. Αν η πρόσβαση δεν επιτρέπεται στο robots.txt, η ανίχνευση θα σταματήσει αμέσως.
Ελέγξτε τη διαμόρφωση του robots.txt και επιβεβαιώστε ότι οι ανιχνευτές της OpenAI επιτρέπεται ρητά να έχουν πρόσβαση στις σχετικές σελίδες και διαδρομές. Για παράδειγμα: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. Προστασία ιστού και μετριασμός bot
Πολλοί ιστότοποι χρησιμοποιούν υπηρεσίες όπως Cloudflare, Akamai ή άλλους παρόχους προστασίας ιστού για άμυνα απέναντι σε επιθέσεις DDoS, scraping και μη εξουσιοδοτημένη κίνηση. Αυτά τα συστήματα μπορεί να αποκλείσουν κατά λάθος νόμιμους ανιχνευτές, συχνά επιστρέφοντας σφάλματα 403 Forbidden. Επειδή οι ανιχνευτές της OpenAI μπορεί να μοιάζουν με μοτίβα αυτοματοποιημένης κίνησης, ενδέχεται να απορριφθούν αν δεν προστεθούν ειδικά στη λίστα επιτρεπόμενων.
Ελέγξτε τη διαμόρφωση της προστασίας ιστού ή του τείχους προστασίας σας και προσθέστε την κίνηση των ανιχνευτών της OpenAI στη λίστα επιτρεπόμενων όπου είναι δυνατόν, ιδανικά με βάση τα user agents των ανιχνευτών μας. Η ομάδα μηχανικών ή υποδομών σας θα πρέπει επίσης να ελέγξει τυχόν αυτοματοποιημένους κανόνες μετριασμού bot που θα μπορούσαν να προκαλούν ψευδώς θετικά αποτελέσματα.
3. Επαλήθευση ανθρώπου και λογική anti-bot
Ορισμένοι ιστότοποι εφαρμόζουν πρόσθετους ελέγχους σε επίπεδο εφαρμογής για να επαληθεύουν ότι ο επισκέπτης είναι άνθρωπος, όπως CAPTCHA, JavaScript challenges, ανάλυση συμπεριφοράς ή επικύρωση περιόδου σύνδεσης. Επειδή οι ανιχνευτές της OpenAI είναι αυτοματοποιημένα συστήματα, αυτοί οι έλεγχοι μπορεί να αποκλείσουν την πρόσβαση ακόμη κι αν ο ανιχνευτής περάσει επιτυχώς τα προηγούμενα επίπεδα.
Ελέγξτε κάθε λογική επαλήθευσης ανθρώπου ή αποτροπής αυτοματισμών που εφαρμόζεται μέσα στην εφαρμογή σας και βεβαιωθείτε ότι οι ανιχνευτές της OpenAI εξαιρούνται όπου ενδείκνυται, ιδανικά προσθέτοντας τα user agents των ανιχνευτών μας στη λίστα επιτρεπόμενων.
Σημείωση για τα σταθερά εύρη IP
Ορισμένα συστήματα ασφάλειας απαιτούν η κίνηση των ανιχνευτών να προέρχεται από σταθερά, δημόσια τεκμηριωμένα εύρη IP, προτού η κίνηση μπορέσει να προστεθεί αξιόπιστα στη λίστα επιτρεπόμενων. Επειδή η υποδομή ανίχνευσης μπορεί να εξελίσσεται με την πάροδο του χρόνου, η ομάδα μηχανικών σας θα πρέπει να αποφεύγει να βασίζεται αποκλειστικά σε βραχυπρόθεσμες παρατηρήσεις IP από αρχεία καταγραφής. Αντίθετα, επαληθεύστε την κίνηση μέσω συνδυασμού αναγνώρισης user-agent, επαληθευμένων προγραμμάτων bot όπου υποστηρίζονται, λιστών επιτρεπόμενων στο τείχος προστασίας, συμπεριφοράς robots.txt και συστημάτων επαλήθευσης bot σε επίπεδο παρόχου.
Αν πρέπει να επιτρέψετε μια σταθερή λίστα εύρων IP, ανατρέξτε στα https://openai.com/searchbot.json και https://openai.com/adsbot.json.
Σημείωση για τα όρια ρυθμού
Οι μεγάλες μαζικές μεταφορτώσεις ή οι ξαφνικές αιχμές στην κίνηση των ανιχνευτών μπορούν μερικές φορές να ενεργοποιήσουν αυτοματοποιημένα όρια ρυθμού ή συστήματα προστασίας από bot.
Αν υποψιάζεστε ότι εφαρμόζεται όριο ρυθμού, ζητήστε από την ομάδα μηχανικών σας να ελέγξει τους κωδικούς απόκρισης HTTP, ιδίως το 429 Too Many Requests, τα αρχεία καταγραφής του τείχους προστασίας ή του CDN, τα συμβάντα μετριασμού bot, τους κανόνες περιορισμού αιτημάτων και τα αναλυτικά στοιχεία κίνησης γύρω από τη στιγμή που ο ανιχνευτής επιχείρησε πρόσβαση. Αυτό μπορεί να βοηθήσει να διαπιστωθεί αν τα αιτήματα επιβραδύνονται ή αποκλείονται σκόπιμα από προστασίες της υποδομής.
Μπορείτε επίσης να εξετάσετε το ενδεχόμενο να μεταφορτώνετε διαφημίσεις σε μικρότερες παρτίδες, σε μεγαλύτερο χρονικό διάστημα.
Σημείωση για το Cloudflare
Το OAI-AdsBot έχει επαληθευτεί επίσημα και έχει προστεθεί στη λίστα επιτρεπόμενων από το Cloudflare.
Συχνές ερωτήσεις για ανιχνευτές και σελίδες προορισμού
Ποιος ανιχνευτής απαιτείται για τον έλεγχο διαφημίσεων;
Το OAI-AdsBot απαιτείται για την επικύρωση και τον έλεγχο σελίδων προορισμού διαφημίσεων του ChatGPT Ads. Το OAI-SearchBot συνιστάται επειδή μπορεί να βοηθήσει την OpenAI να κατανοήσει δημόσιο περιεχόμενο ιστού, αλλά το OAI-AdsBot είναι ο ανιχνευτής στον οποίο πρέπει να δίνουν προτεραιότητα οι διαφημιζόμενοι για την ετοιμότητα των διαφημίσεων.
Μπορεί η υποστήριξη να παρακάμψει χειροκίνητα την επικύρωση του ανιχνευτή;
Μην βασίζεστε σε χειροκίνητη παράκαμψη. Κάντε τη σελίδα προορισμού ανιχνεύσιμη για το OAI-AdsBot διορθώνοντας αποκλεισμούς σε robots.txt, WAF, CDN, μετριασμό bot, έλεγχο ταυτότητας και όρια ρυθμού. Οι διαφημίσεις μπορεί να χρειαστεί να μεταφορτωθούν ξανά ή να υποβληθούν εκ νέου για έλεγχο αφού η σελίδα προορισμού γίνει προσβάσιμη.
Τι πρέπει να ελέγξει πρώτα η ομάδα μηχανικών μου;
Ελέγξτε αν η σελίδα προορισμού επιστρέφει επιτυχή απόκριση HTTP στο OAI-AdsBot, αν το robots.txt επιτρέπει τη σχετική διαδρομή και αν κανόνες WAF, CDN, μετριασμού bot, JavaScript challenges, CAPTCHA, ελέγχου ταυτότητας ή γεωγραφικοί κανόνες αποκλείουν την αυτοματοποιημένη πρόσβαση.
Υποστηρίζονται ως σελίδες προορισμού οι σύνδεσμοι app store, οι deep links ή οι προορισμοί εκτός ιστού;
Χρησιμοποιείτε μια άμεσα προσβάσιμη σελίδα προορισμού ιστού όποτε είναι δυνατόν. Οι σύνδεσμοι app store, οι deep links, τα έγγραφα ή οι προορισμοί που απαιτούν εφαρμογή, σύνδεση, πρόσβαση ανά περιοχή ή μη υποστηριζόμενες ανακατευθύνσεις ενδέχεται να μην παρέχουν αρκετό ανιχνεύσιμο περιεχόμενο για επικύρωση ή έλεγχο.
Πότε πρέπει να μεταφορτώσω ξανά ή να ζητήσω εκ νέου έλεγχο;
Αφού διορθώσετε την πρόσβαση του ανιχνευτή, μεταφορτώστε ξανά ή υποβάλετε εκ νέου τις επηρεαζόμενες διαφημίσεις, αν η κατάσταση δεν ενημερωθεί από μόνη της. Για μαζικά μεταφορτωμένες διαφημίσεις, οι μικρότερες παρτίδες μπορούν να μειώσουν την ενεργοποίηση ορίων ρυθμού ή προστασίας από bot όσο η ομάδα σας επαληθεύει τη διόρθωση.