Γιατί η OpenAI χρησιμοποιεί ανιχνευτές ιστού;
Χρησιμοποιούμε ανιχνευτές για να επαληθεύουμε την ασφάλεια των ιστοσελίδων που υποβάλλονται ως διαφημίσεις στο ChatGPT. Όταν υποβάλλετε μια διαφήμιση, η OpenAI μπορεί να επισκεφθεί τη σελίδα προορισμού για να διασφαλίσει ότι συμμορφώνεται με τις πολιτικές μας. Μπορεί επίσης να χρησιμοποιήσουμε περιεχόμενο από τη σελίδα προορισμού για να καθορίσουμε πότε είναι πιο σχετικό να εμφανιστεί η διαφήμιση στους χρήστες.
Ποιους ανιχνευτές της OpenAI πρέπει να επιτρέψετε;
Πρέπει να επιτρέψετε το OAI-AdsBot. Συνιστούμε να επιτρέπετε τόσο το OAI-AdsBot όσο και το OAI-SearchBot
Οι ανιχνευτές της OpenAI δεν μπορούν να ανιχνεύσουν τον ιστότοπό μου. Τι πρέπει να κάνω;
Οι περισσότεροι ιστότοποι έχουν πολλαπλά επίπεδα προστασίας πριν ένας ανιχνευτής μπορέσει να αποκτήσει επιτυχώς πρόσβαση σε μια ιστοσελίδα. Συνιστούμε να συνεργαστείτε με την ομάδα μηχανικών/ασφάλειάς σας για να επιβεβαιώσετε ότι οι ανιχνευτές της OpenAI μπορούν να περάσουν από καθένα από τα ακόλουθα επίπεδα:
1. robots.txt
Επισκόπηση: Το αρχείο robots.txt ενημερώνει τους ανιχνευτές αν επιτρέπεται να έχουν πρόσβαση σε ορισμένα μέρη του ιστότοπού σας. Οι ανιχνευτές της OpenAI σέβονται αυτούς τους κανόνες. Αν η πρόσβαση δεν επιτρέπεται στο robots.txt, η ανίχνευση θα σταματήσει αμέσως.
Σύσταση: Ελέγξτε τη ρύθμιση του robots.txt και επιβεβαιώστε ότι επιτρέπεται ρητά στους ανιχνευτές της OpenAI η πρόσβαση στις σχετικές σελίδες και διαδρομές.
User-agent: OAI-SearchBot
Allow: /
User-agent: OAI-AdsBot
Allow: /
2. Προστασία Ιστού / Μετριασμός Bot
Επισκόπηση: Πολλοί ιστότοποι χρησιμοποιούν υπηρεσίες όπως το Cloudflare, το Akamai ή άλλους παρόχους προστασίας ιστού για άμυνα απέναντι σε επιθέσεις DDoS, scraping και μη εξουσιοδοτημένη κίνηση. Αυτά τα συστήματα μπορεί κατά λάθος να αποκλείσουν νόμιμους ανιχνευτές, επιστρέφοντας συχνά σφάλματα 403 Forbidden. Επειδή οι ανιχνευτές της OpenAI μπορεί να μοιάζουν με μοτίβα αυτοματοποιημένης κίνησης, ενδέχεται να απορρίπτονται εκτός αν προστεθούν ρητά σε λίστα επιτρεπόμενων.
Σύσταση: Ελέγξτε τη ρύθμιση της προστασίας ιστού ή του τείχους προστασίας σας και, όπου είναι δυνατό, προσθέστε την κίνηση των ανιχνευτών της OpenAI σε λίστα επιτρεπόμενων, ιδανικά βάσει των user agents των ανιχνευτών μας. Η ομάδα μηχανικών ή υποδομών σας θα πρέπει επίσης να ελέγξει τυχόν αυτοματοποιημένους κανόνες μετριασμού bot που μπορεί να προκαλούν ψευδώς θετικά αποτελέσματα.
3. Επαλήθευση Ανθρώπου / Λογική Anti-Bot
Επισκόπηση: Ορισμένοι ιστότοποι εφαρμόζουν πρόσθετους ελέγχους σε επίπεδο εφαρμογής για να επαληθεύσουν ότι ένας επισκέπτης είναι άνθρωπος (για παράδειγμα: CAPTCHA, προκλήσεις JavaScript, ανάλυση συμπεριφοράς ή επικύρωση συνεδρίας). Επειδή οι ανιχνευτές της OpenAI είναι αυτοματοποιημένα συστήματα, αυτοί οι έλεγχοι μπορεί να μπλοκάρουν την πρόσβαση ακόμη κι αν ο ανιχνευτής περάσει επιτυχώς τα προηγούμενα επίπεδα.
Σύσταση: Ελέγξτε οποιαδήποτε λογική επαλήθευσης ανθρώπου ή κατά της αυτοματοποίησης εφαρμόζεται στην εφαρμογή σας και βεβαιωθείτε ότι οι ανιχνευτές της OpenAI εξαιρούνται όπου ενδείκνυται, ιδανικά με προσθήκη των user agents των ανιχνευτών μας σε λίστα επιτρεπόμενων.
Σημείωση για Σταθερά Εύρη IP
Ορισμένα συστήματα ασφάλειας απαιτούν η κίνηση των ανιχνευτών να προέρχεται από σταθερά, δημόσια τεκμηριωμένα εύρη IP πριν μπορέσει να προστεθεί αξιόπιστα σε λίστα επιτρεπόμενων.
Επειδή η υποδομή των ανιχνευτών μπορεί να εξελίσσεται με την πάροδο του χρόνου, η ομάδα μηχανικών σας θα πρέπει να αποφεύγει να βασίζεται αποκλειστικά σε βραχυπρόθεσμες παρατηρήσεις IP από αρχεία καταγραφής. Αντί γι’ αυτό, συνιστούμε να επαληθεύετε την κίνηση μέσω συνδυασμού των εξής: αναγνώριση user-agent, επαληθευμένα προγράμματα bot (όπου υποστηρίζονται), λίστες επιτρεπόμενων στο τείχος προστασίας, συμπεριφορά robots.txt και συστήματα επαλήθευσης bot σε επίπεδο παρόχου.
Αν πρέπει να επιτρέψετε μια σταθερή λίστα εύρων IP, ανατρέξτε στα εξής:
Σημείωση για το Όριο Ρυθμού
Οι μεγάλες μαζικές μεταφορτώσεις ή οι ξαφνικές αυξήσεις στην κίνηση των ανιχνευτών μπορεί μερικές φορές να ενεργοποιήσουν αυτοματοποιημένα συστήματα ορίου ρυθμού ή προστασίας από bot.
Αν υποψιάζεστε ότι εφαρμόζεται όριο ρυθμού, ζητήστε από την ομάδα μηχανικών σας να ελέγξει τα εξής:
Κωδικούς απόκρισης HTTP (ιδίως 429 Too Many Requests)
Αρχεία καταγραφής τείχους προστασίας ή CDN
Συμβάντα μετριασμού bot
Κανόνες περιορισμού αιτημάτων
Αναλύσεις κίνησης γύρω από τη χρονική στιγμή που ο ανιχνευτής επιχείρησε πρόσβαση
Αυτό μπορεί να βοηθήσει να εντοπιστεί αν τα αιτήματα επιβραδύνονται ή μπλοκάρονται σκόπιμα από τις προστασίες της υποδομής.
Μπορείτε επίσης να εξετάσετε το ενδεχόμενο να ανεβάζετε διαφημίσεις σε μεγαλύτερο χρονικό διάστημα και σε μικρότερες παρτίδες.
Σημείωση για το Cloudflare
Το OAI-AdsBot είναι πλέον επίσημα επαληθευμένο και στη λίστα επιτρεπόμενων του Cloudflare.