OpenAI ವೆಬ್ ಕ್ರಾಲರ್ಗಳನ್ನು ಏಕೆ ಬಳಸುತ್ತದೆ?
ChatGPT ನಲ್ಲಿ ಜಾಹೀರಾತುಗಳಾಗಿ ಸಲ್ಲಿಸಲಾದ ವೆಬ್ ಪುಟಗಳ ಸುರಕ್ಷತೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ನಾವು ಕ್ರಾಲರ್ಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ನೀವು ಜಾಹೀರಾತನ್ನು ಸಲ್ಲಿಸಿದಾಗ, ಅದು ನಮ್ಮ ನೀತಿಗಳಿಗೆ ಅನುಗುಣವಾಗಿದೆಯೇ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು OpenAI ಲ್ಯಾಂಡಿಂಗ್ ಪುಟಕ್ಕೆ ಭೇಟಿ ನೀಡಬಹುದು. ಬಳಕೆದಾರರಿಗೆ ಜಾಹೀರಾತನ್ನು ಯಾವಾಗ ತೋರಿಸುವುದು ಹೆಚ್ಚು ಸೂಕ್ತವೆಂದು ನಿರ್ಧರಿಸಲು ನಾವು ಲ್ಯಾಂಡಿಂಗ್ ಪುಟದ ವಿಷಯವನ್ನೂ ಬಳಸಬಹುದು.
ಯಾವ OpenAI ಕ್ರಾಲರ್ಗಳಿಗೆ ನೀವು ಅನುಮತಿಸಬೇಕು?
ನೀವು OAI-AdsBot ಅನ್ನು ಅನುಮತಿಸಬೇಕು. OAI-AdsBot ಮತ್ತು OAI-SearchBot ಎರಡನ್ನೂ ಅನುಮತಿಸುವಂತೆ ನಾವು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ.
OpenAI ಕ್ರಾಲರ್ಗಳು ನನ್ನ ವೆಬ್ಸೈಟ್ ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡಲು ವಿಫಲವಾಗುತ್ತಿವೆ. ನಾನು ಏನು ಮಾಡಬೇಕು?
ಒಂದು ಕ್ರಾಲರ್ ವೆಬ್ಪುಟವನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಪ್ರವೇಶಿಸುವ ಮೊದಲು ಹೆಚ್ಚಿನ ವೆಬ್ಸೈಟ್ಗಳಲ್ಲಿ ರಕ್ಷಣೆಯ ಹಲವು ಪದರಗಳಿರುತ್ತವೆ. OpenAI ಕ್ರಾಲರ್ಗಳು ಕೆಳಗಿನ ಪ್ರತಿಯೊಂದು ಪದರವನ್ನು ದಾಟಬಹುದೇ ಎಂದು ಪರಿಶೀಲಿಸಲು ನಿಮ್ಮ ಎಂಜಿನಿಯರಿಂಗ್ ಅಥವಾ ಭದ್ರತಾ ತಂಡದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಿ.
1. robots.txt
ನಿಮ್ಮ ವೆಬ್ಸೈಟ್ನ ಕೆಲವು ಭಾಗಗಳನ್ನು ಪ್ರವೇಶಿಸಲು ಕ್ರಾಲರ್ಗಳಿಗೆ ಅನುಮತಿ ಇದೆಯೇ ಎಂಬುದನ್ನು robots.txt ಫೈಲ್ ತಿಳಿಸುತ್ತದೆ. OpenAI ಕ್ರಾಲರ್ಗಳು ಈ ನಿಯಮಗಳನ್ನು ಪಾಲಿಸುತ್ತವೆ. robots.txt ನಲ್ಲಿ ಪ್ರವೇಶವನ್ನು ನಿರಾಕರಿಸಿದ್ದರೆ, ಕ್ರಾಲಿಂಗ್ ತಕ್ಷಣವೇ ನಿಲ್ಲುತ್ತದೆ.
ನಿಮ್ಮ robots.txt ಕಾನ್ಫಿಗರೇಶನ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಸಂಬಂಧಿತ ಪುಟಗಳು ಹಾಗೂ ಪಾಥ್ಗಳನ್ನು ಪ್ರವೇಶಿಸಲು OpenAI ಕ್ರಾಲರ್ಗಳಿಗೆ ಸ್ಪಷ್ಟವಾಗಿ ಅನುಮತಿಸಲಾಗಿದೆ ಎಂದು ದೃಢಪಡಿಸಿ. ಉದಾಹರಣೆಗೆ: User-agent: OAI-SearchBot Allow: / User-agent: OAI-AdsBot Allow: /
2. ವೆಬ್ ರಕ್ಷಣೆ ಮತ್ತು ಬಾಟ್ ತಗ್ಗಿಸುವಿಕೆ
DDoS ದಾಳಿಗಳು, ಸ್ಕ್ರೇಪಿಂಗ್ ಮತ್ತು ಅನಧಿಕೃತ ಟ್ರಾಫಿಕ್ನಿಂದ ರಕ್ಷಿಸಿಕೊಳ್ಳಲು ಅನೇಕ ವೆಬ್ಸೈಟ್ಗಳು Cloudflare, Akamai ಅಥವಾ ಇತರ ವೆಬ್ ರಕ್ಷಣಾ ಒದಗಿಸುವವರಂತಹ ಸೇವೆಗಳನ್ನು ಬಳಸುತ್ತವೆ. ಈ ವ್ಯವಸ್ಥೆಗಳು ಕಾನೂನುಬದ್ಧ ಕ್ರಾಲರ್ಗಳನ್ನು ತಪ್ಪಾಗಿ ನಿರ್ಬಂಧಿಸಬಹುದು; ಆಗ ಸಾಮಾನ್ಯವಾಗಿ 403 Forbidden ದೋಷಗಳು ಮರಳುತ್ತವೆ. OpenAI ಕ್ರಾಲರ್ಗಳು ಸ್ವಯಂಚಾಲಿತ ಟ್ರಾಫಿಕ್ ಮಾದರಿಗಳಂತೆ ಕಾಣಬಹುದಾದ್ದರಿಂದ, ಅವುಗಳನ್ನು ನಿರ್ದಿಷ್ಟವಾಗಿ ಅನುಮತಿ ಪಟ್ಟಿಗೆ ಸೇರಿಸದಿದ್ದರೆ ನಿರಾಕರಿಸಬಹುದು.
ನಿಮ್ಮ ವೆಬ್ ರಕ್ಷಣಾ ಅಥವಾ ಫೈರ್ವಾಲ್ ಕಾನ್ಫಿಗರೇಶನ್ ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಸಾಧ್ಯವಾದಲ್ಲಿ, ಆದರ್ಶವಾಗಿ ನಮ್ಮ ಕ್ರಾಲರ್ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳ ಆಧಾರದ ಮೇಲೆ, OpenAI ಕ್ರಾಲರ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಅನುಮತಿ ಪಟ್ಟಿಗೆ ಸೇರಿಸಿ. ತಪ್ಪು ಪಾಸಿಟಿವ್ಗಳನ್ನು ಉಂಟುಮಾಡಬಹುದಾದ ಯಾವುದೇ ಸ್ವಯಂಚಾಲಿತ ಬಾಟ್ ತಗ್ಗಿಸುವಿಕೆ ನಿಯಮಗಳನ್ನು ನಿಮ್ಮ ಎಂಜಿನಿಯರಿಂಗ್ ಅಥವಾ ಮೂಲಸೌಕರ್ಯ ತಂಡವೂ ಪರಿಶೀಲಿಸಬೇಕು.
3. ಮಾನವ ಪರಿಶೀಲನೆ ಮತ್ತು ಆಂಟಿ-ಬಾಟ್ ಲಾಜಿಕ್
CAPTCHAs, JavaScript ಸವಾಲುಗಳು, ವರ್ತನಾ ವಿಶ್ಲೇಷಣೆ ಅಥವಾ ಸೆಷನ್ ಮಾನ್ಯೀಕರಣದಂತಹ, ಭೇಟಿ ನೀಡುವವರು ಮಾನವರೇ ಎಂದು ಪರಿಶೀಲಿಸಲು ಕೆಲವು ವೆಬ್ಸೈಟ್ಗಳು ಹೆಚ್ಚುವರಿ ಅಪ್ಲಿಕೇಶನ್-ಮಟ್ಟದ ತಪಾಸಣೆಗಳನ್ನು ಅಳವಡಿಸುತ್ತವೆ. OpenAI ಕ್ರಾಲರ್ಗಳು ಸ್ವಯಂಚಾಲಿತ ವ್ಯವಸ್ಥೆಗಳಾಗಿರುವುದರಿಂದ, ಕ್ರಾಲರ್ ಹಿಂದಿನ ಪದರಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ದಾಟಿದರೂ ಈ ತಪಾಸಣೆಗಳು ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸಬಹುದು.
ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ನಲ್ಲಿ ಅಳವಡಿಸಿದ ಯಾವುದೇ ಮಾನವ-ಪರಿಶೀಲನೆ ಅಥವಾ ಆಂಟಿ-ಆಟೊಮೇಶನ್ ಲಾಜಿಕ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ ಮತ್ತು ಸೂಕ್ತವಾದಲ್ಲಿ, ಆದರ್ಶವಾಗಿ ನಮ್ಮ ಕ್ರಾಲರ್ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳನ್ನು ಅನುಮತಿ ಪಟ್ಟಿಗೆ ಸೇರಿಸುವ ಮೂಲಕ, OpenAI ಕ್ರಾಲರ್ಗಳಿಗೆ ವಿನಾಯಿತಿ ನೀಡಲಾಗಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಿ.
ಸ್ಥಿರ IP ಶ್ರೇಣಿಗಳ ಕುರಿತು ಟಿಪ್ಪಣಿ
ಟ್ರಾಫಿಕ್ ಅನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಅನುಮತಿ ಪಟ್ಟಿಗೆ ಸೇರಿಸುವ ಮೊದಲು, ಕ್ರಾಲರ್ ಟ್ರಾಫಿಕ್ ಸ್ಥಿರವಾಗಿ, ಸಾರ್ವಜನಿಕವಾಗಿ ದಾಖಲಿಸಲಾದ IP ಶ್ರೇಣಿಗಳಿಂದ ಬರಬೇಕು ಎಂದು ಕೆಲವು ಭದ್ರತಾ ವ್ಯವಸ್ಥೆಗಳು ಅಗತ್ಯಪಡಿಸುತ್ತವೆ. ಕ್ರಾಲರ್ ಮೂಲಸೌಕರ್ಯವು ಕಾಲಕ್ರಮೇಣ ಬದಲಾಗಬಹುದು; ಆದ್ದರಿಂದ ನಿಮ್ಮ ಎಂಜಿನಿಯರಿಂಗ್ ತಂಡವು ಲಾಗ್ಗಳಲ್ಲಿನ ಅಲ್ಪಕಾಲಿಕ IP ಗಮನಿಕೆಗಳ ಮೇಲೆ ಮಾತ್ರ ಅವಲಂಬಿಸಬಾರದು. ಅದರ ಬದಲು, ಬಳಕೆದಾರ-ಏಜೆಂಟ್ ಗುರುತಿಸುವಿಕೆ, ಬೆಂಬಲಿತಲ್ಲಿ ಪರಿಶೀಲಿತ ಬಾಟ್ ಕಾರ್ಯಕ್ರಮಗಳು, ಫೈರ್ವಾಲ್ ಅನುಮತಿ ಪಟ್ಟಿಗಳು, robots.txt ವರ್ತನೆ ಮತ್ತು ಒದಗಿಸುವವರ-ಮಟ್ಟದ ಬಾಟ್ ಪರಿಶೀಲನಾ ವ್ಯವಸ್ಥೆಗಳ ಸಂಯೋಜನೆಯ ಮೂಲಕ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಪರಿಶೀಲಿಸಿ.
ನೀವು ಸ್ಥಿರ IP ಶ್ರೇಣಿಗಳ ಪಟ್ಟಿಯನ್ನು ಅನುಮತಿಸಲೇಬೇಕಾದರೆ, https://openai.com/searchbot.json ಮತ್ತು https://openai.com/adsbot.json ಅನ್ನು ನೋಡಿ.
ದರ ಮಿತಿಯ ಕುರಿತು ಟಿಪ್ಪಣಿ
ದೊಡ್ಡ ಬ್ಯಾಚ್ ಅಪ್ಲೋಡ್ಗಳು ಅಥವಾ ಕ್ರಾಲರ್ ಟ್ರಾಫಿಕ್ನಲ್ಲಿ ಏಕಾಏಕಿ ಏರಿಕೆಗಳು ಕೆಲವೊಮ್ಮೆ ಸ್ವಯಂಚಾಲಿತ ದರ ಮಿತಿ ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಪ್ರಚೋದಿಸಬಹುದು.
ದರ ಮಿತಿ ನಡೆಯುತ್ತಿದೆ ಎಂದು ನಿಮಗೆ ಅನುಮಾನವಿದ್ದರೆ, ಕ್ರಾಲರ್ ಪ್ರವೇಶಿಸಲು ಪ್ರಯತ್ನಿಸಿದ ಸಮಯದ ಸುತ್ತಮುತ್ತ HTTP ಪ್ರತಿಕ್ರಿಯಾ ಕೋಡ್ಗಳನ್ನು, ವಿಶೇಷವಾಗಿ 429 Too Many Requests ಅನ್ನು, ಫೈರ್ವಾಲ್ ಅಥವಾ CDN ಲಾಗ್ಗಳನ್ನು, ಬಾಟ್ ತಗ್ಗಿಸುವಿಕೆ ಘಟನೆಗಳನ್ನು, ವಿನಂತಿ ಥ್ರಾಟ್ಲಿಂಗ್ ನಿಯಮಗಳನ್ನು ಮತ್ತು ಟ್ರಾಫಿಕ್ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಪರಿಶೀಲಿಸಲು ನಿಮ್ಮ ಎಂಜಿನಿಯರಿಂಗ್ ತಂಡವನ್ನು ಕೇಳಿ. ವಿನಂತಿಗಳನ್ನು ಮೂಲಸೌಕರ್ಯ ರಕ್ಷಣೆಗಳು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ನಿಧಾನಗೊಳಿಸುತ್ತಿವೆಯೇ ಅಥವಾ ನಿರ್ಬಂಧಿಸುತ್ತಿವೆಯೇ ಎಂಬುದನ್ನು ಗುರುತಿಸಲು ಇದು ಸಹಾಯ ಮಾಡಬಹುದು.
ಜಾಹೀರಾತುಗಳನ್ನು ದೀರ್ಘ ಅವಧಿಯಲ್ಲಿ ಸಣ್ಣ ಬ್ಯಾಚ್ಗಳಾಗಿ ಅಪ್ಲೋಡ್ ಮಾಡುವುದನ್ನೂ ನೀವು ಪರಿಗಣಿಸಬಹುದು.
Cloudflare ಕುರಿತು ಟಿಪ್ಪಣಿ
OAI-AdsBot ಅನ್ನು Cloudflare ಅಧಿಕೃತವಾಗಿ ಪರಿಶೀಲಿಸಿ ಅನುಮತಿ ಪಟ್ಟಿಗೆ ಸೇರಿಸಿದೆ.
ಕ್ರಾಲರ್ ಮತ್ತು ಲ್ಯಾಂಡಿಂಗ್ ಪುಟದ FAQ
ಜಾಹೀರಾತುಗಳ ವಿಮರ್ಶೆಗೆ ಯಾವ ಕ್ರಾಲರ್ ಅಗತ್ಯವಿದೆ?
ChatGPT ಜಾಹೀರಾತುಗಳ ಲ್ಯಾಂಡಿಂಗ್ ಪುಟ ಮಾನ್ಯೀಕರಣ ಮತ್ತು ವಿಮರ್ಶೆಗೆ OAI-AdsBot ಅಗತ್ಯವಿದೆ. OAI-SearchBot ಅನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗಿದೆ, ಏಕೆಂದರೆ ಇದು ಸಾರ್ವಜನಿಕ ವೆಬ್ ವಿಷಯವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು OpenAI ಗೆ ಸಹಾಯ ಮಾಡಬಹುದು; ಆದರೆ ಜಾಹೀರಾತುಗಳ ಸಿದ್ಧತೆಗೆ ಜಾಹೀರಾತುದಾರರು ಆದ್ಯತೆ ನೀಡಬೇಕಾದ ಕ್ರಾಲರ್ OAI-AdsBot ಆಗಿದೆ.
ಬೆಂಬಲವು ಕ್ರಾಲರ್ ಮಾನ್ಯೀಕರಣವನ್ನು ಕೈಯಾರೆ ಬೈಪಾಸ್ ಮಾಡಬಹುದೇ?
ಕೈಯಾರೆ ಬೈಪಾಸ್ ಮೇಲೆ ಅವಲಂಬಿಸಬೇಡಿ. robots.txt, WAF, CDN, ಬಾಟ್ ತಗ್ಗಿಸುವಿಕೆ, ದೃಢೀಕರಣ ಮತ್ತು ದರ ಮಿತಿ ನಿರ್ಬಂಧಗಳನ್ನು ಸರಿಪಡಿಸುವ ಮೂಲಕ OAI-AdsBot ಗೆ ಲ್ಯಾಂಡಿಂಗ್ ಪುಟವನ್ನು ಕ್ರಾಲ್ ಮಾಡಬಹುದಾಗಿಸಿ. ಲ್ಯಾಂಡಿಂಗ್ ಪುಟ ಪ್ರವೇಶಯೋಗ್ಯವಾದ ನಂತರ, ಜಾಹೀರಾತುಗಳನ್ನು ಮತ್ತೆ ಅಪ್ಲೋಡ್ ಮಾಡಬೇಕಾಗಬಹುದು ಅಥವಾ ವಿಮರ್ಶೆಗೆ ಮತ್ತೆ ಸಲ್ಲಿಸಬೇಕಾಗಬಹುದು.
ನನ್ನ ಎಂಜಿನಿಯರಿಂಗ್ ತಂಡ ಮೊದಲು ಏನು ಪರಿಶೀಲಿಸಬೇಕು?
ಲ್ಯಾಂಡಿಂಗ್ ಪುಟವು OAI-AdsBot ಗೆ ಯಶಸ್ವಿ HTTP ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಮರಳಿಸುತ್ತದೆಯೇ, robots.txt ಸಂಬಂಧಿತ ಪಾಥ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆಯೇ, ಮತ್ತು WAF, CDN, ಬಾಟ್ ತಗ್ಗಿಸುವಿಕೆ, JavaScript ಸವಾಲುಗಳು, CAPTCHAs, ದೃಢೀಕರಣ ಅಥವಾ ಭೌಗೋಳಿಕ ನಿಯಮಗಳು ಸ್ವಯಂಚಾಲಿತ ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಿ.
ಲ್ಯಾಂಡಿಂಗ್ ಪುಟಗಳಾಗಿ ಆಪ್-ಸ್ಟೋರ್ ಲಿಂಕ್ಗಳು, ಡೀಪ್ ಲಿಂಕ್ಗಳು ಅಥವಾ ವೆಬ್ ಅಲ್ಲದ ಗಮ್ಯಸ್ಥಾನಗಳು ಬೆಂಬಲಿತವಾಗಿವೆಯೇ?
ಸಾಧ್ಯವಾದಾಗಲೆಲ್ಲ ನೇರವಾಗಿ ತಲುಪಬಹುದಾದ ವೆಬ್ ಲ್ಯಾಂಡಿಂಗ್ ಪುಟವನ್ನು ಬಳಸಿ. ಆಪ್-ಸ್ಟೋರ್ ಲಿಂಕ್ಗಳು, ಡೀಪ್ ಲಿಂಕ್ಗಳು, ದಸ್ತಾವೇಜುಗಳು, ಅಥವಾ ಆಪ್, ಲಾಗಿನ್, ಪ್ರದೇಶ-ನಿರ್ದಿಷ್ಟ ಪ್ರವೇಶ ಅಥವಾ ಬೆಂಬಲಿಸದ ರೀಡೈರೆಕ್ಟ್ಗಳ ಅಗತ್ಯವಿರುವ ಗಮ್ಯಸ್ಥಾನಗಳು ಮಾನ್ಯೀಕರಣ ಅಥವಾ ವಿಮರ್ಶೆಗೆ ಸಾಕಷ್ಟು ಕ್ರಾಲ್ ಮಾಡಬಹುದಾದ ವಿಷಯವನ್ನು ಒದಗಿಸದಿರಬಹುದು.
ನಾನು ಯಾವಾಗ ಮತ್ತೆ ಅಪ್ಲೋಡ್ ಮಾಡಬೇಕು ಅಥವಾ ಮತ್ತೆ ವಿಮರ್ಶೆ ಕೋರಬೇಕು?
ಕ್ರಾಲರ್ ಪ್ರವೇಶವನ್ನು ಸರಿಪಡಿಸಿದ ನಂತರ, ಸ್ಥಿತಿ ಸ್ವತಃ ನವೀಕರಿಸದಿದ್ದರೆ ಪರಿಣಾಮಿತ ಜಾಹೀರಾತುಗಳನ್ನು ಮತ್ತೆ ಅಪ್ಲೋಡ್ ಮಾಡಿ ಅಥವಾ ಮತ್ತೆ ಸಲ್ಲಿಸಿ. ಬಲ್ಕ್ ಆಗಿ ಅಪ್ಲೋಡ್ ಮಾಡಿದ ಜಾಹೀರಾತುಗಳಿಗಾಗಿ, ನಿಮ್ಮ ತಂಡವು ಸರಿಪಡಿಸುವಿಕೆಯನ್ನು ಪರಿಶೀಲಿಸುವಾಗ ಸಣ್ಣ ಬ್ಯಾಚ್ಗಳು ದರ ಮಿತಿ ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣಾ ಪ್ರಚೋದನೆಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದು.