เกริ่นนำเกี่ยวกับขีดจำกัดอัตรา

ขีดจำกัดอัตราคือข้อจำกัดที่ API ของเรากำหนดต่อจำนวนครั้งที่ผู้ใช้หรือไคลเอนต์สามารถเข้าถึงบริการของเราได้ภายในช่วงเวลาที่ระบุ

ขีดจำกัดอัตราอาจถูกแบ่งเป็นช่วงย่อยได้ หมายความว่าจะมีการบังคับใช้ในช่วงเวลาที่สั้นลง (เช่น 60,000 คำขอต่อนาทีอาจถูกบังคับใช้เป็น 1,000 คำขอต่อวินาที) การส่งคำขอเป็นชุดสั้น ๆ หรือบริบท (คำสั่ง+max_completion_tokens) ที่ยาวเกินไป อาจทำให้เกิดข้อผิดพลาดขีดจำกัดอัตราได้ แม้ในทางเทคนิคแล้วคุณจะยังต่ำกว่าขีดจำกัดอัตราต่อนาทีก็ตาม

แนวทางปฏิบัติที่ดีที่สุดเพื่อป้องกันข้อผิดพลาดขีดจำกัดอัตรา

องค์กรเริ่มต้น

หากคุณสังกัดหลายองค์กรที่มีแผนการเรียกเก็บเงินและระดับการใช้งานต่างกัน โปรดตรวจสอบว่าได้ตั้งค่า องค์กรเริ่มต้น เป็นองค์กรที่เหมาะสม เพื่อควบคุมว่าจะใช้องค์กรใดโดยค่าเริ่มต้นเมื่อส่งคำขอด้วยคีย์ API ของคุณ

Exponential backoff

ใส่ตรรกะ exponential backoff ไว้ในโค้ดของคุณ วิธีนี้จะตรวจจับและลองส่งคำขอที่ล้มเหลวอีกครั้ง

ขีดจำกัด Token

ลดค่า max_completion_tokens ให้สอดคล้องกับขนาดของ completion ของคุณ ความต้องการใช้งานจะถูกประเมินจากค่านี้ ดังนั้นการลดค่านี้จะช่วยลดโอกาสที่คุณจะได้รับข้อผิดพลาดขีดจำกัดอัตราโดยไม่คาดคิด ตัวอย่างเช่น หากคำสั่งของคุณสร้าง completion ประมาณ 400 Token ค่า max_tokens ก็ควรมีขนาดใกล้เคียงกัน

ปรับคำสั่งของคุณให้เหมาะสม คุณทำได้โดยทำให้คำแนะนำสั้นลง ตัดคำที่ไม่จำเป็นออก และลบตัวอย่างส่วนเกิน คุณอาจต้องปรับคำสั่งและทดสอบหลังจากเปลี่ยนแปลงเหล่านี้เพื่อให้แน่ใจว่ายังทำงานได้ดีอยู่ ประโยชน์เพิ่มเติมของคำสั่งที่สั้นลงคือช่วยลดค่าใช้จ่ายของคุณ หากต้องการความช่วยเหลือ โปรดแจ้งให้เราทราบ

ระดับการใช้งาน

หากคุณได้นำแนวทางปฏิบัติที่ดีที่สุดเหล่านี้ไปใช้แล้ว แต่ยังคงพบข้อผิดพลาดขีดจำกัดอัตรา คุณสามารถเพิ่มขีดจำกัดอัตราได้โดยเพิ่มระดับการใช้งานของคุณ คุณสามารถดูขีดจำกัดอัตราปัจจุบัน ระดับการใช้งานปัจจุบัน และวิธีเพิ่มระดับ/ขีดจำกัดการใช้งานของคุณได้ในส่วน Limits ของการตั้งค่าบัญชีของคุณ

อ่านเพิ่มเติม

ดูเอกสารฉบับสมบูรณ์ของเราเกี่ยวกับระดับการใช้งานและขีดจำกัดอัตราได้ที่ นี่