ข้อมูลเบื้องต้นเกี่ยวกับลิมิตการใช้งาน

ลิมิตการใช้งานคือข้อจำกัดที่ API ของเรากำหนดต่อจำนวนครั้งที่ผู้ใช้หรือไคลเอนต์สามารถเข้าถึงบริการของเราได้ภายในช่วงเวลาที่ระบุ

ลิมิตการใช้งานอาจถูกแบ่งเป็นหน่วยย่อยได้ หมายความว่าจะบังคับใช้ในช่วงเวลาที่สั้นลง (เช่น 60,000 คำขอ/นาที อาจถูกบังคับใช้เป็น 1,000 คำขอ/วินาที) การส่งคำขอแบบเป็นชุดสั้นๆ หรือบริบท (คำสั่ง+max_completion_tokens) ที่ยาวเกินไป อาจทำให้เกิดข้อผิดพลาดเกี่ยวกับลิมิตการใช้งานได้ แม้ในทางเทคนิคแล้วคุณจะยังต่ำกว่าลิมิตการใช้งานต่อนาทีก็ตาม

แนวทางปฏิบัติที่ดีที่สุดในการป้องกันข้อผิดพลาดเกี่ยวกับลิมิตการใช้งาน

องค์กรเริ่มต้น

หากคุณอยู่ในหลายองค์กรที่มีแผนการเรียกเก็บเงินและระดับการใช้งานต่างกัน โปรดตรวจสอบว่าองค์กรเริ่มต้นของคุณถูกตั้งเป็นองค์กรที่เหมาะสม เพื่อควบคุมว่าจะใช้องค์กรใดเป็นค่าเริ่มต้นเมื่อส่งคำขอด้วยคีย์ API ของคุณ

Exponential backoff

ใส่ตรรกะexponential backoffในโค้ดของคุณ วิธีนี้จะตรวจจับและลองส่งคำขอที่ล้มเหลวอีกครั้ง

ขีดจำกัด Token

ลดค่า max_completion_tokens ให้ตรงกับขนาดของ completions ของคุณ ระบบจะประเมินความต้องการใช้งานจากค่านี้ ดังนั้นการลดค่านี้จะลดโอกาสที่คุณจะได้รับข้อผิดพลาดเกี่ยวกับลิมิตการใช้งานโดยไม่คาดคิด ตัวอย่างเช่น หากคำสั่งของคุณสร้าง completions ประมาณ 400 Token ค่า max_tokens ก็ควรมีขนาดใกล้เคียงกัน


ปรับคำสั่งของคุณให้เหมาะสม คุณทำได้โดยทำให้คำแนะนำของคุณสั้นลง ลบคำที่ไม่จำเป็น และตัดตัวอย่างส่วนเกินออก คุณอาจต้องปรับคำสั่งและทดสอบหลังจากเปลี่ยนแปลงแล้ว เพื่อให้แน่ใจว่ายังคงทำงานได้ดี ประโยชน์เพิ่มเติมของคำสั่งที่สั้นลงคือค่าใช้จ่ายของคุณจะลดลง หากต้องการความช่วยเหลือ โปรดแจ้งให้เราทราบ

ระดับการใช้งาน

หากคุณนำแนวทางปฏิบัติที่ดีที่สุดเหล่านี้ไปใช้แล้ว แต่ยังพบข้อผิดพลาดเกี่ยวกับลิมิตการใช้งาน คุณสามารถเพิ่มลิมิตการใช้งานได้โดยเพิ่มระดับการใช้งานของคุณ คุณสามารถดูทั้งลิมิตการใช้งานปัจจุบัน ระดับการใช้งานปัจจุบัน และวิธีเพิ่มระดับ/ลิมิตการใช้งานได้ในส่วน Limitsของการตั้งค่าบัญชี

อ่านเพิ่มเติม

ดูเอกสารฉบับสมบูรณ์ของเราเกี่ยวกับระดับการใช้งานและลิมิตการใช้งานได้ที่นี่