ข้อผิดพลาดลิมิตการใช้งาน ('คำขอมากเกินไป', ‘ถึงลิมิตการใช้งานแล้ว’) เกิดจากการถึงลิมิตการใช้งานขององค์กรคุณ ซึ่งเป็นจำนวนสูงสุดของคำขอและ Token ที่ส่งได้ต่อนาที หากถึงลิมิตแล้ว องค์กรจะไม่สามารถส่งคำขอได้สำเร็จจนกว่าลิมิตการใช้งานจะรีเซ็ต ข้อความผิดพลาดมีลักษณะดังนี้:
ถึงขีดจำกัดอัตราสำหรับ gpt-3.5-turbo ในองค์กร org-exampleorgid123 สำหรับจำนวน Token ต่อนาที
ขีดจำกัด: 10000.000000 / นาที ปัจจุบัน: 10020.000000 / นาที เราแนะนำให้จัดการข้อผิดพลาดเหล่านี้ด้วย exponential backoff Exponential backoff คือการหน่วงเวลาสั้นๆ เมื่อเกิดข้อผิดพลาดลิมิตการใช้งาน แล้วลองส่งคำขอที่ไม่สำเร็จอีกครั้ง หากคำขอยังไม่สำเร็จ จะเพิ่มระยะเวลาหน่วงและทำซ้ำกระบวนการเดิม จะทำเช่นนี้ต่อไปจนกว่าคำขอจะสำเร็จ หรือจนกว่าจะถึงจำนวนครั้งลองใหม่สูงสุด
เนื่องจากคำขอที่ไม่สำเร็จก็นับรวมในลิมิตต่อนาทีของคุณ การส่งคำขอเดิมซ้ำๆ ต่อเนื่องจึงใช้ไม่ได้ผล ลิมิตการใช้งานอาจถูกใช้กับช่วงเวลาที่สั้นกว่าได้ เช่น 1 คำขอต่อวินาทีสำหรับลิมิต 60 RPM ซึ่งหมายความว่าการส่งคำขอจำนวนมากในช่วงสั้นๆ ก็อาจทำให้เกิดข้อผิดพลาดลิมิตการใช้งานได้เช่นกัน Exponential backoff ทำงานได้ดีโดยเว้นช่วงระหว่างคำขอเพื่อลดความถี่ของข้อผิดพลาดเหล่านี้
ใน Python วิธีทำ exponential backoff อาจมีลักษณะดังนี้:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(โปรดทราบ: ไลบรารี backoff เป็นเครื่องมือจากบุคคลที่สาม เราแนะนำให้ลูกค้าทุกท่านตรวจสอบอย่างรอบคอบเมื่อประเมินโค้ดภายนอกสำหรับโปรเจกต์ของตน)
หากใช้ exponential backoff แล้วยังพบข้อผิดพลาดนี้ คุณอาจต้องเพิ่มระดับการใช้งานของคุณ คุณดูได้ทั้งลิมิตการใช้งานปัจจุบันของคุณและวิธีเพิ่ม trust tier เพื่อเพิ่มลิมิตการใช้งานได้ในส่วนลิมิตของการตั้งค่าบัญชี