Gabimet e kufirit të normës (“Shumë kërkesa”, “Kufiri i normës u arrit”) shkaktohen nga arritja e kufirit të normës të organizatës suaj, që është numri maksimal i kërkesave dhe tokenëve që mund të dërgohen në minutë. Nëse arrihet kufiri, organizata nuk mund të dërgojë me sukses kërkesa derisa kufiri i normës të rivendoset. Mesazhi i gabimit duket kështu:
U arrit kufiri i shpejtësisë për gpt-3.5-turbo në organizatën org-exampleorgid123 për token për minutë.
Kufiri: 10000.000000 / min. Aktual: 10020.000000 / min. Rekomandojmë t’i trajtoni këto gabime duke përdorur backoff eksponencial. Backoff eksponencial do të thotë të bësh një pauzë të shkurtër kur haset një gabim i kufirit të normës, pastaj të riprovosh kërkesën e pasuksesshme. Nëse kërkesa është ende e pasuksesshme, kohëzgjatja e pauzës rritet dhe procesi përsëritet. Kjo vazhdon derisa kërkesa të jetë e suksesshme ose derisa të arrihet një numër maksimal riprovimesh.
Meqë kërkesat e pasuksesshme kontribuojnë në kufirin tuaj për minutë, ridërgimi i vazhdueshëm i një kërkese nuk do të funksionojë. Kufijtë e normës mund të zbatohen në periudha më të shkurtra - për shembull, 1 kërkesë në sekondë për një kufi prej 60 RPM - që do të thotë se shpërthimet e shkurtra me volum të lartë kërkesash mund të çojnë gjithashtu në gabime të kufirit të normës. Backoff eksponencial funksionon mirë duke i shpërndarë kërkesat në kohë për të minimizuar shpeshtësinë e këtyre gabimeve.
Në Python, një zgjidhje me backoff eksponencial mund të duket kështu:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Ju lutemi vini re: Biblioteka backoff është një mjet i palës së tretë. Ne i inkurajojmë të gjithë klientët tanë të bëjnë verifikimet e tyre të kujdesshme kur bëhet fjalë për validimin e çdo kodi të jashtëm për projektet e tyre.)
Nëse zbatimi i backoff eksponencial ende rezulton në këtë gabim, mund t’ju duhet të rritni nivelin tuaj të përdorimit. Mund të shihni kufijtë tuaj aktualë të normës dhe si të rritni nivelin tuaj të besimit për të rritur kufijtë tuaj të normës në seksionin e kufijve te cilësimet e llogarisë suaj.