Khaladaadka xaddidaadda heerka ('Codsiyo Aad u Badan', ‘Xaddidaadda heerka waa la gaaray’) waxaa sababa marka la gaaro xaddidaadda heerka ee ururkaaga, taas oo ah tirada ugu badan ee codsiyada iyo token-yada la gudbin karo daqiiqad kasta. Haddii xadka la gaaro, ururku si guul leh uma gudbin karo codsiyo ilaa xaddidaadda heerka dib loo dejiyo. Fariinta khaladku waxay u egtahay sidan:
Xadka rate-ka ayaa la gaaray ee gpt-3.5-turbo gudaha ururka org-exampleorgid123 ee tokens daqiiqaddii.
Xad: 10000.000000 / min. Hadda: 10020.000000 / min. Waxaan ku talinaynaa in khaladaadkan lagu maareeyo dib-u-dhigid jibbaaran. Dib-u-dhigidda jibbaaran waxay ka dhigan tahay in muddo gaaban la sugo marka khalad xaddidaadda heerka ah la kulmo, ka dibna mar kale la isku dayo codsigii aan guulaysan. Haddii codsigu weli guulaysan waayo, muddada sugitaanka waa la kordhiyaa, habkana waa lagu celiyaa. Tani way socotaa ilaa codsigu guulaysto ama ilaa la gaaro tirada ugu badan ee isku-dayada dib-u-celinta.
Maadaama codsiyada aan guulaysan ay ku darsamaan xadkaaga daqiiqad kasta, in codsi si joogto ah dib loogu diro ma shaqayn doonto. Xaddidaadaha heerka waxaa lagu dabaqi karaa muddooyin ka gaaban - tusaale ahaan, 1 codsi ilbiriqsigiiba xad 60 RPM ah - taas oo ka dhigan in qaraxyo gaaban oo codsiyo badan ah ay sidoo kale keeni karaan khaladaadka xaddidaadda heerka. Dib-u-dhigidda jibbaaran si fiican ayay u shaqaysaa iyadoo codsiyada la kala fogeeyo si loo yareeyo inta jeer ee khaladaadkani dhacaan.
Python dhexdiisa, xal dib-u-dhigid jibbaaran ah wuxuu u ekaan karaa sidan:
from openai import OpenAI, RateLimitError
import backoff
client = OpenAI()
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = client.completions.create(**kwargs)
return response(Fadlan ogow: maktabadda backoff waa qalab dhinac saddexaad ah. Waxaan ku dhiirrigelinaynaa dhammaan macaamiisheena inay sameeyaan baaritaankooda taxaddarka leh marka ay ansixinayaan koodh kasta oo dibadda ah oo loogu talagalay mashaariicdooda.)
Haddii hirgelinta dib-u-dhigidda jibbaaran ay weli keento khaladkan, waxaa laga yaabaa inaad u baahato inaad kordhiso heerkaaga isticmaalka. Waxaad ka arki kartaa xaddidaadahaaga heerka ee hadda iyo sida loo kordhiyo heerkaaga kalsoonida si aad u kordhiso xaddidaadahaaga heerka, gudaha qaybta xuduudaha ee dejimaha akoonkaaga.