Introducció als límits de peticions
Els límits de peticions són restriccions que la nostra API imposa al nombre de vegades que un usuari o client pot accedir als nostres serveis dins d'un període de temps especificat.
Els límits de peticions poden estar quantitzats, és a dir, s'apliquen en períodes de temps més curts (p. ex., 60.000 peticions/minut es poden aplicar com a 1.000 peticions/segon). Enviar ràfegues breus de peticions o contextos (indicacions+max_completion_tokens) massa llargs pot provocar errors de límit de peticions, fins i tot si tècnicament esteu per sota del límit de peticions per minut.
Bones pràctiques per evitar errors de límit de peticions
Org predeterminada
Si pertanyeu a diverses organitzacions amb diferents plans de facturació i nivells d'ús, assegureu-vos que la vostra organització predeterminada estigui configurada com l'organització adequada per controlar quina organització s'utilitza per defecte quan feu peticions amb les vostres claus d'API.
Retrocés exponencial
Incloeu lògica de retrocés exponencial al vostre codi. Això detectarà les peticions fallides i les tornarà a provar.
Límits de segments
Reduïu max_completion_tokens perquè coincideixi amb la mida de les vostres complecions. Les necessitats d'ús s'estimen a partir d'aquest valor, de manera que reduir-lo disminuirà la probabilitat que rebeu inesperadament un error de límit de peticions. Per exemple, si la vostra indicació genera complecions d'uns 400 segments, el valor de max_tokens hauria de tenir aproximadament la mateixa mida.
Optimitzeu les vostres indicacions. Podeu fer-ho escurçant les instruccions, eliminant paraules sobreres i suprimint exemples addicionals. Potser haureu de treballar la indicació i provar-la després d'aquests canvis per assegurar-vos que continua funcionant bé. L'avantatge addicional d'una indicació més curta és que redueix el vostre cost. Si necessiteu ajuda, feu-nos-ho saber.
Nivell d'ús
Si heu implementat aquestes bones pràctiques però encara teniu errors de límit de peticions, podeu augmentar els límits de peticions augmentant el vostre nivell d'ús. Podeu consultar els vostres límits de peticions actuals, el nivell d'ús actual i com apujar el vostre nivell d'ús/límits a la secció Límits de la configuració del compte.
Per saber-ne més
Reviseu la nostra documentació completa sobre nivells d'ús i límits de peticions aquí.