Pambuka babagan watesan laju
Watesan laju yaiku pepalang sing ditrapake API kita marang ping pira pangguna utawa klien bisa ngakses layanan kita sajrone wektu tartamtu.
Watesan laju bisa dikuantisasi, tegesé ditrapake ing jangka wektu sing luwih cendhak (ump. 60.000 panjaluk/menit bisa ditrapake dadi 1.000 panjaluk/detik). Ngirim rentetan panjaluk cekak utawa konteks (prompts+max_completion_tokens) sing dawa banget bisa nyebabake error watesan laju, sanajan sacara teknis panjenengan isih ing sangisore watesan laju saben menit.
Praktik paling apik kanggo nyegah error watesan laju
Org gawan
Yen panjenengan kalebu ing pirang-pirang org kanthi rencana tagihan lan tingkat panggunaan sing beda, pesthekake organisasi gawan panjenengan disetel menyang org sing trep kanggo ngontrol organisasi endi sing digunakake kanthi gawan nalika nggawe panjaluk nganggo kunci API panjenengan.
Backoff eksponensial
Lebokna logika backoff eksponensial ing kode panjenengan. Iki bakal ndeteksi lan nyoba maneh panjaluk sing gagal.
Watesan token
Kurangna max_completion_tokens supaya cocog karo ukuran completion panjenengan. Kabutuhan panggunaan dikira saka nilai iki, mula yen dikurangi bakal nyuda kemungkinan panjenengan nampa error watesan laju tanpa dinyana. Contone, yen prompt panjenengan nggawe completion watara 400 token, nilai max_tokens kudune watara ukuran sing padha.
Optimalna prompt panjenengan. Panjenengan bisa nindakake iki kanthi nyepetake instruksi, mbusak tembung sing ora perlu, lan ngilangi conto tambahan. Panjenengan bisa uga perlu ngolah prompt lan nguji sawise owah-owahan iki kanggo mesthekake isih mlaku kanthi apik. Manfaat tambahan saka prompt sing luwih cekak yaiku biaya kanggo panjenengan luwih murah. Yen butuh pitulungan, kabari kita.
Tingkat panggunaan
Yen panjenengan wis ngetrapake praktik paling apik iki nanging isih nemoni error watesan laju, panjenengan bisa nambah watesan laju kanthi nambah tingkat panggunaan. Panjenengan bisa ndeleng watesan laju saiki, tingkat panggunaan saiki, lan cara ngunggahake tingkat/watesan panggunaan ing bagean Limits ing setelan akun panjenengan.
Wacan luwih lanjut
Tinjaua dokumentasi lengkap kita babagan tingkat panggunaan lan watesan laju ing kene.