Mengapa saya mendapatkan completion yang berbeda di Playground dibandingkan API?

Jika temperature Anda disetel di atas 0, model akan menghasilkan output dengan sedikit unsur acak, jadi wajar jika Anda melihat completion yang berbeda. Saat Anda menginginkan hasil yang konsisten dan dapat diulang, gunakan temperature = 0.

Jika temperature sudah 0 dan hasilnya masih berbeda, berikut penyebab yang paling umum:

Perbedaan prompt

Pastikan promptnya persis sama di kedua lingkungan. Bahkan satu spasi tambahan, baris baru, atau karakter tersembunyi dapat menyebabkan output yang berbeda.

Parameter tidak cocok

Pastikan semua parameter yang relevan sama antara Playground dan permintaan API:

• temperature

• top_p

• max_tokens

• frequency_penalty

• presence_penalty

Pastikan juga nama model-nya identik. Model yang berbeda secara alami akan menghasilkan output yang berbeda, bahkan dengan prompt dan pengaturan yang sama.

Preset Playground vs. default API

Playground mungkin menerapkan pengaturan default tertentu. Di API, jika Anda mengabaikan sebuah parameter, API akan memakai default-nya sendiri, yang mungkin tidak sama dengan perilaku Playground. Untuk memastikan konsistensi, tetapkan semua parameter secara eksplisit dalam permintaan API Anda.

Perbedaan pemformatan atau encoding

Pastikan permintaan yang Anda kirim ke API identik dengan prompt di Playground. Perbedaan dapat terjadi karena:

• escaping JSON

• akhiran baris atau indentasi

• spasi kosong tambahan

Jika Anda sudah memeriksa semua hal ini dan masih melihat perbedaan, minta bantuan di Forum Komunitas, tempat pengguna mungkin pernah mengalami masalah serupa atau dapat membantu menelusuri kasus spesifik Anda.