如果你的 temperature 設定高於 0,模型會產生帶有一定隨機性的輸出,因此出現不同補全結果是預期中的情況。如果你想要一致、可重複的結果,請使用 temperature = 0。
如果 temperature 已經是 0,但結果仍然不同,以下是最常見的原因:
---
提示詞差異
檢查兩個環境中的提示詞是否完全相同。即使只是多一個空格、換行或隱藏字元,也可能造成不同的輸出。
---
參數不一致
確保 Playground 和 API 請求之間的所有相關參數都一致:
temperaturetop_pmax_tokensfrequency_penaltypresence_penalty
也請確認模型名稱完全相同。即使提示詞和設定相同,不同模型自然也會產生不同的輸出。
---
Playground 預設集與 API 預設值
Playground 可能會套用某些預設設定。在 API 中,如果你省略某個參數,系統會使用自己的預設值,而這可能與 Playground 的行為不一致。為確保一致性,請在 API 請求中明確設定所有參數。
---
格式或編碼差異
確保你傳送至 API 的請求與 Playground 中的提示詞完全相同。差異可能來自:
JSON 逸出
換行字元或縮排
額外空白
如果你已反覆檢查所有這些項目,但仍看到差異,請到社群論壇尋求協助;那裡的使用者可能遇過類似問題,或能協助排查你的特定情況。
