OpenAI
Ang page na ito ay isinalin ng AI. Tingnan ang orihinal na artikulo sa English.

Pagkontrol sa haba ng mga tugon ng modelo ng OpenAI

Alamin kung paano magtakda ng mga limitasyon sa output para sa mga modelo ng OpenAI gamit ang mga setting ng token, malinaw na prompt, mga halimbawa, at stop sequence.

Na-update: 14 days ago

Pangkalahatang-ideya

Kapaki-pakinabang ang pagkontrol sa haba ng tugon ng modelo sa ilang dahilan: nakakatulong itong pamahalaan ang gastos (dahil nagbabayad ka kada token), pinapahusay ang latency/pagganap (mas mabilis maibabalik ang mas maiikling tugon), at tinitiyak ang kaugnayan sa pamamagitan ng pag-iwas sa sobrang hahaba o madadaldal na output.

Magagawa mo ito gamit ang mga cap sa token, mga setting ng pangangatwiran at verbosity, malinaw na tagubilin, mga halimbawa, at stop sequence. Para sa pinakabago at pinakakumpletong detalye, palaging sumangguni sa opisyal na API reference sa platform.openai.com.

Magtakda ng maximum na haba ng output

Responses API

Ginagamit para sa mga modelo ng GPT-5 at karamihan ng mga modelo ng o-series: gamitin ang max_output_tokens para limitahan ang bilang ng mga token na bubuuin ng modelo. Para sa mga kahilingang compaction_trigger, huwag isama ang max_output_tokens o itakda ito sa hindi bababa sa 20000; tinatanggihan ang mas maliliit na value. Hindi sinusuportahan ng Responses API ang maraming completion (n).

chat completions API

Ginagamit para sa legacy GPT-3.5, GPT-4o, at minsan ay o-series.

  • Para sa mga nangangatwirang modelo gaya ng o3 at o4-mini, gamitin ang max_completion_tokens (alias ng max_tokens)

  • Para sa mas nauna/hindi nangangatwirang mga modelo, gumagana pa rin ang max_tokens

  • Sinusuportahan ang stop at n (maraming completion).

Tandaan: Walang setting na “minimum tokens”. Kung kailangan mo ng minimum na haba, tukuyin ito sa iyong prompt.

Mga limitasyon sa token ayon sa pangkat ng modelo

Para sa pinakabagong mga limitasyon sa token, laki ng konteksto, at cap sa output, sumangguni sa dokumentasyon ng partikular na modelo.

Mabilisang halimbawa

Responses API

{ "model": "gpt-5", "input": "Ibuod ang mga natuklasan sa humigit-kumulang 80 salita.", "max_output_tokens": 120 }

Chat Completions (nangangatwirang modelo)

{ "model": "o3-mini", "messages": [{"role": "user", "content": "Write five one-line options."}], "max_completion_tokens": 100 }

Mga kontrol na partikular sa mga modelo ng GPT-5: verbosity at reasoning.effort

Ang mga kontrol na ito ay available lang sa mga modelo ng GPT-5 (gpt-5.2, gpt-5.2-chat-latest, gpt-5.2 pro, atbp.). Hindi sinusuportahan ng mga modelo ng O-series at legacy ang mga ito.

Tumatanggap ang `verbosity` ng "low", "medium" (default), o "high". Naaapektuhan nito ang antas ng detalye, pero hindi ang mahihigpit na limitasyon.

{ "model": "gpt-5", "input": "Ipaliwanag ang PageRank sa mataas na antas.", "text": { "verbosity": "low" }, "max_output_tokens": 200 }

Kinokontrol ng `reasoning.effort` kung ilang token ng pangangatwiran ang bubuuin bago magbigay ng sagot. Sinusuportahan ng GPT-5.2 ang none,low, medium, high,and xhigh. Sinusuportahan lang ng gpt-5.2-pro ang medium, high,and xhigh. Sinusuportahan lang ng mga naunang nangangatwirang modelo ang low, medium, at high.

{ "model": "gpt-5", "input": "Gaano karaming ginto ang kakailanganin para mabalutan ang Statue of Liberty ng 1mm na patong?", "reasoning": { "effort": "minimal" } }

Maaari mong i-set ang `reasoning.effort` sa none para kumilos ang modelo na parang hindi nangangatwirang modelo para sa mga use case na sensitibo sa latency.

Magbigay ng mga tiyak na tagubilin

Hingin ang eksaktong haba o anyong gusto mo. Mga halimbawa:

  • “Maglista ng eksaktong lima na opsyon.”

  • “Sumulat ng buod na 50 salita.”

  • “Hindi lalampas sa 100 token. Kung kailangan mo ng higit pa, sabihin ang ‘Kailangan ng mas maraming espasyo.’”

Gumamit ng mga halimbawang pare-pareho ang haba

Tinutulungan ng mga few-shot na halimbawang tumutugma sa gusto mong haba ang modelo na ipagpatuloy ang pattern.

Gumamit ng strategic stop sequence

Gamitin ang stop para ihinto ang pagbuo kapag umabot ang modelo sa isang delimiter o hangganan ng may numerong listahan.

{ "stop": ["
###", "6."] }

Maraming kandidato

  • Chat Completions: nagbabalik ang n ng maraming completion sa isang call.

  • Responses API: hindi sinusuportahan ang n; gumawa ng maraming call kung kailangan mo ng higit sa isang output.

Nakatulong ba ang artikulong ito?