Em 11 de março de 2025, lançamos os componentes básicos da nossa nova plataforma de agentes. Para obter detalhes, consulte nossa documentação da API para a API Responses, ferramentas incluindo Busca na Web, Busca de Arquivos e Uso do Computador, e nosso SDK de agentes com Rastreamento.
Tokens de prompt são os tokens que você insere no modelo. Este é o número de tokens no seu prompt.
Tokens de conclusão são todos os tokens que o modelo gera em resposta à sua entrada. Em uma solicitação padrão, este é o número de tokens na conclusão.
A maioria dos modelos que oferecemos tem limites tanto para o número de tokens que pode receber (tokens de prompt) quanto para o número de tokens que pode gerar (tokens de conclusão ou de amostra).
Isso também inclui todos os tokens gerados ao usar um valor mais alto de best_of ou n. Por exemplo, se você estiver gerando três conclusões candidatas usando best_of = 3, o número de tokens amostrados será, no máximo, 3 * max_tokens.
Saiba mais sobre como gerenciar tokens em nosso guia de geração de texto.