Em 11 de março de 2025, lançamos os componentes básicos da nossa nova plataforma de agentes. Para obter detalhes, consulte nossa documentação da API para a API Responses, ferramentas incluindo Busca na Web, Busca de Arquivos e Uso do Computador, e nosso SDK de agentes com Rastreamento.
Tokens de prompt são os tokens que você insere no modelo. Este é o número de tokens no seu prompt.
Tokens de conclusão são quaisquer tokens que o modelo gera em resposta à sua entrada. Para uma solicitação padrão, este é o número de tokens na conclusão.
A maioria dos modelos que oferecemos tem limites tanto para o número de tokens que podem receber (tokens de prompt) quanto para o número de tokens que podem gerar (tokens de conclusão ou de amostras).
Isso também inclui quaisquer tokens gerados ao usar um valor maior de best_of ou n. Por exemplo, se você estiver gerando 3 conclusões candidatas usando best_of = 3, o número de tokens amostrados será no máximo 3 * max_tokens.
Você pode ler mais sobre como gerenciar tokens em nosso guia de geração de texto.