O Nível de Escala na plataforma de API permite adquirir antecipadamente uma quantidade definida de tokens de entrada e saída por minuto, chamados de unidades de token, para acessar um snapshot dedicado do modelo. Cada unidade de token é adquirida por um período mínimo de 30 dias.
Após a assinatura do formulário de pedido, é possível adicionar ou remover unidades de token pela conta da plataforma de API. Apenas proprietários da organização e usuários autorizados podem visualizar as configurações do Nível de Escala e adquirir unidades de token.
Consulte a página de preços do Nível de Escala para mais detalhes.
Como acessar as configurações do Nível de Escala
Proprietários de organizações podem acessar as configurações ao selecionar o ícone de engrenagem no canto superior direito e, em seguida, Nível de Escala na seção Organização do menu lateral.
A página de configurações permite adicionar capacidade, visualizar o uso de tokens de entrada, planejar capacidade, ver tokens provisionados e revisar compradores autorizados.
Como adquirir mais capacidade
Para adquirir capacidade, clique em Adicionar capacidade no canto superior direito da página de Nível de Escala. Consulte a página principal para ver os limites de TPM por unidade de token.
Depois de selecionar o tipo de token que deseja adquirir, insira a quantidade ou use o controle deslizante para definir o número de tokens. O controle deslizante permite visualizar facilmente as alterações de TPM na seção Resumo conforme a quantidade é ajustada. Também pode ser exibida uma recomendação com base no tráfego dos últimos 30 dias.
Após a seleção, clique em Finalizar compra para confirmar no próximo modal.
Observe que os preços exibidos no resumo refletem as taxas padrão e não incluem descontos negociados no formulário de pedido da organização. Todos os descontos aplicáveis serão refletidos na fatura. As unidades adquiridas permanecem ativas até o início do próximo período de faturamento e, depois disso, são renovadas diariamente.
Como permitir que chamadas usem tokens do Nível de Escala
Ative a opção Nível de Escala nas Configurações do projeto.
Se estiver usando a API Completions, consulte também a documentação sobre a chave service_tier para decidir entre configuração manual ou uso do comportamento padrão.
Na API Responses, o padrão é service_tier=auto. Quando o Nível de Escala está ativado, solicitações que omitirem service_tier ou usarem auto usam o Nível de Escala quando houver capacidade disponível. Solicitações com service_tier=default usam a computação compartilhada (PAYG).
Como visualizar o histórico de compras e tokens expirados
É possível visualizar o histórico de compras do Nível de Escala na página Nível de Escala, ao selecionar um modelo em Tokens provisionados.
Após selecionar um modelo, os tokens expirados e as transações anteriores ficam disponíveis na parte inferior da página.
Como editar a capacidade de tokens
Para editar a capacidade de tokens de um modelo, selecione o modelo na seção Tokens provisionados da página Nível de Escala. Em seguida, localize a compra na seção Ativo e selecione Cancelar ao lado dela para ajustar.
No modal, insira o número de unidades a cancelar ou use o controle deslizante para ajustar o TPM conforme a seleção.
Como visualizar RPM, TPM e o uso do Nível de Escala
É possível visualizar um resumo do uso da API da organização na página Nível de Escala. Todas as datas e horários são exibidos em UTC, e os dados podem ter atraso de até 5 minutos.
Também é possível analisar o uso no Painel de Uso de Atividades, selecionando os modelos do Nível de Escala no menu suspenso. Os dados podem ser visualizados em janelas de 30 dias, 1 dia e 15 minutos. Os dados são organizados para mostrar o volume de uso coberto pelo Nível de Escala em comparação com o volume coberto pelo plano da conta.
Apenas proprietários da organização podem acessar o Painel de uso.
Quando as alterações de capacidade aparecem no Painel de Uso
Pode levar até 24 horas para que as alterações sejam refletidas no Painel de Uso. No entanto, as mudanças entram em vigor quase imediatamente.