O ChatGPT Enterprise agora oferece suporte à leitura e compreensão de elementos visuais (imagens, gráficos, diagramas etc.) incorporados em arquivos PDF incluídos em prompts. Os usuários podem enviar um PDF, e o ChatGPT pode interpretar o texto e quaisquer elementos visuais dentro desse arquivo.
Para detalhes, consulte Perguntas frequentes sobre Recuperação visual com PDFs.
O ChatGPT Enterprise permite carregar arquivos de várias maneiras:
Diretamente do seu computador
Como Conhecimento do GPT
Como Arquivo de Projeto
Por meio de uma Ação do GPT
Este guia explica como os recursos do ChatGPT Enterprise processam arquivos de acordo com o tipo, a quantidade e o tamanho, além de apresentar estratégias para melhorar os resultados com base nos requisitos dos arquivos.
Resumo
O ChatGPT Enterprise trata cada tipo de arquivo de maneira muito diferente: extrai texto de documentos como PDFs, apresentações e arquivos do Word; analisa dados estruturados de planilhas usando código Python; e descreve arquivos de imagem por meio do GPT-Vision. Entender qual fluxo de trabalho é acionado por cada tipo de arquivo é fundamental para obter o resultado esperado.
Para documentos baseados em texto, o ChatGPT Enterprise inclui o máximo possível de texto relevante diretamente junto ao prompt e usa um sistema de busca para acessar informações adicionais. Isso funciona bem para responder a perguntas específicas. No entanto, essa abordagem pode ter dificuldades com tarefas complexas, como resumir documentos muito grandes ou comparar vários arquivos grandes. Continue lendo para conhecer estratégias que podem melhorar seus resultados.
Processamento de arquivos por tipo
O ChatGPT Enterprise processa arquivos de três formas principais: extração de texto, análise de código e interpretação de imagens. O tipo de arquivo determina qual fluxo de trabalho o ChatGPT Enterprise seguirá.
| Recuperação baseada em texto | Code Interpreter | Processamento de imagens | Recuperação visual | |
|---|---|---|---|---|
| Exemplos de tipos de arquivo | pptx, docx, txt, md, json, xml, pdf* * PDFs carregados como Conhecimento do GPT ou Arquivos de Projeto | csv, xls, xlsx* *Observação: o Code Interpreter pode operar com qualquer tipo de arquivo, mas o ChatGPT Enterprise geralmente usa o CI como padrão para planilhas | jpg, png | pdf* * PDFs incluídos nos prompts dos usuários |
| Comportamento | Extrai o texto do arquivo: parte dele é inserida ("recheada") diretamente na janela de contexto, e outra parte é armazenada para busca | O Code Interpreter envia o arquivo ao Python para processamento | As imagens são interpretadas nativamente por modelos multimodais, sujeitas a limitações conhecidas . | Uma combinação de recuperação de texto e processamento de imagens. O texto é extraído digitalmente, e o conteúdo visual é interpretado nativamente por modelos multimodais. |
Para arquivos somente de texto, arquivos de imagem ou arquivos de dados claramente estruturados (por exemplo, uma tabela de transações do Excel), essas divisões representam o melhor comportamento possível.
Há algumas situações menos claras, por exemplo:
Imagens incorporadas em arquivos que não sejam PDFs não são processadas. Para incluí-las, converta o arquivo em PDF antes de carregá-lo.
O ChatGPT Enterprise sempre usará o Code Interpreter para interagir com planilhas, mesmo que o documento contenha muito texto. Por exemplo, se você pedir ao ChatGPT Enterprise para traduzir um arquivo CSV com 10 linhas de texto, ele tentará traduzir o arquivo usando uma biblioteca Python, o que é menos preciso do que permitir que o modelo gere a tradução diretamente. Para minimizar esse problema, tente exportar a planilha para um formato baseado em texto, como PDF.
Da mesma forma, se você carregar uma tabela estruturada de transações contida em um arquivo JSON, o ChatGPT Enterprise interpretará esse arquivo como texto simples. Se quiser analisar os dados de um arquivo JSON, instrua o modelo a usar o Code Interpreter no prompt.
Como lidar com arquivos com base no tamanho
O ChatGPT Enterprise usa modelos com uma janela de contexto máxima de 128 mil tokens (aproximadamente 200 páginas de texto). No entanto, nem todos os tokens são usados para incorporar o texto dos arquivos enviados. O número de tokens “preenchidos” varia de acordo com o tipo de uso.
O ChatGPT Enterprise “preenche” uma certa quantidade de texto, e o texto restante é enviado para um índice de busca privado (um “armazenamento vetorial”, que é um tipo de banco de dados projetado para armazenar e recuperar grandes quantidades de texto com eficiência). Quando você faz uma pergunta, o ChatGPT Enterprise inclui o texto incorporado junto com trechos relevantes recuperados de um índice de busca privado.
Se você enviar um único documento, o ChatGPT Enterprise inclui o texto desde o início até atingir seu limite. Se você enviar vários documentos, o ChatGPT Enterprise inclui parte ou todo o conteúdo de cada documento. Todo o texto dos documentos também é enviado para um índice de busca privado.
Preenchimento de contexto para documentos de texto
Este recurso está em desenvolvimento ativo. Portanto, os detalhes a seguir estão sujeitos a alterações sem aviso prévio.
O ChatGPT Enterprise pode processar até 110 mil tokens de documentos enviados na janela de contexto. Se você enviar um ou mais documentos com um total combinado de menos de 110 mil tokens, o conteúdo completo será incluído.
Para um único documento com mais de 110 mil tokens, apenas os primeiros 110 mil tokens serão incluídos, começando pelo início. O restante será enviado apenas para o índice de busca privado.
Se vários documentos forem enviados e seu total combinado exceder 110 mil tokens, o ChatGPT Enterprise usa um processo em duas etapas para equilibrar a representação dos documentos:
Extraia até 55 mil tokens, divididos igualmente entre os documentos enviados.
Para documentos que não foram totalmente representados na primeira etapa, aloque os 55 mil tokens restantes proporcionalmente com base nos tokens que restam em cada documento.
Quaisquer tokens restantes são enviados apenas para o índice de busca privado.
Você pode estimar o número de tokens em um documento de texto copiando o texto do documento para o Tokenizer da OpenAI.
Preenchimento de contexto para PDFs multimídia
Quando usuários enviam PDFs contendo texto e imagens, a Recuperação visual permite que o ChatGPT processe essas imagens nativamente junto com o texto extraído digitalmente. As etapas a seguir complementam nossos procedimentos padrão de tratamento de contexto para PDFs multimídia:
Extração e embedding de imagens: as imagens são extraídas e convertidas em embeddings junto com seu texto digital associado.
Dimensionamento inteligente: as imagens são dimensionadas automaticamente para manter um equilíbrio entre a qualidade das informações e o uso eficiente da janela de contexto disponível.
Quando os PDFs enviados excedem o limite de 110 mil tokens, tanto as imagens quanto o texto são incorporados ao índice de busca privado. Embeddings de texto fazem referência a imagens relevantes, permitindo que o ChatGPT recupere os pares texto-imagem apropriados com base nas consultas do usuário. As imagens recuperadas são então processadas usando os recursos multimodais nativos do ChatGPT.
Estimar com precisão os requisitos de tokens para PDFs multimídia é desafiador. Testes sugerem que aproximadamente 350 páginas de texto e imagens mistos usarão totalmente a janela de contexto de 110 mil tokens.
Estratégias de busca com base no tipo de modelo
Tanto os modelos da série GPT quanto os da série o aceitam uploads de arquivos e usam a mesma lógica de preenchimento de contexto e embeddings de busca. Todos os modelos executam buscas híbridas em um índice de busca privado, combinando métodos por palavra-chave e semânticos. Em uma busca híbrida, o modelo gera uma frase de busca com base no prompt do usuário, e o índice de busca privado recupera textos e imagens relevantes de acordo.
No entanto, esses modelos diferem na forma como pesquisam em documentos grandes que excedem a janela de contexto:
Modelos da série GPT
Uma busca por prompt: os modelos da série GPT fazem uma busca por prompt do usuário.
Casos de uso indicados: ideais para responder a perguntas simples cujas respostas estão em uma documentação extensa.
Exemplos de consultas:
"Qual é a política de RH para aposentadoria antecipada?"
"O que a função process_order faz?"
Modelos da série o
Várias buscas por prompt: podem executar várias buscas (geralmente de 2 a 3) por prompt do usuário, cada uma com uma frase de busca diferente. As buscas são executadas em sequência, e o modelo pode ajustar sua abordagem com base nas informações recuperadas nas buscas anteriores.
Casos de uso indicados: são mais adequados para perguntas complexas que exigem várias buscas direcionadas em uma documentação extensa.
Exemplos de consultas:
"Quais são as políticas de RH para aposentadoria antecipada, licença parental e transferência para o exterior?"
"Explique o que a função process_order faz, liste todos os métodos chamados por ela e descreva brevemente cada um deles."
Apesar de seus pontos fortes, os modelos da série o podem ter dificuldades quando uma consulta exige mais de três buscas.
Dicas para melhorar os resultados da busca em arquivos
Experimente usar um modelo da série o para perguntas complexas que exigem várias buscas.
Lembre-se de que as respostas podem variar dependendo do tipo, número e tamanho dos documentos que você envia.
Em geral, carregar menos documentos, mais focados, levará a uma precisão maior.
Transforme tópicos com várias perguntas em perguntas únicas:
Se você precisar conhecer as políticas de RH de todos os estados, pergunte uma a uma.
Se você precisar resumir muitos documentos, peça um documento por vez. Se esse documento tiver muitas centenas de páginas, considere dividi-lo em componentes menores.
Você poderia pedir ao ChatGPT Enterprise que escrevesse um “resumo dos resumos” se fornecesse a ele vários resumos em vez de documentos inteiros.
Se você tiver um CSV de uma RFP (cada linha é uma pergunta diferente), faça essas perguntas uma a uma em vez de simplesmente carregar o CSV e solicitar uma única resposta.
Encontre formas de auditar as respostas do modelo. Exemplos de instruções para GPT estão abaixo:
# Contexto
Você é especialista em entender documentos. O usuário vai anexar um documento e fazer uma pergunta. Ele precisa conseguir conectar sua resposta à parte exata do texto de onde você extraiu a resposta.
# Instruções
1. Responda à pergunta do usuário com base no documento anexado usando o formato exato fornecido abaixo
# Formato
- Pergunta: { repita a pergunta do usuário }
- Resposta: { forneça uma resposta à pergunta do usuário }
Fonte:
- - Número da seção: { forneça o número da seção de onde você extraiu a resposta }
- - Título da seção: { forneça o título da seção de onde você extraiu a resposta }
- - Texto exato: { forneça o texto exato de onde você extraiu a resposta }
# Regras
- Dê respostas claras e concisas
- Forneça apenas informações presentes no documento
- Se você não encontrar a resposta no documento, responda simplesmente “Nenhuma informação encontrada.”