O ChatGPT Enterprise agora permite ler e compreender elementos visuais (imagens, gráficos, diagramas etc.) incorporados em arquivos PDF incluídos nos prompts. Os usuários podem enviar um PDF, e o ChatGPT pode interpretar o texto e todos os elementos visuais do arquivo.
Para mais detalhes, consulte: Perguntas frequentes sobre recuperação visual em PDFs.
O ChatGPT Enterprise permite enviar arquivos de várias maneiras:
Diretamente do seu computador
Por meio de uma ação de GPT
Este guia explica como os recursos do ChatGPT Enterprise lidam com arquivos de acordo com o tipo, a quantidade e o tamanho, e apresenta estratégias para melhorar os resultados com base nos requisitos dos arquivos.
Resumo
O ChatGPT Enterprise trata cada tipo de arquivo de forma bem diferente: extrai texto de documentos como PDFs, apresentações e arquivos do Word, analisa dados estruturados de planilhas com código Python e descreve arquivos de imagem por meio do GPT-Vision. Entender qual fluxo de trabalho é acionado por cada tipo de arquivo é essencial para obter o resultado esperado.
No caso de documentos de texto, o ChatGPT Enterprise inclui o máximo possível de texto relevante diretamente junto ao prompt e usa um sistema de busca para acessar informações adicionais. Isso funciona bem para responder a perguntas específicas. No entanto, essa abordagem pode ter dificuldades com tarefas complexas, como resumir documentos muito extensos ou comparar vários arquivos grandes. Continue lendo para conhecer estratégias que podem melhorar seus resultados.
Tratamento de arquivos de acordo com o tipo
O ChatGPT Enterprise processa arquivos de três formas principais: extração de texto, análise por código e interpretação de imagens. O tipo de arquivo determina qual fluxo de trabalho o ChatGPT Enterprise segue.
| Recuperação baseada em texto | Code Interpreter | Processamento de imagens | Recuperação visual | |
|---|---|---|---|---|
| Exemplos de tipos de arquivo | pptx, docx, txt, md, json, xml, pdf* * PDFs enviados como conhecimento de um GPT ou arquivos de um projeto | csv, xls, xlsx* *Observação: o Code Interpreter pode trabalhar com qualquer tipo de arquivo, mas o ChatGPT Enterprise costuma usá-lo por padrão para planilhas | jpg, png | pdf* * PDFs incluídos nos prompts dos usuários |
| Comportamento | Extrai o texto do arquivo — parte do texto é colada ("inserida") diretamente na janela de contexto; outra parte é armazenada para busca | O Code Interpreter encaminha o arquivo para processamento em Python | As imagens são interpretadas nativamente por modelos multimodais, sujeitos a limitações conhecidas . | Uma combinação de recuperação de texto e processamento de imagens. O texto é extraído digitalmente, e o conteúdo visual é interpretado nativamente por modelos multimodais. |
Para arquivos que contêm apenas texto, arquivos de imagem ou arquivos com dados claramente estruturados (como uma tabela de transações no Excel), essa divisão oferece o melhor comportamento possível.
Há alguns casos em que o comportamento é menos óbvio, por exemplo:
Imagens incorporadas em arquivos que não sejam PDFs não são processadas. Para incluí-las, converta o arquivo em PDF antes de enviá-lo.
O ChatGPT Enterprise sempre usará o Code Interpreter para interagir com planilhas, mesmo que o documento contenha uma grande quantidade de texto. Por exemplo, se você pedir ao ChatGPT Enterprise para traduzir um arquivo CSV com 10 linhas de texto, ele tentará traduzi-lo usando uma biblioteca Python, o que é menos preciso do que deixar o modelo gerar a tradução diretamente. Para reduzir esse problema, tente exportar a planilha para um formato baseado em texto (PDF, por exemplo).
Da mesma forma, se você enviar uma tabela estruturada de transações em um arquivo JSON, o ChatGPT Enterprise interpretará esse arquivo como texto simples. Se quiser analisar os dados de um arquivo JSON, instrua o modelo no seu prompt a usar o Code Interpreter.
Como lidar com arquivos com base no tamanho
O ChatGPT Enterprise usa modelos com uma janela de contexto máxima de 128 mil tokens (aproximadamente 200 páginas de texto). No entanto, nem todos os tokens são usados para incorporar o texto dos arquivos enviados. O número de tokens “preenchidos” varia de acordo com o tipo de uso.
O ChatGPT Enterprise “preenche” uma certa quantidade de texto, e o texto restante é enviado para um índice de busca privado (um “armazenamento vetorial”, que é um tipo de banco de dados projetado para armazenar e recuperar grandes quantidades de texto com eficiência). Quando você faz uma pergunta, o ChatGPT Enterprise inclui o texto incorporado junto com trechos relevantes recuperados de um índice de busca privado.
Se você enviar um único documento, o ChatGPT Enterprise inclui o texto desde o início até atingir seu limite. Se você enviar vários documentos, o ChatGPT Enterprise inclui parte ou todo o conteúdo de cada documento. Todo o texto dos documentos também é enviado para um índice de busca privado.
Preenchimento de contexto para documentos de texto
Este recurso está em desenvolvimento ativo. Portanto, os detalhes a seguir estão sujeitos a alterações sem aviso prévio.
O ChatGPT Enterprise pode processar até 110 mil tokens de documentos enviados na janela de contexto. Se você enviar um ou mais documentos que, juntos, somem menos de 110 mil tokens, todo o conteúdo será incluído.
Se um único documento ultrapassar 110 mil tokens, apenas os primeiros 110 mil tokens serão incluídos, a partir do início. O restante será enviado apenas ao índice de busca privado.
Se vários documentos forem enviados e, juntos, ultrapassarem 110 mil tokens, o ChatGPT Enterprise usará o seguinte processo para equilibrar a representação dos documentos:
Extrair até 55 mil tokens, divididos igualmente entre os documentos enviados.
Para os documentos que não foram totalmente representados na primeira etapa, distribuir os 55 mil tokens restantes proporcionalmente à quantidade de tokens que ainda falta em cada documento.
Os tokens que sobrarem serão enviados apenas ao índice de busca privado.
Você pode estimar a quantidade de tokens em um documento de texto copiando o texto do documento para o tokenizador da OpenAI.
Inserção de conteúdo no contexto para PDFs multimídia
Quando usuários enviam PDFs que contêm texto e imagens, a recuperação visual permite que o ChatGPT processe essas imagens nativamente junto com o texto extraído digitalmente. As etapas a seguir complementam nossos procedimentos padrão de tratamento de contexto para PDFs multimídia:
Extração e incorporação de imagens: as imagens são extraídas e incorporadas junto com o texto digital associado a elas.
Redimensionamento inteligente: as imagens são redimensionadas automaticamente para equilibrar a qualidade das informações e o uso eficiente da janela de contexto disponível.
Quando os PDFs enviados ultrapassam o limite de 110 mil tokens, tanto as imagens quanto o texto são incorporados ao índice de busca privado. Os embeddings de texto fazem referência a imagens relevantes, permitindo que o ChatGPT recupere os pares de texto e imagem apropriados com base nas consultas dos usuários. As imagens recuperadas são então processadas com os recursos multimodais nativos do ChatGPT.
É difícil estimar com precisão a quantidade de tokens necessária para PDFs multimídia. Os testes indicam que cerca de 350 páginas com texto e imagens ocupam toda a janela de contexto de 110 mil tokens.
Estratégias de busca com base no tipo de modelo
Tanto os modelos da série GPT quanto os da série o aceitam uploads de arquivos e usam a mesma lógica de preenchimento de contexto e embeddings de busca. Todos os modelos executam buscas híbridas em um índice de busca privado, combinando métodos por palavra-chave e semânticos. Em uma busca híbrida, o modelo gera uma frase de busca com base no prompt do usuário, e o índice de busca privado recupera textos e imagens relevantes de acordo.
No entanto, esses modelos diferem na forma como pesquisam em documentos grandes que excedem a janela de contexto:
Modelos da série GPT
Uma busca por prompt: os modelos da série GPT fazem uma busca por prompt do usuário.
Casos de uso indicados: ideais para responder a perguntas simples cujas respostas estão em uma documentação extensa.
Exemplos de consultas:
"Qual é a política de RH para aposentadoria antecipada?"
"O que a função process_order faz?"
Modelos da série o
Várias buscas por prompt: podem executar várias buscas (geralmente de 2 a 3) por prompt do usuário, cada uma com uma frase de busca diferente. As buscas são executadas em sequência, e o modelo pode ajustar sua abordagem com base nas informações recuperadas nas buscas anteriores.
Casos de uso indicados: são mais adequados para perguntas complexas que exigem várias buscas direcionadas em uma documentação extensa.
Exemplos de consultas:
"Quais são as políticas de RH para aposentadoria antecipada, licença parental e transferência para o exterior?"
"Explique o que a função process_order faz, liste todos os métodos chamados por ela e descreva brevemente cada um deles."
Apesar de seus pontos fortes, os modelos da série o podem ter dificuldades quando uma consulta exige mais de três buscas.
Dicas para melhorar os resultados da busca em arquivos
Experimente usar um modelo da série o para perguntas complexas que exigem várias buscas.
Lembre-se de que as respostas podem variar dependendo do tipo, número e tamanho dos documentos que você envia.
Em geral, carregar menos documentos, mais focados, levará a uma precisão maior.
Transforme tópicos com várias perguntas em perguntas únicas:
Se você precisar conhecer as políticas de RH de todos os estados, pergunte uma a uma.
Se você precisar resumir muitos documentos, peça um documento por vez. Se esse documento tiver muitas centenas de páginas, considere dividi-lo em componentes menores.
Você poderia pedir ao ChatGPT Enterprise que escrevesse um “resumo dos resumos” se fornecesse a ele vários resumos em vez de documentos inteiros.
Se você tiver um CSV de uma RFP (cada linha é uma pergunta diferente), faça essas perguntas uma a uma em vez de simplesmente carregar o CSV e solicitar uma única resposta.
Encontre formas de auditar as respostas do modelo. Exemplos de instruções para GPT estão abaixo:
# Contexto
Você é especialista em entender documentos. O usuário vai anexar um documento e fazer uma pergunta. Ele precisa conseguir conectar sua resposta à parte exata do texto de onde você extraiu a resposta.
# Instruções
1. Responda à pergunta do usuário com base no documento anexado usando o formato exato fornecido abaixo
# Formato
- Pergunta: { repita a pergunta do usuário }
- Resposta: { forneça uma resposta à pergunta do usuário }
Fonte:
- - Número da seção: { forneça o número da seção de onde você extraiu a resposta }
- - Título da seção: { forneça o título da seção de onde você extraiu a resposta }
- - Texto exato: { forneça o texto exato de onde você extraiu a resposta }
# Regras
- Dê respostas claras e concisas
- Forneça apenas informações presentes no documento
- Se você não encontrar a resposta no documento, responda simplesmente “Nenhuma informação encontrada.”