ChatGPT Enterprise теперь умеет считывать и понимать визуальные элементы (изображения, графики, схемы и т. д.) в файлах PDF, прикреплённых к промптам. Пользователи могут загрузить PDF, и ChatGPT сможет интерпретировать текст и любые визуальные элементы в этом файле.
Подробнее см. часто задаваемые вопросы о поиске по визуальному содержимому PDF.
ChatGPT Enterprise позволяет загружать файлы несколькими способами:
Напрямую с компьютера
В качестве знаний GPT
В качестве файла проекта
Через действие GPT
В этом руководстве объясняется, как функции ChatGPT Enterprise обрабатывают файлы в зависимости от их типа, количества и размера, а также как улучшить результаты с учётом особенностей файлов.
Краткий обзор
ChatGPT Enterprise обрабатывает разные типы файлов совершенно по-разному: извлекает текст из текстовых документов, таких как PDF, презентации и файлы Word, анализирует структурированные данные электронных таблиц с помощью кода Python и описывает изображения с помощью GPT-Vision. Чтобы получить ожидаемый результат, важно понимать, какой способ обработки используется для каждого типа файлов.
При работе с текстовыми документами ChatGPT Enterprise добавляет как можно больше подходящего текста непосредственно к промпту, а для доступа к дополнительной информации использует поисковую систему. Этот подход хорошо подходит для ответов на конкретные вопросы. Однако он может хуже справляться со сложными задачами, например с составлением краткого содержания очень больших документов или сравнением нескольких крупных файлов. Далее вы узнаете, как улучшить результаты.
Обработка файлов в зависимости от типа
ChatGPT Enterprise обрабатывает файлы тремя основными способами: извлекает текст, анализирует данные с помощью кода и интерпретирует изображения. Тип файла определяет, какой способ обработки использует ChatGPT Enterprise.
| Поиск по тексту | Интерпретатор кода | Обработка изображений | Поиск по визуальному содержимому | |
|---|---|---|---|---|
| Примеры типов файлов | pptx, docx, txt, md, json, xml, pdf* * PDF, загруженные в качестве знаний GPT или файлов проекта | csv, xls, xlsx* *Примечание: Интерпретатор кода может работать с любыми типами файлов, но ChatGPT Enterprise чаще всего использует его по умолчанию для электронных таблиц. | jpg, png | pdf* * PDF, прикреплённые к промптам пользователей |
| Принцип работы | Извлекает текст из файла: часть текста вставляется («помещается») непосредственно в контекстное окно, а часть сохраняется для поиска. | Интерпретатор кода передаёт файл в Python для обработки. | Изображения интерпретируются встроенными средствами мультимодальных моделей с учётом известных ограничений. | Сочетание поиска по тексту и обработки изображений. Текст извлекается из файла в цифровом виде, а визуальное содержимое интерпретируется встроенными средствами мультимодальных моделей. |
Для файлов, содержащих только текст, файлов изображений или файлов с чётко структурированными данными (например, таблицы транзакций в Excel) такое разделение обеспечивает оптимальную обработку.
Однако есть и менее очевидные случаи, например:
Изображения, встроенные в файлы форматов, отличных от PDF, не обрабатываются. Чтобы они тоже обрабатывались, перед загрузкой преобразуйте файл в PDF.
Для работы с электронными таблицами ChatGPT Enterprise всегда использует Интерпретатор кода, даже если документ содержит много текста. Например, если вы попросите ChatGPT Enterprise перевести CSV-файл с 10 строками текста, он попытается сделать это с помощью библиотеки Python. Такой перевод будет менее точным, чем перевод, созданный непосредственно моделью. Чтобы избежать этой проблемы, попробуйте экспортировать таблицу в текстовый формат, например PDF.
Аналогично, если вы загрузите структурированную таблицу транзакций в JSON-файле, ChatGPT Enterprise воспримет этот файл как обычный текст. Если вы хотите проанализировать данные из JSON-файла, укажите в промпте, что модель должна использовать Интерпретатор кода.
Обработка файлов в зависимости от размера
ChatGPT Enterprise использует модели с максимальным контекстным окном 128 тыс. токенов (примерно 200 страниц текста). Однако не все токены используются для включения текста из загруженных файлов. Количество «подставляемых» токенов зависит от типа использования.
ChatGPT Enterprise «подставляет» некоторый объем текста, а оставшийся текст отправляется в частный поисковый индекс («векторное хранилище» — тип базы данных, предназначенный для эффективного хранения и извлечения больших объемов текста). Когда вы задаете вопрос, ChatGPT Enterprise добавляет включенный текст вместе с релевантными фрагментами, извлеченными из частного поискового индекса.
Если вы загружаете один документ, ChatGPT Enterprise включает текст с начала, пока не достигнет своего лимита. Если вы загружаете несколько документов, ChatGPT Enterprise включает часть или весь текст каждого документа. Весь текст из документов также отправляется в частный поисковый индекс.
Заполнение контекста для текстовых документов
Эта функция находится в активной разработке. Поэтому приведенные ниже сведения могут быть изменены без уведомления.
ChatGPT Enterprise может обрабатывать в контекстном окне до 110 тыс. токенов из загруженных документов. Если вы загрузите один или несколько документов общим объёмом менее 110 тыс. токенов, их содержимое будет включено целиком.
Если объём одного документа превышает 110 тыс. токенов, будут включены только первые 110 тыс. токенов с начала документа. Остальное содержимое будет отправлено только в закрытый поисковый индекс.
Если загружено несколько документов общим объёмом более 110 тыс. токенов, ChatGPT Enterprise использует следующий порядок действий, чтобы сбалансированно представить их содержимое:
Извлекает до 55 тыс. токенов, распределяя этот объём поровну между загруженными документами.
Для документов, не включённых целиком на первом этапе, распределяет оставшиеся 55 тыс. токенов пропорционально количеству токенов, оставшихся в каждом документе.
Все оставшиеся токены отправляются только в закрытый поисковый индекс.
Чтобы оценить количество токенов в текстовом документе, скопируйте его текст в токенизатор OpenAI.
Заполнение контекста содержимым мультимедийных PDF
Когда пользователи загружают PDF с текстом и изображениями, поиск по визуальному содержимому позволяет ChatGPT обрабатывать эти изображения встроенными средствами вместе с текстом, извлечённым из файла. При работе с мультимедийными PDF стандартная обработка контекста дополняется следующими этапами:
Извлечение и включение изображений: изображения извлекаются и включаются в контекст вместе со связанным с ними цифровым текстом.
Интеллектуальное масштабирование: размер изображений автоматически меняется, чтобы сохранить качество информации и эффективно использовать доступное контекстное окно.
Если объём загруженных PDF превышает лимит в 110 тыс. токенов, и изображения, и текст включаются в закрытый поисковый индекс в виде эмбеддингов. Текстовые эмбеддинги содержат ссылки на соответствующие изображения, что позволяет ChatGPT находить подходящие пары «текст — изображение» по запросам пользователей. Затем найденные изображения обрабатываются с помощью встроенных мультимодальных возможностей ChatGPT.
Точно оценить, сколько токенов потребуется для мультимедийных PDF, сложно. Согласно тестам, примерно 350 страниц с текстом и изображениями полностью заполняют контекстное окно объёмом 110 тыс. токенов.
Стратегии поиска в зависимости от типа модели
Модели серий GPT и o поддерживают загрузку файлов и используют одинаковую логику заполнения контекста и поисковых эмбеддингов. Все модели выполняют гибридный поиск по частному поисковому индексу, сочетая методы поиска по ключевым словам и семантического поиска. При гибридном поиске модель создает поисковую фразу на основе промпта пользователя, а частный поисковый индекс извлекает соответствующий текст и изображения.
Однако эти модели различаются тем, как они ищут по большим документам, превышающим контекстное окно:
Модели серии GPT
Один поиск для каждого промпта: модели серии GPT выполняют один поиск для каждого пользовательского промпта.
Подходящие сценарии: идеально для ответов на простые вопросы, содержащиеся в обширной документации.
Примеры запросов:
«Каковы правила отдела кадров в отношении досрочного выхода на пенсию?»
«Что делает функция process_order?»
Модели серии o
Несколько поисков для одного промпта: по одному пользовательскому промпту можно выполнить несколько поисков (обычно 2–3), каждый с уникальной поисковой фразой. Поиски выполняются последовательно, и модель может корректировать свой подход с учетом информации, полученной в ходе предыдущих поисков.
Подходящие сценарии: оптимально для сложных вопросов, требующих нескольких целевых поисков по обширной документации.
Примеры запросов:
«Каковы правила отдела кадров в отношении досрочного выхода на пенсию, отпуска по уходу за ребенком и перевода на работу за границу?»
«Объясните, что делает функция process_order, перечислите все вызываемые ею методы и кратко опишите каждый из них».
Несмотря на свои преимущества, модели серии o могут испытывать трудности, если для обработки запроса требуется более трех поисков.
Советы по улучшению результатов поиска по файлам
Попробуйте использовать модель серии o для сложных вопросов, требующих нескольких поисков.
Помните, что ответы могут различаться в зависимости от типа, количества и размера загружаемых документов.
Как правило, загрузка меньшего количества сфокусированных документов приводит к более высокой точности.
Преобразуйте темы с несколькими вопросами в отдельные вопросы:
Если вам нужно узнать правила HR каждого штата, задавайте вопросы по одному.
Если вам нужно резюмировать много документов, запрашивайте по одному документу за раз. Если документ состоит из многих сотен страниц, рассмотрите возможность разбить его на более мелкие части.
Вы можете попросить ChatGPT Enterprise написать «сводку сводок», если дадите ему несколько сводок, а не полные документы.
Если у вас есть CSV с RFP (каждая строка — отдельный вопрос), задавайте эти вопросы по одному, а не просто загружайте CSV и запрашивайте единый ответ.
Найдите способы проверять ответы модели. Пример инструкций GPT приведен ниже:
# Контекст
Вы эксперт в понимании документов. Пользователь собирается прикрепить документ и задать вопрос. Ему нужно иметь возможность связать ваш ответ с точной частью текста, из которой вы взяли ответ.
# Инструкции
1. Ответьте на вопрос пользователя на основе прикрепленного документа, используя точный формат ниже
# Формат
- Вопрос: { repeat user's question }
- Ответ: { provide an answer to user's question }
Источник:
- - Номер раздела: { provide section number where you pulled in the answer }
- - Заголовок раздела: { provide section title where you pulled in the answer }
- - Точный текст: { provide the exact text where you pulled the answer from }
# Правила
- Давайте ясные и краткие ответы
- Предоставляйте только информацию, указанную в документе
- Если вы не можете найти ответ в документе, просто ответьте «Информация не найдена».