ChatGPT Enterprise тепер підтримує зчитування й розуміння візуальних елементів (зображень, графіків, діаграм тощо), вбудованих у PDF-файли, додані до запитів. Користувачі можуть завантажити PDF-файл, а ChatGPT — інтерпретувати текст і будь-які візуальні елементи в ньому.
Докладніше див. у статті: Поширені запитання про візуальний пошук у PDF-файлах.
ChatGPT Enterprise дає змогу завантажувати файли кількома способами:
Безпосередньо з комп’ютера
Як знання GPT
Як файл проєкту
Через дію GPT
У цьому посібнику пояснюється, як функції ChatGPT Enterprise обробляють файли залежно від їхнього типу, кількості й розміру, а також розглядаються способи покращення результатів з урахуванням вимог до файлів.
Короткий огляд
ChatGPT Enterprise обробляє різні типи файлів по-різному: видобуває текст із текстових документів, як-от PDF-файлів, презентацій і файлів Word, аналізує структуровані дані з електронних таблиць за допомогою коду Python та описує файли зображень через GPT-Vision. Щоб отримати очікуваний результат, важливо розуміти, який тип файлу запускає який спосіб обробки.
Для текстових документів ChatGPT Enterprise додає якомога більше релевантного тексту безпосередньо до запиту, а для доступу до додаткової інформації використовує пошукову систему. Це добре працює, коли потрібно відповісти на конкретні запитання. Однак такий підхід може бути менш ефективним у складних завданнях, як-от підсумовування дуже великих документів або порівняння кількох великих файлів. Читайте далі, щоб дізнатися, як покращити результати.
Обробка файлів залежно від типу
ChatGPT Enterprise обробляє файли трьома основними способами: видобування тексту, аналіз за допомогою коду та інтерпретація зображень. Тип файлу визначає, який спосіб обробки використовує ChatGPT Enterprise.
| Текстовий пошук | Інтерпретатор коду | Обробка зображень | Візуальний пошук | |
|---|---|---|---|---|
| Приклади типів файлів | pptx, docx, txt, md, json, xml, pdf* * PDF-файли, завантажені як знання GPT або файли проєкту | csv, xls, xlsx* *Примітка: інтерпретатор коду може працювати з будь-яким типом файлів, але ChatGPT Enterprise найчастіше використовує його за замовчуванням для електронних таблиць | jpg, png | pdf* * PDF-файли, додані до запитів користувачів |
| Принцип роботи | Видобуває текст із файлу: частина тексту вставляється («вміщується») безпосередньо в контекст у межах його ліміту, а частина зберігається для пошуку | Інтерпретатор коду передає файл у Python для обробки | Зображення інтерпретуються вбудованими засобами мультимодальних моделей з урахуванням відомих обмежень. | Поєднання текстового пошуку й обробки зображень. Текст видобувається в цифровому вигляді, а візуальний вміст інтерпретується вбудованими засобами мультимодальних моделей. |
Для суто текстових файлів, файлів зображень або файлів із чітко структурованими даними (наприклад, таблиці транзакцій в Excel) такий розподіл забезпечує найкращу обробку.
Однак є й менш очевидні випадки, наприклад:
Зображення, вбудовані у файли інших форматів, крім PDF, не обробляються. Щоб їх було оброблено, перед завантаженням перетворіть файл на PDF.
Для роботи з електронними таблицями ChatGPT Enterprise завжди використовує інтерпретатор коду, навіть якщо документ містить багато тексту. Наприклад, якщо ви попросите ChatGPT Enterprise перекласти CSV-файл із 10 рядками тексту, він спробує зробити це за допомогою бібліотеки Python. Такий переклад менш точний, ніж переклад, згенерований безпосередньо моделлю. Щоб уникнути цього, спробуйте експортувати електронну таблицю в текстовий формат (наприклад, PDF).
Так само, якщо ви завантажите структуровану таблицю транзакцій у JSON-файлі, ChatGPT Enterprise сприйматиме цей файл як звичайний текст. Якщо ви хочете проаналізувати дані з JSON-файлу, у запиті вкажіть моделі використовувати інтерпретатор коду.
Обробка файлів залежно від розміру
ChatGPT Enterprise використовує моделі з максимальним лімітом контексту 128 тис. токенів (приблизно 200 сторінок тексту). Однак не всі токени використовуються для включення тексту із завантажених файлів. Кількість «вставлених» токенів залежить від типу використання.
ChatGPT Enterprise «вставляє» певний обсяг тексту, а решта тексту надсилається до приватного пошукового індексу («векторного сховища» — типу бази даних, призначеного для ефективного зберігання й отримання великих обсягів тексту). Коли ви ставите запитання, ChatGPT Enterprise додає включений текст разом із релевантними фрагментами, отриманими з приватного пошукового індексу.
Якщо ви завантажуєте один документ, ChatGPT Enterprise включає текст від початку, доки не досягне свого ліміту. Якщо ви завантажуєте кілька документів, ChatGPT Enterprise включає частину або весь текст кожного документа. Увесь текст із документів також надсилається до приватного пошукового індексу.
Наповнення контексту для текстових документів
Ця функція перебуває в активній розробці. Тому наведені нижче деталі можуть змінюватися без попередження.
ChatGPT Enterprise може обробляти до 110 тис. токенів із завантажених документів у межах ліміту контексту. Якщо ви завантажите один або кілька документів загальним обсягом менше ніж 110 тис. токенів, до контексту буде включено весь їхній вміст.
Якщо один документ перевищує 110 тис. токенів, до контексту буде включено лише перші 110 тис. токенів від початку документа. Решта потрапить лише до приватного пошукового індексу.
Якщо завантажено кілька документів загальним обсягом понад 110 тис. токенів, ChatGPT Enterprise збалансовує їх представлення в контексті за такою процедурою:
Виділяє до 55 тис. токенів, розподіляючи їх порівну між завантаженими документами.
Решту 55 тис. токенів розподіляє між документами, не повністю представленими на першому кроці, пропорційно до кількості токенів, що залишилися в кожному з них.
Усі токени, що залишилися, потрапляють лише до приватного пошукового індексу.
Щоб оцінити кількість токенів у текстовому документі, скопіюйте його текст у токенізатор OpenAI.
Наповнення контексту вмістом мультимедійних PDF-файлів
Коли користувачі завантажують PDF-файли з текстом і зображеннями, візуальний пошук дає змогу ChatGPT обробляти ці зображення вбудованими засобами разом із текстом, видобутим у цифровому вигляді. Для мультимедійних PDF-файлів наші стандартні процедури роботи з контекстом доповнюються такими кроками:
Видобування та вбудовування зображень: зображення видобуваються та вбудовуються разом із пов’язаним із ними цифровим текстом.
Інтелектуальне масштабування: розмір зображень автоматично змінюється, щоб зберегти баланс між якістю інформації та ефективним використанням доступного ліміту контексту.
Якщо завантажені PDF-файли перевищують ліміт у 110 тис. токенів, і зображення, і текст вбудовуються в приватний пошуковий індекс. Векторні представлення тексту посилаються на відповідні зображення, що дає змогу ChatGPT знаходити потрібні пари тексту й зображень за запитами користувачів. Знайдені зображення далі обробляються за допомогою вбудованих мультимодальних можливостей ChatGPT.
Точно оцінити кількість токенів, потрібних для мультимедійних PDF-файлів, складно. За результатами тестування, приблизно 350 сторінок із текстом і зображеннями повністю вичерпують ліміт контексту в 110 тис. токенів.
Стратегії пошуку залежно від типу моделі
Моделі серії GPT і серії o підтримують завантаження файлів і використовують однакову логіку наповнення контексту та пошукових вбудовувань. Усі моделі виконують гібридний пошук у приватному пошуковому індексі, поєднуючи ключові слова й семантичні методи. Під час гібридного пошуку модель генерує пошукову фразу на основі запиту користувача, а приватний пошуковий індекс відповідно отримує релевантний текст і зображення.
Однак ці моделі відрізняються тим, як вони здійснюють пошук у великих документах, що перевищують ліміт контексту:
Моделі серії GPT
Один пошук на запит: моделі серії GPT виконують один пошук для кожного запиту користувача.
Оптимальні сценарії використання: ідеально підходять для відповідей на прості запитання, інформація про які міститься у великому обсязі документації.
Приклади запитів:
«Яка кадрова політика застосовується до дострокового виходу на пенсію?»
«Що робить функція process_order?»
Моделі серії o
Кілька пошуків на один запит: можуть виконувати кілька пошуків (зазвичай 2–3) на кожен запит користувача, використовуючи для кожного окрему пошукову фразу. Пошуки виконуються послідовно, і модель може коригувати свій підхід на основі інформації, отриманої під час попередніх пошуків.
Оптимальні сценарії використання: краще підходять для складних запитань, що потребують кількох цільових пошуків у великому обсязі документації.
Приклади запитів:
«Які кадрові політики застосовуються до дострокового виходу на пенсію, відпустки для догляду за дитиною та переведення за кордон?»
«Поясни, що робить функція process_order, переліч усі методи, які вона викликає, і стисло опиши кожен із них».
Попри свої переваги, моделі серії o можуть мати труднощі із запитами, для яких потрібно понад три пошуки.
Поради щодо покращення результатів пошуку у файлах
Спробуйте використовувати модель серії o для складних запитань, що потребують кількох пошуків.
Пам’ятайте, що відповіді можуть відрізнятися залежно від типу, кількості та розміру документів, які ви завантажуєте.
Загалом завантаження меншої кількості цільових документів підвищує точність.
Перетворюйте теми з кількома запитаннями на окремі запитання:
Якщо вам потрібно дізнатися HR-політики кожного штату, запитуйте їх по черзі.
Якщо вам потрібно підсумувати багато документів, просіть опрацьовувати один документ за раз. Якщо цей документ має багато сотень сторінок, подумайте про те, щоб розбити його на менші частини.
Ви можете попросити ChatGPT Enterprise написати «підсумок підсумків», якщо надасте йому кілька підсумків замість цілих документів.
Якщо у вас є CSV з RFP (кожен рядок — окреме запитання), ставте ці запитання по черзі, а не просто завантажуйте CSV і просіть одну відповідь.
Знайдіть способи перевіряти відповіді моделі. Нижче наведено приклади інструкцій для GPT:
# Контекст
Ви є експертом у розумінні документів. Користувач збирається прикріпити документ і поставити запитання. Йому потрібно мати змогу пов’язати вашу відповідь із точною частиною тексту, звідки ви взяли відповідь.
# Інструкції
1. Дайте відповідь на запитання користувача на основі прикріпленого документа, використовуючи точний формат, наведений нижче
# Формат
- Запитання: { повторіть запитання користувача }
- Відповідь: { надайте відповідь на запитання користувача }
Джерело:
- - Номер розділу: { вкажіть номер розділу, звідки ви взяли відповідь }
- - Назва розділу: { вкажіть назву розділу, звідки ви взяли відповідь }
- - Точний текст: { наведіть точний текст, звідки ви взяли відповідь }
# Правила
- Надавайте чіткі й лаконічні відповіді
- Надавайте лише інформацію, що міститься в документі
- Якщо ви не можете знайти відповідь у документі, просто відповідайте «Інформацію не знайдено.»