ChatGPT Enterprise nyní dokáže číst vizuální prvky (obrázky, grafy, diagramy atd.) vložené do souborů PDF přiložených k promptům a porozumět jim. Uživatelé mohou nahrát PDF a ChatGPT dokáže interpretovat text i veškeré vizuální prvky v tomto souboru.
Podrobnosti najdete v článku Časté dotazy k vizuálnímu vyhledávání v PDF.
ChatGPT Enterprise umožňuje nahrávat soubory několika způsoby:
Přímo z počítače
Ze služeb Disk Google / SharePoint / OneDrive
Jako znalosti GPT
Jako soubor projektu
Z akce GPT
Tento průvodce vysvětluje, jak funkce ChatGPT Enterprise zpracovávají soubory podle jejich typu, počtu a velikosti. Popisuje také postupy, jak s ohledem na nároky souborů dosáhnout lepších výstupů.
Shrnutí
ChatGPT Enterprise zpracovává různé typy souborů velmi odlišně: z textových dokumentů, jako jsou PDF, prezentace a soubory Word, extrahuje text, strukturovaná data z tabulek analyzuje pomocí kódu v Pythonu a obrázkové soubory popisuje prostřednictvím GPT-Vision. Abyste dosáhli očekávaného výsledku, je důležité vědět, jaký postup zpracování se použije pro jednotlivé typy souborů.
U textových dokumentů ChatGPT Enterprise vloží co nejvíce relevantního textu přímo k promptu a k získání dalších informací použije vyhledávací systém. To dobře funguje při odpovídání na konkrétní otázky. U složitých úloh, jako je shrnutí velmi rozsáhlých dokumentů nebo porovnání více velkých souborů, však může tento přístup narážet na potíže. Čtěte dál a zjistěte, jak dosáhnout lepších výsledků.
Zpracování souborů podle typu
ChatGPT Enterprise zpracovává soubory třemi hlavními způsoby: extrakcí textu, analýzou pomocí kódu a interpretací obrázků. Typ souboru určuje, jaký postup zpracování ChatGPT Enterprise použije.
| Textové vyhledávání | Interpret kódu | Zpracování obrázků | Vizuální vyhledávání | |
|---|---|---|---|---|
| Příklady typů souborů | pptx, docx, txt, md, json, xml, pdf* * PDF nahraná jako znalosti GPT nebo soubory projektu | csv, xls, xlsx* * Poznámka: Interpret kódu dokáže pracovat s jakýmkoli typem souboru, ale ChatGPT Enterprise ho ve výchozím nastavení nejčastěji používá pro tabulky. | jpg, png | pdf* * PDF přiložená k uživatelským promptům |
| Způsob zpracování | Extrahuje text ze souboru – část textu se vloží („vtěsná“) přímo do kontextového okna, část se uloží pro vyhledávání. | Interpret kódu předá soubor Pythonu ke zpracování. | Obrázky nativně interpretují multimodální modely s určitými známými omezeními. | Kombinace textového vyhledávání a zpracování obrázků. Text se extrahuje digitálně a vizuální obsah nativně interpretují multimodální modely. |
Pro čistě textové soubory, obrázky nebo soubory s jasně strukturovanými daty (např. excelovou tabulku transakcí) zajišťuje toto rozdělení nejvhodnější způsob zpracování.
Existují však i méně jednoznačné případy, například:
Obrázky vložené do jiných souborů než PDF se nezpracovávají. Chcete-li je zahrnout do zpracování, převeďte soubor před nahráním do PDF.
ChatGPT Enterprise bude při práci s tabulkami vždy používat interpret kódu, i když dokument obsahuje velké množství textu. Pokud například požádáte ChatGPT Enterprise o překlad souboru CSV s 10 řádky textu, pokusí se ho přeložit pomocí knihovny Pythonu. To je méně přesné, než když překlad vygeneruje přímo model. Chcete-li tento problém zmírnit, zkuste tabulku exportovat do textového formátu (například PDF).
Podobně pokud nahrajete strukturovanou tabulku transakcí uloženou v souboru JSON, ChatGPT Enterprise bude tento soubor chápat jako prostý text. Pokud chcete analyzovat data v souboru JSON, dejte modelu v promptu pokyn, aby použil interpret kódu.
Zpracování souborů podle velikosti
ChatGPT Enterprise používá modely s maximálním kontextovým oknem 128 tisíc tokenů (přibližně 200 stran textu). Ne všechny tokeny se však používají k zahrnutí textu z nahraných souborů. Počet „vložených“ tokenů se liší podle typu použití.
ChatGPT Enterprise „vloží“ určité množství textu a zbývající text odešle do soukromého vyhledávacího indexu („vektorového úložiště“, což je typ databáze navržený k efektivnímu ukládání a načítání velkých objemů textu). Když položíte otázku, ChatGPT Enterprise zahrne vložený text spolu s relevantními částmi načtenými ze soukromého vyhledávacího indexu.
Pokud nahrajete jeden dokument, ChatGPT Enterprise zahrne text od začátku, dokud nedosáhne svého limitu. Pokud nahrajete více dokumentů, ChatGPT Enterprise zahrne část nebo celý obsah každého dokumentu. Veškerý text z dokumentů se také odešle do soukromého vyhledávacího indexu.
Vkládání kontextu pro textové dokumenty
Tato funkce je aktivně vyvíjena. Proto se následující podrobnosti mohou bez upozornění změnit.
ChatGPT Enterprise dokáže v kontextovém okně zpracovat až 110 tisíc tokenů z nahraných dokumentů. Pokud nahrajete jeden nebo více dokumentů s celkovým počtem menším než 110 tisíc tokenů, zahrne se celý jejich obsah.
U jednoho dokumentu přesahujícího 110 tisíc tokenů se zahrne pouze prvních 110 tisíc tokenů od začátku dokumentu. Zbytek se odešle pouze do soukromého vyhledávacího indexu.
Pokud nahrajete více dokumentů a jejich celkový počet tokenů přesáhne 110 tisíc, ChatGPT Enterprise použije následující postup, aby vyvážilo zastoupení jednotlivých dokumentů:
Extrahuje až 55 tisíc tokenů, přičemž tento počet rozdělí rovnoměrně mezi nahrané dokumenty.
Zbývajících 55 tisíc tokenů přidělí dokumentům, které nebyly v prvním kroku zahrnuty celé, úměrně počtu dosud nezahrnutých tokenů v každém dokumentu.
Všechny zbývající tokeny se odešlou pouze do soukromého vyhledávacího indexu.
Počet tokenů v textovém dokumentu můžete odhadnout zkopírováním jeho textu do tokenizátoru OpenAI.
Vkládání obsahu multimediálních PDF do kontextu
Když uživatelé nahrají PDF obsahující text i obrázky, vizuální vyhledávání umožní ChatGPT zpracovat tyto obrázky nativně spolu s digitálně extrahovaným textem. U multimediálních PDF doplňují naše standardní postupy zpracování kontextu následující kroky:
Extrakce a vložení obrázků: Obrázky se extrahují a vloží spolu s příslušným digitálním textem.
Inteligentní změna velikosti: Velikost obrázků se automaticky upravuje tak, aby byla zachována rovnováha mezi kvalitou informací a efektivním využitím dostupného kontextového okna.
Pokud nahraná PDF přesáhnou limit 110 tisíc tokenů, obrázky i text se uloží jako vektorové reprezentace do soukromého vyhledávacího indexu. Vektorové reprezentace textu odkazují na související obrázky, což umožňuje ChatGPT na základě dotazů uživatelů vyhledat odpovídající dvojice textu a obrázku. Vyhledané obrázky se poté zpracují pomocí nativních multimodálních schopností ChatGPT.
U multimediálních PDF je obtížné přesně odhadnout potřebný počet tokenů. Testy naznačují, že přibližně 350 stránek kombinujících text a obrázky zcela zaplní kontextové okno o velikosti 110 tisíc tokenů.
Strategie vyhledávání podle typu modelu
Modely řady GPT i řady o podporují nahrávání souborů a využívají stejnou logiku vkládání kontextu a vyhledávacích embeddingů. Všechny modely provádějí hybridní vyhledávání v soukromém vyhledávacím indexu a kombinují metody založené na klíčových slovech a sémantice. Při hybridním vyhledávání model vygeneruje vyhledávací frázi na základě promptu uživatele a soukromý vyhledávací index podle toho načte relevantní text a obrázky.
Tyto modely se však liší v tom, jak vyhledávají ve velkých dokumentech, které přesahují kontextové okno:
Modely řady GPT
Jedno vyhledávání na jeden prompt: Modely řady GPT provedou pro každý uživatelský prompt jedno vyhledávání.
Vhodné případy použití: Ideální pro zodpovídání jednoduchých otázek, jejichž odpovědi se nacházejí v rozsáhlé dokumentaci.
Příklady dotazů:
„Jaké jsou personální zásady pro předčasný odchod do důchodu?“
„Co dělá funkce process_order?“
Modely řady o
Více vyhledávání na jeden prompt: Pro každý uživatelský prompt lze provést několik vyhledávání (obvykle 2–3), každé s jedinečnou vyhledávací frází. Vyhledávání probíhají postupně a model může svůj postup upravovat podle informací získaných při předchozích vyhledáváních.
Vhodné případy použití: Hodí se spíše pro složité otázky, které vyžadují několik cílených vyhledávání v rozsáhlé dokumentaci.
Příklady dotazů:
„Jaké jsou personální zásady pro předčasný odchod do důchodu, rodičovskou dovolenou a přeložení do zahraničí?“
„Vysvětlete, co dělá funkce process_order, uveďte všechny metody, které tato funkce volá, a každou z nich stručně popište.“
Navzdory svým přednostem mohou mít modely řady o potíže s dotazy, které vyžadují více než tři vyhledávání.
Tipy pro zlepšení výsledků vyhledávání v souborech
U složitých otázek vyžadujících více vyhledávání zkuste použít model řady o.
Pamatujte, že odpovědi se mohou lišit podle typu, počtu a velikosti dokumentů, které nahrajete.
Obecně platí, že načtení menšího počtu zaměřených dokumentů povede k vyšší přesnosti.
Převeďte témata s více otázkami na jednotlivé otázky:
Pokud potřebujete znát personální zásady každého státu, ptejte se na ně jednu po druhé.
Pokud potřebujete shrnout mnoho dokumentů, žádejte vždy o jeden dokument. Pokud má daný dokument mnoho stovek stran, zvažte jeho rozdělení na menší části.
Můžete požádat ChatGPT Enterprise, aby napsal „shrnutí shrnutí“, pokud mu místo celých dokumentů poskytnete více shrnutí.
Pokud máte CSV se žádostí RFP (každý řádek je jiná otázka), pokládejte tyto otázky jednu po druhé, místo abyste jen načetli CSV a požádali o jednu odpověď.
Najděte způsoby, jak auditovat odpovědi modelu. Níže jsou uvedeny příklady instrukcí pro GPT:
# Kontext
Jste odborník na porozumění dokumentům. Uživatel připojí dokument a položí otázku. Musí být schopen propojit vaši odpověď s přesnou částí textu, ze které jste odpověď převzali.
# Pokyny
1. Odpovězte na otázku uživatele na základě připojeného dokumentu přesně podle níže uvedeného formátu
# Formát
- Otázka: { zopakujte otázku uživatele }
- Odpověď: { poskytněte odpověď na otázku uživatele }
Zdroj:
- - Číslo oddílu: { uveďte číslo oddílu, ze kterého jste odpověď převzali }
- - Název oddílu: { uveďte název oddílu, ze kterého jste odpověď převzali }
- - Přesný text: { uveďte přesný text, ze kterého jste odpověď převzali }
# Pravidla
- Odpovědi formulujte jasně a stručně
- Poskytujte pouze informace uvedené v dokumentu
- Pokud odpověď v dokumentu nenajdete, jednoduše odpovězte „Nebyly nalezeny žádné informace.“