ChatGPT Enterprise teraz dokáže čítať a chápať vizuálne prvky (obrázky, grafy, diagramy a podobne) vložené do PDF súborov pripojených k príkazom. Používatelia môžu nahrať PDF súbor a ChatGPT dokáže interpretovať text aj všetky vizuálne prvky v tomto súbore.
Podrobnosti nájdete tu: Najčastejšie otázky o vizuálnom vyhľadávaní v PDF súboroch.
ChatGPT Enterprise umožňuje nahrávať súbory viacerými spôsobmi:
Priamo z počítača
Zo služieb Google Drive / SharePoint / OneDrive
Ako znalosti pre GPT
Ako súbor projektu
Prostredníctvom akcie GPT
Táto príručka vysvetľuje, ako funkcie ChatGPT Enterprise spracúvajú súbory podľa ich typu, počtu a veľkosti, a ponúka postupy na zlepšenie výstupov s ohľadom na požiadavky pri práci so súbormi.
Zhrnutie
ChatGPT Enterprise spracúva jednotlivé typy súborov veľmi odlišne: z textových dokumentov, ako sú PDF súbory, prezentácie a súbory Word, extrahuje text, štruktúrované údaje z tabuľkových súborov analyzuje pomocou kódu v Pythone a obrázkové súbory opisuje prostredníctvom GPT-Vision. Ak chcete dosiahnuť očakávaný výsledok, je dôležité vedieť, aký postup spracovania spúšťajú jednotlivé typy súborov.
Pri textových dokumentoch ChatGPT Enterprise pridá čo najviac relevantného textu priamo k príkazu a ďalšie informácie získava pomocou vyhľadávacieho systému. Tento postup funguje dobre pri odpovedaní na konkrétne otázky. Pri zložitých úlohách, ako je sumarizácia veľmi rozsiahlych dokumentov alebo porovnávanie viacerých veľkých súborov, však môže narážať na ťažkosti. Čítajte ďalej a zistite, ako dosiahnuť lepšie výsledky.
Spracovanie súborov podľa typu
ChatGPT Enterprise spracúva súbory tromi hlavnými spôsobmi: extrakciou textu, analýzou pomocou kódu a interpretáciou obrázkov. Typ súboru určuje, aký postup spracovania ChatGPT Enterprise použije.
| Textové vyhľadávanie | Code Interpreter | Spracovanie obrázkov | Vizuálne vyhľadávanie | |
|---|---|---|---|---|
| Príklady typov súborov | pptx, docx, txt, md, json, xml, pdf* * PDF súbory nahrané ako znalosti pre GPT alebo súbory projektu | csv, xls, xlsx* *Poznámka: Code Interpreter dokáže pracovať s akýmkoľvek typom súboru, no ChatGPT Enterprise ho predvolene používa najmä pri tabuľkových súboroch. | jpg, png | pdf* * PDF súbory pripojené k príkazom používateľov |
| Spôsob spracovania | Extrahuje text zo súboru – časť textu sa vloží („naplní“) priamo do kontextového okna a časť sa uloží na vyhľadávanie. | Code Interpreter odovzdá súbor na spracovanie v Pythone. | Obrázky natívne interpretujú multimodálne modely, pričom platia známe obmedzenia. | Kombinácia textového vyhľadávania a spracovania obrázkov. Text sa digitálne extrahuje a vizuálny obsah natívne interpretujú multimodálne modely. |
Pri čisto textových súboroch, obrázkových súboroch alebo súboroch s jasne štruktúrovanými údajmi (napr. excelová tabuľka transakcií) zabezpečuje toto rozdelenie najvhodnejší spôsob spracovania.
V niektorých prípadoch však situácia nie je taká jednoznačná, napríklad:
Obrázky vložené do iných súborov než PDF sa nespracúvajú. Ak ich chcete zahrnúť do spracovania, pred nahraním preveďte súbor do formátu PDF.
ChatGPT Enterprise pri práci s tabuľkovými súbormi vždy používa Code Interpreter, aj keď dokument obsahuje veľké množstvo textu. Ak napríklad požiadate ChatGPT Enterprise o preklad CSV súboru s 10 riadkami textu, pokúsi sa ho preložiť pomocou knižnice Pythonu. Takýto preklad je menej presný, než keby ho model vytvoril priamo. Ak sa tomu chcete vyhnúť, skúste tabuľkový súbor exportovať do textového formátu (napríklad PDF).
Podobne, ak nahráte štruktúrovanú tabuľku transakcií v súbore JSON, ChatGPT Enterprise bude tento súbor interpretovať ako obyčajný text. Ak chcete analyzovať údaje v súbore JSON, v príkaze dajte modelu pokyn, aby použil Code Interpreter.
Spracovanie súborov podľa veľkosti
ChatGPT Enterprise používa modely s maximálnym kontextovým oknom 128 tisíc tokenov (približne 200 strán textu). Nie všetky tokeny sa však používajú na zahrnutie textu z nahraných súborov. Počet „vložených“ tokenov sa líši podľa typu použitia.
ChatGPT Enterprise „vloží“ určitú časť textu a zvyšný text sa odošle do súkromného vyhľadávacieho indexu („vektorového úložiska“, čo je typ databázy navrhnutý na efektívne ukladanie a načítanie veľkého množstva textu). Keď položíte otázku, ChatGPT Enterprise prinesie zahrnutý text spolu s relevantnými úryvkami načítanými zo súkromného vyhľadávacieho indexu.
Ak nahráte jeden dokument, ChatGPT Enterprise zahrnie text od začiatku, kým nedosiahne svoj limit. Ak nahráte viacero dokumentov, ChatGPT Enterprise zahrnie časť alebo celý obsah každého dokumentu. Všetok text z dokumentov sa zároveň odošle do súkromného vyhľadávacieho indexu.
Vkladanie kontextu pre textové dokumenty
Táto funkcia je vo fáze aktívneho vývoja. Preto sa nasledujúce podrobnosti môžu zmeniť bez predchádzajúceho upozornenia.
ChatGPT Enterprise dokáže v kontextovom okne spracovať až 110 tisíc tokenov z nahraných dokumentov. Ak nahráte jeden alebo viac dokumentov s celkovým počtom menej ako 110 tisíc tokenov, zahrnie sa celý ich obsah.
Ak jeden dokument presahuje 110 tisíc tokenov, zahrnie sa iba prvých 110 tisíc tokenov od jeho začiatku. Zvyšok sa odošle iba do súkromného vyhľadávacieho indexu.
Ak nahráte viacero dokumentov s celkovým počtom viac ako 110 tisíc tokenov, ChatGPT Enterprise použije nasledujúci postup, aby boli dokumenty vyvážene zastúpené:
Extrahuje najviac 55 tisíc tokenov, pričom tento počet rozdelí rovnomerne medzi nahrané dokumenty.
Dokumentom, ktoré v prvom kroku neboli zahrnuté celé, pridelí zvyšnú kapacitu 55 tisíc tokenov úmerne podľa počtu zostávajúcich tokenov v každom dokumente.
Všetky zostávajúce tokeny sa odošlú iba do súkromného vyhľadávacieho indexu.
Počet tokenov v textovom dokumente môžete odhadnúť skopírovaním jeho textu do tokenizátora OpenAI.
Vkladanie obsahu multimediálnych PDF súborov do kontextu
Keď používatelia nahrajú PDF súbory obsahujúce text aj obrázky, vizuálne vyhľadávanie umožňuje ChatGPT spracovať tieto obrázky natívne spolu s digitálne extrahovaným textom. Pri multimediálnych PDF súboroch dopĺňajú naše štandardné postupy spracovania kontextu tieto kroky:
Extrakcia obrázkov a tvorba embeddingov: Obrázky sa extrahujú a spolu so súvisiacim digitálnym textom sa prevedú na embeddingy.
Inteligentná úprava veľkosti: Veľkosť obrázkov sa automaticky upravuje tak, aby sa zachovala rovnováha medzi kvalitou informácií a efektívnym využitím dostupného kontextového okna.
Keď nahrané PDF súbory prekročia limit 110 tisíc tokenov, obrázky aj text sa uložia ako embeddingy do súkromného vyhľadávacieho indexu. Textové embeddingy odkazujú na relevantné obrázky, vďaka čomu môže ChatGPT na základe otázok používateľov vyhľadať zodpovedajúce dvojice textu a obrázka. Vyhľadané obrázky sa potom spracujú pomocou natívnych multimodálnych schopností ChatGPT.
Presne odhadnúť potrebný počet tokenov pre multimediálne PDF súbory je náročné. Testovanie naznačuje, že približne 350 strán s kombináciou textu a obrázkov úplne zaplní kontextové okno s kapacitou 110 tisíc tokenov.
Stratégie vyhľadávania podľa typu modelu
Modely série GPT aj série o podporujú nahrávanie súborov a používajú rovnakú logiku vkladania kontextu a vyhľadávacích embeddingov. Všetky modely vykonávajú hybridné vyhľadávania v súkromnom vyhľadávacom indexe, pričom kombinujú kľúčové slová a sémantické metódy. Pri hybridnom vyhľadávaní model vygeneruje vyhľadávaciu frázu na základe príkazu používateľa a súkromný vyhľadávací index podľa toho načíta relevantný text a obrázky.
Tieto modely sa však líšia v tom, ako vyhľadávajú vo veľkých dokumentoch, ktoré presahujú kontextové okno:
Modely série GPT
Jedno vyhľadávanie na jeden príkaz: Modely série GPT vykonajú pre každý používateľský príkaz jedno vyhľadávanie.
Vhodné prípady použitia: Sú ideálne na zodpovedanie jednoduchých otázok ukrytých v rozsiahlej dokumentácii.
Príklady otázok:
„Aké sú pravidlá personálneho oddelenia pre predčasný dôchodok?“
„Čo robí funkcia process_order?“
Modely série o
Viacero vyhľadávaní na jeden príkaz: Pre každý používateľský príkaz dokážu vykonať viacero vyhľadávaní (zvyčajne 2 až 3), každé s jedinečnou vyhľadávacou frázou. Vyhľadávania sa vykonávajú postupne a model môže svoj prístup upravovať podľa informácií získaných pri predchádzajúcich vyhľadávaniach.
Vhodné prípady použitia: Sú vhodnejšie na zložité otázky, ktoré si vyžadujú viacero cielených vyhľadávaní v rozsiahlej dokumentácii.
Príklady otázok:
„Aké sú pravidlá personálneho oddelenia pre predčasný dôchodok, rodičovskú dovolenku a preloženie do zahraničia?“
„Vysvetli, čo robí funkcia process_order, uveď všetky metódy, ktoré táto funkcia volá, a každú z nich stručne opíš.“
Napriek svojim silným stránkam môžu mať modely série o problémy s otázkami, ktoré si vyžadujú viac než tri vyhľadávania.
Tipy na zlepšenie výsledkov vyhľadávania v súboroch
Pri zložitých otázkach vyžadujúcich viacero vyhľadávaní skúste použiť model série o.
Pamätajte, že odpovede sa môžu líšiť v závislosti od typu, počtu a veľkosti dokumentov, ktoré nahráte.
Vo všeobecnosti platí, že načítanie menšieho počtu zameraných dokumentov povedie k vyššej presnosti.
Témy s viacerými otázkami premeňte na jednotlivé otázky:
Ak potrebujete poznať HR zásady každého štátu, pýtajte sa na ne po jednom.
Ak potrebujete zhrnúť veľa dokumentov, pýtajte si vždy jeden dokument naraz. Ak má daný dokument mnoho stoviek strán, zvážte jeho rozdelenie na menšie časti.
Môžete požiadať ChatGPT Enterprise, aby napísal „súhrn súhrnov“, ak mu namiesto celých dokumentov poskytnete viacero súhrnov.
Ak máte CSV s RFP (každý riadok je iná otázka), pýtajte sa na tieto otázky po jednom namiesto toho, aby ste len načítali CSV a požiadali o jednu odpoveď.
Nájdite spôsoby, ako auditovať odpovede modelu. Príklady pokynov pre GPT sú nižšie:
# Kontext
Ste expert na porozumenie dokumentom. Používateľ priloží dokument a položí otázku. Musí byť schopný prepojiť vašu odpoveď s presnou časťou textu, z ktorej ste odpoveď získali.
# Pokyny
1. Odpovedzte na otázku používateľa na základe jeho priloženého dokumentu s použitím presného formátu uvedeného nižšie
# Formát
- Otázka: { zopakujte otázku používateľa }
- Odpoveď: { poskytnite odpoveď na otázku používateľa }
Zdroj:
- - Číslo sekcie: { uveďte číslo sekcie, z ktorej ste prevzali odpoveď }
- - Názov sekcie: { uveďte názov sekcie, z ktorej ste prevzali odpoveď }
- - Presný text: { uveďte presný text, z ktorého ste prevzali odpoveď }
# Pravidlá
- Odpovedajte jasne a stručne
- Uvádzajte iba informácie obsiahnuté v dokumente
- Ak odpoveď v dokumente nenájdete, jednoducho odpovedzte „Nenašli sa žiadne informácie.“