ChatGPT Enterprise teraz podporuje čítanie a porozumenie vizuálom (obrázkom, grafom, diagramom atď.) vloženým v súboroch PDF zahrnutých v príkazoch. Používatelia môžu nahrať PDF a ChatGPT dokáže interpretovať text aj všetky vizuálne prvky v tomto súbore.
Podrobnosti nájdete v článku Časté otázky o vizuálnom vyhľadávaní v PDF.
ChatGPT Enterprise umožňuje nahrávať súbory niekoľkými spôsobmi:
Priamo z počítača
Zo služby Google Drive / SharePoint / OneDrive
Ako znalosti GPT
Ako súbor projektu
Táto príručka vysvetľuje, ako funkcie ChatGPT Enterprise spracúvajú súbory podľa ich typu, počtu a veľkosti, a rozoberá stratégie na zlepšenie výstupov podľa požiadaviek na súbory.
Zhrnutie
ChatGPT Enterprise zaobchádza s rôznymi typmi súborov veľmi odlišne: extrahuje text z textových dokumentov, ako sú PDF, prezentácie a súbory Word, analyzuje štruktúrované údaje z tabuliek pomocou kódu Python a opisuje obrazové súbory prostredníctvom GPT-Vision. Pochopenie toho, ktorý typ súboru spúšťa ktorý pracovný postup, je kľúčom k získaniu očakávaného výsledku.
Pri textových dokumentoch ChatGPT Enterprise zahrnie čo najviac relevantného textu priamo k príkazu a na prístup k ďalším informáciám používa vyhľadávací systém. To funguje dobre pri odpovedaní na konkrétne otázky. Tento prístup však môže mať problémy so zložitými úlohami, ako je sumarizácia veľmi veľkých dokumentov alebo porovnávanie viacerých veľkých súborov. Čítajte ďalej a pochopíte stratégie na zlepšenie svojich výsledkov.
Spracovanie súborov podľa typu
ChatGPT Enterprise spracúva súbory tromi hlavnými spôsobmi: extrakciou textu, analýzou kódu a interpretáciou obrázkov. Typ súboru určuje, ktorý pracovný postup ChatGPT Enterprise použije.
| Textové načítavanie | Code Interpreter | Spracovanie obrázkov | Vizuálne vyhľadávanie | |
|---|---|---|---|---|
| Príklady typov súborov | pptx, docx, txt, md, json, xml, pdf* * PDF nahrané ako znalosti GPT alebo súbory projektu | csv, xls, xlsx* *Poznámka: Code Interpreter dokáže pracovať s akýmkoľvek typom súboru, ale ChatGPT Enterprise pri tabuľkách najčastejšie predvolene používa CI | jpg, png | pdf* * PDF zahrnuté v príkazoch používateľa |
| Správanie | Extrahuje text zo súboru – časť textu sa prilepí („vloží“) priamo do kontextového okna; časť textu sa uloží na vyhľadávanie | Code Interpreter odovzdá súbor do Pythonu na spracovanie | Obrázky natívne interpretujú multimodálne modely, pričom platia známe obmedzenia . | Hybrid textového načítavania a spracovania obrázkov. Text sa digitálne extrahuje a vizuálny obsah natívne interpretujú multimodálne modely. |
Pri súboroch iba s textom, obrazových súboroch alebo jasne štruktúrovaných dátových súboroch (napr. excelová tabuľka transakcií) tieto rozdelenia predstavujú najlepšie možné správanie.
Existujú aj menej zrejmé sivé zóny, napríklad:
Obrázky vložené v iných súboroch než PDF sa nespracúvajú. Ak ich chcete zahrnúť, pred nahratím súbor skonvertujte do PDF.
ChatGPT Enterprise bude na interakciu s tabuľkami vždy používať Code Interpreter, aj keď dokument obsahuje veľké množstvo textu. Ak napríklad požiadate ChatGPT Enterprise, aby preložil súbor CSV s 10 riadkami textu, pokúsi sa preložiť súbor pomocou knižnice Pythonu, čo je menej presné než umožniť modelu vygenerovať preklad priamo. Na zmiernenie tohto problému skúste tabuľku exportovať do textového formátu (napríklad PDF).
Podobne, ak nahráte štruktúrovanú transakčnú tabuľku obsiahnutú v súbore JSON, ChatGPT Enterprise bude tento súbor interpretovať ako obyčajný text. Ak chcete analyzovať údaje obsiahnuté v súbore JSON, v príkaze dajte modelu pokyn, aby použil Code Interpreter.
Spracovanie súborov podľa veľkosti
ChatGPT Enterprise používa modely s maximálnym kontextovým oknom 128 tisíc tokenov (približne 200 strán textu). Nie všetky tokeny sa však používajú na zahrnutie textu z nahraných súborov. Počet „vložených“ tokenov sa líši podľa typu použitia.
ChatGPT Enterprise „vloží“ určitú časť textu a zvyšný text sa odošle do súkromného vyhľadávacieho indexu („vektorového úložiska“, čo je typ databázy navrhnutý na efektívne ukladanie a načítanie veľkého množstva textu). Keď položíte otázku, ChatGPT Enterprise prinesie zahrnutý text spolu s relevantnými úryvkami načítanými zo súkromného vyhľadávacieho indexu.
Ak nahráte jeden dokument, ChatGPT Enterprise zahrnie text od začiatku, kým nedosiahne svoj limit. Ak nahráte viacero dokumentov, ChatGPT Enterprise zahrnie časť alebo celý obsah každého dokumentu. Všetok text z dokumentov sa zároveň odošle do súkromného vyhľadávacieho indexu.
Vkladanie kontextu pre textové dokumenty
Táto funkcia je vo fáze aktívneho vývoja. Preto sa nasledujúce podrobnosti môžu zmeniť bez predchádzajúceho upozornenia.
ChatGPT Enterprise dokáže v kontextovom okne spracovať až 110 tisíc tokenov z nahraných dokumentov. Ak nahráte jeden alebo viac dokumentov s celkovým súčtom menej než 110 tisíc tokenov, zahrnie sa celý obsah.
Pri jednom dokumente presahujúcom 110 tisíc tokenov sa zahrnie iba prvých 110 tisíc tokenov, počnúc od začiatku. Zvyšok sa odošle iba do súkromného vyhľadávacieho indexu.
Ak je nahraných viacero dokumentov a ich celkový súčet presahuje 110 tisíc tokenov, ChatGPT Enterprise použije dvojkrokový proces na vyváženie zastúpenia dokumentov:
Extrahuje až 55 tisíc tokenov, rozdelených rovnomerne medzi nahrané dokumenty.
Pre dokumenty, ktoré nie sú v prvom kroku zastúpené úplne, pridelí zostávajúcich 55 tisíc tokenov proporcionálne podľa tokenov zostávajúcich v jednotlivých dokumentoch.
Všetky zostávajúce tokeny sa odošlú iba do súkromného vyhľadávacieho indexu.
Počet tokenov v textovom dokumente môžete odhadnúť skopírovaním textu dokumentu do nástroja OpenAI Tokenizer.
Vkladanie kontextu pre multimediálne PDF
Keď používatelia nahrajú PDF obsahujúce text aj obrázky, vizuálne vyhľadávanie umožní ChatGPT spracovať tieto obrázky natívne spolu s digitálne extrahovaným textom. Nasledujúce kroky dopĺňajú naše štandardné postupy spracovania kontextu pre multimediálne PDF:
Extrakcia a embedding obrázkov: Obrázky sa extrahujú a vkladajú spolu s ich súvisiacim digitálnym textom.
Inteligentné škálovanie: Obrázky sa automaticky škálujú tak, aby sa zachovala rovnováha medzi kvalitou informácií a efektívnym využitím dostupného kontextového okna.
Keď nahrané PDF prekročia limit 110 tisíc tokenov, obrázky aj text sa vložia do súkromného vyhľadávacieho indexu. Textové embeddingy odkazujú na relevantné obrázky, čo umožňuje ChatGPT načítať vhodné páry textu a obrázka na základe dotazov používateľa. Načítané obrázky sa potom spracujú pomocou natívnych multimodálnych schopností ChatGPT.
Presný odhad požiadaviek na tokeny pre multimediálne PDF je náročný. Testovanie naznačuje, že približne 350 strán zmiešaného textu a obrázkov plne využije kontextové okno s kapacitou 110 tisíc tokenov.
Stratégie vyhľadávania podľa typu modelu
Modely série GPT aj série o podporujú nahrávanie súborov a používajú rovnakú logiku vkladania kontextu a vyhľadávacích embeddingov. Všetky modely vykonávajú hybridné vyhľadávania v súkromnom vyhľadávacom indexe, pričom kombinujú kľúčové slová a sémantické metódy. Pri hybridnom vyhľadávaní model vygeneruje vyhľadávaciu frázu na základe príkazu používateľa a súkromný vyhľadávací index podľa toho načíta relevantný text a obrázky.
Tieto modely sa však líšia v tom, ako vyhľadávajú vo veľkých dokumentoch, ktoré presahujú kontextové okno:
modely série GPT
Jedno vyhľadávanie na príkaz: Modely série GPT vykonajú jedno vyhľadávanie na každý príkaz používateľa.
Efektívne prípady použitia: Ideálne na zodpovedanie priamočiarych otázok vložených v rozsiahlej dokumentácii.
Príklady dotazov:
„Aké sú zásady HR pre predčasný dôchodok?“
„Čo robí funkcia
process_order?“
modely série o
Viacero vyhľadávaní na príkaz: Dokážu vykonať viacero vyhľadávaní (zvyčajne 2 – 3) na jeden príkaz používateľa, každé s jedinečnou vyhľadávacou frázou. Vyhľadávania sa vykonávajú postupne a model môže upraviť svoj postup na základe informácií získaných v predchádzajúcich vyhľadávaniach.
Efektívne prípady použitia: Vhodnejšie pre zložité otázky vyžadujúce viacero cielených vyhľadávaní v rozsiahlej dokumentácii.
Príklady dotazov:
„Aké sú zásady HR pre predčasný dôchodok, rodičovskú dovolenku a presun do zahraničia?“
„Vysvetli, čo robí funkcia
process_order, uveď všetky metódy, ktoré táto funkcia volá, a stručne opíš každú volanú metódu.“
Napriek svojim silným stránkam môžu mať modely série o problémy, keď dotaz vyžaduje viac než tri vyhľadávania.
Tipy na zlepšenie výsledkov vyhľadávania v súboroch
Pri zložitých otázkach vyžadujúcich viacero vyhľadávaní skúste použiť model série o.
Pamätajte, že odpovede sa môžu líšiť v závislosti od typu, počtu a veľkosti dokumentov, ktoré nahráte.
Vo všeobecnosti platí, že načítanie menšieho počtu zameraných dokumentov povedie k vyššej presnosti.
Témy s viacerými otázkami premeňte na jednotlivé otázky:
Ak potrebujete poznať HR zásady každého štátu, pýtajte sa na ne po jednom.
Ak potrebujete zhrnúť veľa dokumentov, pýtajte si vždy jeden dokument naraz. Ak má daný dokument mnoho stoviek strán, zvážte jeho rozdelenie na menšie časti.
Môžete požiadať ChatGPT Enterprise, aby napísal „súhrn súhrnov“, ak mu namiesto celých dokumentov poskytnete viacero súhrnov.
Ak máte CSV s RFP (každý riadok je iná otázka), pýtajte sa na tieto otázky po jednom namiesto toho, aby ste len načítali CSV a požiadali o jednu odpoveď.
Nájdite spôsoby, ako auditovať odpovede modelu. Príklady pokynov pre GPT sú nižšie:
# Kontext
Ste expert na porozumenie dokumentom. Používateľ priloží dokument a položí otázku. Musí byť schopný prepojiť vašu odpoveď s presnou časťou textu, z ktorej ste odpoveď získali.
# Pokyny
1. Odpovedzte na otázku používateľa na základe jeho priloženého dokumentu s použitím presného formátu uvedeného nižšie
# Formát
- Otázka: { zopakujte otázku používateľa }
- Odpoveď: { poskytnite odpoveď na otázku používateľa }
Zdroj:
- - Číslo sekcie: { uveďte číslo sekcie, z ktorej ste prevzali odpoveď }
- - Názov sekcie: { uveďte názov sekcie, z ktorej ste prevzali odpoveď }
- - Presný text: { uveďte presný text, z ktorého ste prevzali odpoveď }
# Pravidlá
- Odpovedajte jasne a stručne
- Uvádzajte iba informácie obsiahnuté v dokumente
- Ak odpoveď v dokumente nenájdete, jednoducho odpovedzte „Nenašli sa žiadne informácie.“