ChatGPT Enterprise kan nu ook visuele elementen (afbeeldingen, grafieken, diagrammen enz.) lezen en begrijpen in PDF-bestanden die aan prompts zijn toegevoegd. Gebruikers kunnen een pdf uploaden, waarna ChatGPT de tekst en eventuele visuele elementen in dat bestand kan interpreteren.
Meer informatie vind je in: Veelgestelde vragen over visueel zoeken in pdf's.
In ChatGPT Enterprise kun je op verschillende manieren bestanden uploaden:
Rechtstreeks vanaf je computer
Als projectbestand
Vanuit een GPT-actie
Deze gids legt uit hoe de functies van ChatGPT Enterprise bestanden verwerken op basis van type, aantal en grootte. Ook lees je hoe je betere resultaten krijgt door rekening te houden met de vereisten voor je bestanden.
Samenvatting
ChatGPT Enterprise verwerkt bestandstypen op heel verschillende manieren: het extraheert tekst uit tekstdocumenten zoals pdf's, presentaties en Word-bestanden, analyseert gestructureerde gegevens uit spreadsheets met Python-code en beschrijft afbeeldingsbestanden via GPT-Vision. Om het verwachte resultaat te krijgen, is het belangrijk te weten welk bestandstype welke workflow activeert.
Bij tekstdocumenten neemt ChatGPT Enterprise zoveel mogelijk relevante tekst rechtstreeks op naast de prompt en gebruikt het een zoeksysteem om aanvullende informatie op te halen. Dit werkt goed voor het beantwoorden van gerichte vragen. Deze aanpak kan echter moeite hebben met complexe taken, zoals het samenvatten van zeer grote documenten of het vergelijken van meerdere grote bestanden. Lees verder om te ontdekken hoe je betere resultaten krijgt.
Bestanden verwerken op basis van type
ChatGPT Enterprise verwerkt bestanden op drie hoofdmanieren: tekstextractie, analyse met code en beeldinterpretatie. Het bestandstype bepaalt welke workflow ChatGPT Enterprise volgt.
| Zoeken op basis van tekst | Code-interpreter | Beeldverwerking | Visueel zoeken | |
|---|---|---|---|---|
| Voorbeelden van bestandstypen | pptx, docx, txt, md, json, xml, pdf* * Pdf's geüpload als kennis voor een GPT of projectbestanden | csv, xls, xlsx* *Opmerking: Code-interpreter kan met elk bestandstype werken, maar ChatGPT Enterprise kiest vooral bij spreadsheets standaard voor CI | jpg, png | pdf* * Pdf's die aan gebruikersprompts zijn toegevoegd |
| Werking | Extraheert de tekst uit het bestand: een deel wordt rechtstreeks in het contextvenster geplakt ("ingevuld"); een ander deel wordt opgeslagen om later te doorzoeken | Code-interpreter geeft het bestand door aan Python voor verwerking | Afbeeldingen worden rechtstreeks geïnterpreteerd door multimodale modellen, met bekende beperkingen. | Een combinatie van tekst ophalen en beeldverwerking. Tekst wordt digitaal geëxtraheerd en visuele inhoud wordt rechtstreeks geïnterpreteerd door multimodale modellen. |
Voor bestanden met alleen tekst, afbeeldingsbestanden of duidelijk gestructureerde gegevensbestanden (zoals een Excel-tabel met transacties) levert deze indeling de beste verwerking op.
In sommige gevallen is de verwerking minder vanzelfsprekend, bijvoorbeeld:
Afbeeldingen die zijn ingesloten in andere bestanden dan pdf's worden niet verwerkt. Wil je die ook meenemen, zet het bestand dan vóór het uploaden om naar een pdf.
ChatGPT Enterprise gebruikt altijd Code-interpreter om met spreadsheets te werken, ook als het document veel tekst bevat. Als je ChatGPT Enterprise bijvoorbeeld vraagt om een CSV-bestand met 10 rijen tekst te vertalen, probeert het dit met een Python-bibliotheek te doen. Dat is minder nauwkeurig dan wanneer je het model rechtstreeks een vertaling laat genereren. Om dit te ondervangen, kun je de spreadsheet exporteren naar een tekstgebaseerd formaat, zoals pdf.
Ook als je een gestructureerde transactietabel in een JSON-bestand uploadt, interpreteert ChatGPT Enterprise dit bestand als platte tekst. Wil je de gegevens in een JSON-bestand analyseren, geef het model dan in je prompt de opdracht om Code-interpreter te gebruiken.
Bestanden verwerken op basis van grootte
ChatGPT Enterprise gebruikt modellen met een maximaal contextvenster van 128k tokens (ongeveer 200 pagina’s tekst). Niet alle tokens worden echter gebruikt om de tekst uit geüploade bestanden op te nemen. Het aantal “ingevoegde” tokens verschilt per gebruikstype.
ChatGPT Enterprise “voegt” een bepaalde hoeveelheid tekst in, en de resterende tekst wordt naar een privézoekindex gestuurd (een “vector store”, een type database dat is ontworpen om grote hoeveelheden tekst efficiënt op te slaan en op te halen). Wanneer je een vraag stelt, haalt ChatGPT Enterprise de opgenomen tekst erbij, samen met relevante fragmenten die uit een privézoekindex zijn opgehaald.
Als je één document uploadt, neemt ChatGPT Enterprise tekst vanaf het begin op totdat de limiet is bereikt. Als je meerdere documenten uploadt, neemt ChatGPT Enterprise een deel of alles van elk document op. Alle tekst uit de documenten wordt ook naar een privézoekindex gestuurd.
Contextvulling voor tekstdocumenten
Deze functie is actief in ontwikkeling. Daarom kunnen de volgende details zonder voorafgaande kennisgeving worden gewijzigd.
ChatGPT Enterprise kan maximaal 110.000 tokens uit geüploade documenten verwerken in het contextvenster. Als je een of meer documenten uploadt die samen minder dan 110.000 tokens bevatten, wordt de volledige inhoud opgenomen.
Bij één document met meer dan 110.000 tokens worden alleen de eerste 110.000 tokens opgenomen, vanaf het begin van het document. De rest wordt alleen naar de privézoekindex gestuurd.
Als je meerdere documenten uploadt die samen meer dan 110.000 tokens bevatten, gebruikt ChatGPT Enterprise het volgende proces om de documenten evenwichtig te vertegenwoordigen:
Maximaal 55.000 tokens extraheren, gelijk verdeeld over de geüploade documenten.
De resterende 55.000 tokens naar verhouding toewijzen aan documenten die in de eerste stap niet volledig zijn opgenomen, op basis van het aantal resterende tokens in elk document.
Alle overige tokens worden alleen naar de privézoekindex gestuurd.
Je kunt het aantal tokens in een tekstdocument schatten door de tekst van het document te kopiëren naar de OpenAI Tokenizer.
Het contextvenster vullen met multimedia-pdf's
Wanneer gebruikers pdf's met tekst en afbeeldingen uploaden, kan ChatGPT dankzij visueel zoeken deze afbeeldingen rechtstreeks verwerken, naast de digitaal geëxtraheerde tekst. Bij multimedia-pdf's vullen de volgende stappen onze standaardprocedures voor contextverwerking aan:
Afbeeldingen extraheren en embedden: afbeeldingen worden geëxtraheerd en samen met de bijbehorende digitale tekst als embeddings vastgelegd.
Slim schalen: afbeeldingen worden automatisch geschaald om de informatiekwaliteit en het efficiënte gebruik van het beschikbare contextvenster in balans te houden.
Wanneer geüploade pdf's de limiet van 110.000 tokens overschrijden, worden zowel afbeeldingen als tekst als embeddings in de privézoekindex opgeslagen. Tekstembeddings verwijzen naar relevante afbeeldingen, zodat ChatGPT op basis van gebruikersvragen de juiste tekst-afbeeldingsparen kan ophalen. De opgehaalde afbeeldingen worden vervolgens verwerkt met de ingebouwde multimodale mogelijkheden van ChatGPT.
Het is lastig om nauwkeurig te schatten hoeveel tokens multimedia-pdf's nodig hebben. Tests wijzen erop dat ongeveer 350 pagina's met een mix van tekst en afbeeldingen het contextvenster van 110.000 tokens volledig vullen.
Zoekstrategieën op basis van modeltype
Zowel GPT-serie modellen als o-serie modellen ondersteunen bestandsuploads en gebruiken identieke logica voor contextvulling en zoek-embeddings. Alle modellen voeren hybride zoekopdrachten uit op een privézoekindex, waarbij trefwoord- en semantische methoden worden gecombineerd. Bij een hybride zoekopdracht genereert het model een zoekterm op basis van de prompt van de gebruiker, waarna de privézoekindex relevante tekst en afbeeldingen ophaalt.
Deze modellen verschillen echter in hoe ze zoeken in grote documenten die het contextvenster overschrijden:
modellen uit de GPT-serie
Eén zoekopdracht per prompt: Modellen uit de GPT-serie voeren per gebruikersprompt één zoekopdracht uit.
Geschikte toepassingen: Ideaal voor het beantwoorden van eenvoudige vragen waarvan het antwoord in uitgebreide documentatie staat.
Voorbeeldvragen:
"Wat is het HR-beleid voor vervroegd pensioen?"
"Wat doet de functie process_order?"
modellen uit de o-serie
Meerdere zoekopdrachten per prompt: Kan per gebruikersprompt meerdere zoekopdrachten uitvoeren (doorgaans 2 à 3), elk met een unieke zoekterm. Zoekopdrachten worden achtereenvolgens uitgevoerd en het model kan zijn aanpak aanpassen op basis van informatie uit eerdere zoekopdrachten.
Geschikte toepassingen: Beter geschikt voor complexe vragen waarvoor meerdere gerichte zoekopdrachten in uitgebreide documentatie nodig zijn.
Voorbeeldvragen:
"Wat is het HR-beleid voor vervroegd pensioen, ouderschapsverlof en overplaatsing naar het buitenland?"
"Leg uit wat de functie process_order doet, noem alle methoden die deze functie aanroept en beschrijf elke aangeroepen methode kort."
Ondanks hun sterke punten kunnen modellen uit de o-serie moeite hebben met vragen waarvoor meer dan drie zoekopdrachten nodig zijn.
Tips om zoekresultaten voor bestanden te verbeteren
Probeer een o-serie model te gebruiken voor complexe vragen waarvoor meerdere zoekopdrachten nodig zijn.
Onthoud dat antwoorden kunnen variëren afhankelijk van het type, het aantal en de grootte van de documenten die je uploadt.
Over het algemeen leidt het laden van minder, gerichte documenten tot hogere nauwkeurigheid.
Zet onderwerpen met meerdere vragen om in losse vragen:
Als je het HR-beleid van elke staat moet kennen, stel de vragen dan één voor één.
Als je veel documenten moet samenvatten, vraag dan om één document tegelijk. Als dat document vele honderden pagina’s telt, overweeg dan het in kleinere onderdelen op te splitsen.
Je zou ChatGPT Enterprise kunnen vragen een “samenvatting van samenvattingen” te schrijven als je het meerdere samenvattingen geeft in plaats van volledige documenten.
Als je een CSV van een RFP hebt (elke regel is een andere vraag), stel die vragen dan één voor één in plaats van alleen de CSV te laden en om één antwoord te vragen.
Zoek manieren om de antwoorden van het model te controleren. Voorbeeldinstructies voor GPT staan hieronder:
# Context
Je bent een expert in het begrijpen van documenten. De gebruiker gaat een document toevoegen en een vraag stellen. Ze moeten jouw antwoord kunnen herleiden tot het exacte deel van de tekst waaruit je je antwoord hebt gehaald.
# Instructies
1. Beantwoord de vraag van de gebruiker op basis van het bijgevoegde document en gebruik exact de onderstaande indeling
# Indeling
- Vraag: { herhaal de vraag van de gebruiker }
- Antwoord: { geef een antwoord op de vraag van de gebruiker }
Bron:
- - Sectienummer: { geef het sectienummer waaruit je het antwoord hebt gehaald }
- - Sectietitel: { geef de sectietitel waaruit je het antwoord hebt gehaald }
- - Exacte tekst: { geef de exacte tekst waaruit je het antwoord hebt gehaald }
# Regels
- Geef antwoorden die duidelijk en beknopt zijn
- Geef alleen informatie die in het document staat
- Als je het antwoord niet in het document kunt vinden, antwoord dan simpelweg “Geen informatie gevonden.”