ChatGPT Enterprise kan nu läsa och förstå visuellt innehåll (bilder, grafer, diagram med mera) som är inbäddat i PDF-filer som bifogas i prompter. Användare kan ladda upp en PDF-fil, och ChatGPT kan tolka texten och eventuella visuella element i filen.
Mer information finns i Vanliga frågor om visuell informationshämtning i PDF-filer.
Med ChatGPT Enterprise kan du ladda upp filer på flera sätt:
Direkt från din dator
Som en projektfil
Från en GPT-åtgärd
Den här guiden förklarar hur funktionerna i ChatGPT Enterprise hanterar filer utifrån typ, antal och storlek, och beskriver strategier för att få bättre resultat utifrån filernas förutsättningar.
Sammanfattning
ChatGPT Enterprise hanterar olika filtyper på helt olika sätt: text extraheras ur textdokument som PDF-filer, presentationer och Word-filer, strukturerade data från kalkylblad analyseras med Python-kod och bildfiler beskrivs med GPT-Vision. För att få det förväntade resultatet är det viktigt att förstå vilken filtyp som utlöser vilket arbetsflöde.
För textbaserade dokument inkluderar ChatGPT Enterprise så mycket relevant text som möjligt direkt tillsammans med prompten och använder ett söksystem för att komma åt ytterligare information. Det fungerar bra för att besvara specifika frågor. Metoden kan däremot ha svårt att hantera komplexa uppgifter, som att sammanfatta mycket stora dokument eller jämföra flera stora filer. Läs vidare om strategier för att få bättre resultat.
Filhantering utifrån filtyp
ChatGPT Enterprise bearbetar filer på tre huvudsakliga sätt: textextrahering, analys med kod och bildtolkning. Filtypen avgör vilket arbetsflöde ChatGPT Enterprise följer.
| Textbaserad informationshämtning | Kodtolkare | Bildbehandling | Visuell informationshämtning | |
|---|---|---|---|---|
| Exempel på filtyper | pptx, docx, txt, md, json, xml, pdf* * PDF-filer som laddas upp som kunskapsmaterial för en GPT eller projektfiler | csv, xls, xlsx* * Obs! Kodtolkare kan hantera alla filtyper, men ChatGPT Enterprise använder oftast Kodtolkare som standard för kalkylblad. | jpg, png | pdf* * PDF-filer som bifogas i användarens prompter |
| Så fungerar det | Texten extraheras ur filen – en del klistras in (”packas in”) direkt i kontextfönstret, medan annan text lagras för sökning. | Kodtolkare skickar filen till Python för bearbetning. | Bilder tolkas direkt av multimodala modeller, med vissa kända begränsningar. | En kombination av textbaserad informationshämtning och bildbehandling. Text extraheras digitalt och visuellt innehåll tolkas direkt av multimodala modeller. |
För rena textfiler, bildfiler eller filer med tydligt strukturerade data (till exempel en Excel-tabell med transaktioner) ger den här uppdelningen bästa möjliga hantering.
Det finns dock vissa gränsfall där hanteringen är mindre självklar, till exempel:
Bilder som är inbäddade i andra filer än PDF-filer bearbetas inte. För att få med dem behöver du konvertera filen till PDF innan du laddar upp den.
ChatGPT Enterprise använder alltid Kodtolkare för att hantera kalkylblad, även om dokumentet innehåller mycket text. Om du till exempel ber ChatGPT Enterprise att översätta en CSV-fil med 10 rader text försöker det översätta filen med ett Python-bibliotek. Det ger sämre precision än att låta modellen generera en översättning direkt. För att minska problemet kan du prova att exportera kalkylbladet till ett textbaserat format, till exempel PDF.
På liknande sätt tolkar ChatGPT Enterprise en strukturerad transaktionstabell som vanlig text om du laddar upp den i en JSON-fil. Om du vill analysera data i en JSON-fil ska du ange i prompten att modellen ska använda Kodtolkare.
Hantera filer baserat på storlek
ChatGPT Enterprise använder modeller med ett maximalt kontextfönster på 128 000 token (ungefär 200 sidor text). Alla token används dock inte för att införliva texten från uppladdade filer. Antalet ”infogade” token varierar beroende på användningstyp.
ChatGPT Enterprise ”infogar” en viss mängd text, och återstående text skickas till ett privat sökindex (ett ”vektorlager”, som är en typ av databas utformad för att effektivt lagra och hämta stora mängder text). När du ställer en fråga tar ChatGPT Enterprise med den inkluderade texten tillsammans med relevanta delar som hämtas från ett privat sökindex.
Om du laddar upp ett enda dokument inkluderar ChatGPT Enterprise text från början tills gränsen nås. Om du laddar upp flera dokument inkluderar ChatGPT Enterprise delar av eller hela varje dokument. All text från dokumenten skickas också till ett privat sökindex.
Kontextfyllning för textdokument
Den här funktionen är under aktiv utveckling. Därför kan följande detaljer ändras utan föregående meddelande.
ChatGPT Enterprise kan bearbeta upp till 110 000 token från uppladdade dokument i kontextfönstret. Om du laddar upp ett eller flera dokument med sammanlagt färre än 110 000 token inkluderas hela innehållet.
För ett enskilt dokument som överstiger 110 000 token inkluderas endast de första 110 000, räknat från dokumentets början. Resten skickas enbart till det privata sökindexet.
Om flera dokument laddas upp och tillsammans överstiger 110 000 token använder ChatGPT Enterprise följande process för att balansera hur mycket som tas med från varje dokument:
Extrahera upp till 55 000 token, jämnt fördelade mellan de uppladdade dokumenten.
Fördela utrymmet för de återstående 55 000 token mellan dokument som inte kom med i sin helhet i det första steget, proportionellt mot antalet token som återstår i varje dokument.
Eventuella återstående token skickas enbart till det privata sökindexet.
Du kan uppskatta antalet token i ett textdokument genom att kopiera dokumentets text till OpenAI:s tokeniserare.
Så fylls kontextfönstret med innehåll från PDF-filer med multimedia
När användare laddar upp PDF-filer med både text och bilder gör visuell informationshämtning det möjligt för ChatGPT att bearbeta bilderna direkt tillsammans med digitalt extraherad text. För PDF-filer med multimedia kompletteras våra vanliga rutiner för kontexthantering med följande steg:
Bildextrahering och inbäddning: Bilder extraheras och bäddas in tillsammans med tillhörande digital text.
Intelligent skalning: Bilder skalas automatiskt för att balansera informationskvaliteten mot ett effektivt utnyttjande av det tillgängliga kontextfönstret.
När uppladdade PDF-filer överskrider gränsen på 110 000 token bäddas både bilder och text in i det privata sökindexet. Textinbäddningar hänvisar till relevanta bilder, vilket gör att ChatGPT kan hämta rätt text- och bildpar utifrån användarens frågor. De hämtade bilderna bearbetas sedan med ChatGPT:s inbyggda multimodala funktioner.
Det är svårt att exakt uppskatta hur många token som behövs för PDF-filer med multimedia. Tester tyder på att ungefär 350 sidor med blandad text och bilder fyller hela kontextfönstret på 110 000 token.
Sökstrategier baserade på modelltyp
Både modeller i GPT-serien och o-serien stöder filuppladdningar och använder identisk logik för kontextfyllning och sökinbäddning. Alla modeller utför hybridsökningar mot ett privat sökindex och kombinerar nyckelordsbaserade och semantiska metoder. I en hybridsökning genererar modellen en sökfras baserad på användarens prompt, och det privata sökindexet hämtar relevant text och relevanta bilder utifrån den.
Dessa modeller skiljer sig dock åt i hur de söker igenom stora dokument som överskrider kontextfönstret:
modeller i GPT-serien
En sökning per prompt: Modeller i GPT-serien gör en sökning per användarprompt.
Lämpliga användningsområden: Perfekt för att besvara enkla frågor vars svar finns i omfattande dokumentation.
Exempel på frågor:
"Vilken HR-policy gäller för förtidspension?"
"Vad gör funktionen process_order?"
modeller i o-serien
Flera sökningar per prompt: Kan göra flera sökningar (vanligtvis 2–3) per användarprompt, var och en med en unik sökfras. Sökningarna görs i tur och ordning, och modellen kan anpassa sin metod utifrån information som hämtats vid tidigare sökningar.
Lämpliga användningsområden: Passar bättre för komplexa frågor som kräver flera riktade sökningar i omfattande dokumentation.
Exempel på frågor:
"Vilka HR-policyer gäller för förtidspension, föräldraledighet och utlandsstationering?"
"Förklara vad funktionen process_order gör, lista alla metoder som funktionen anropar och beskriv kortfattat varje anropad metod."
Trots sina styrkor kan modeller i o-serien få problem när en fråga kräver fler än tre sökningar.
Tips för att förbättra filsökningsresultat
Prova att använda en modell i o-serien för komplexa frågor som kräver flera sökningar.
Kom ihåg att svaren kan variera beroende på typ, antal och storlek på de dokument du laddar upp.
Generellt leder färre, fokuserade dokument till högre noggrannhet.
Gör ämnen med flera frågor till enskilda frågor:
Om du behöver känna till HR-policyer för varje delstat, ställ frågorna en i taget.
Om du behöver sammanfatta många dokument, be om ett dokument i taget. Om det dokumentet är många hundra sidor långt kan du överväga att dela upp det i mindre komponenter.
Du kan be ChatGPT Enterprise att skriva en ”sammanfattning av sammanfattningar” om du matar in flera sammanfattningar i stället för hela dokument.
Om du har en CSV med en RFP (där varje rad är en annan fråga), ställ frågorna en i taget i stället för att bara läsa in CSV:n och begära ett enda svar.
Hitta sätt att granska modellens svar. Exempel på GPT-instruktioner finns nedan:
# Kontext
Du är expert på att förstå dokument. Användaren kommer att bifoga ett dokument och ställa en fråga. De behöver kunna koppla ditt svar tillbaka till den exakta del av texten där du hämtade svaret.
# Instruktioner
1. Svara på användarens fråga utifrån det bifogade dokumentet med exakt det format som anges nedan
# Format
- Fråga: { upprepa användarens fråga }
- Svar: { ge ett svar på användarens fråga }
Källa:
- - Avsnittsnummer: { ange avsnittsnumret där du hämtade svaret }
- - Avsnittsrubrik: { ange avsnittsrubriken där du hämtade svaret }
- - Exakt text: { ange den exakta text där du hämtade svaret }
# Regler
- Ge svar som är tydliga och koncisa
- Ge endast information som finns i dokumentet
- Om du inte kan hitta svaret i dokumentet, svara bara ”Ingen information hittades.”