ChatGPT Enterprise kann jetzt auch visuelle Inhalte (Bilder, Graphen, Diagramme usw.) lesen und verstehen, die in PDF-Dateien eingebettet sind, wenn du diese einem Prompt hinzufügst. Du kannst ein PDF hochladen, und ChatGPT kann den Text und alle visuellen Elemente in dieser Datei interpretieren.
Weitere Informationen findest du in den FAQ zur visuellen Suche in PDFs.
In ChatGPT Enterprise kannst du Dateien auf verschiedene Arten hochladen:
Direkt von deinem Computer
Als Wissen für GPTs
Als Projektdatei
Über eine GPT-Aktion
Dieser Leitfaden erklärt, wie die Funktionen von ChatGPT Enterprise Dateien je nach Typ, Anzahl und Größe verarbeiten. Er zeigt außerdem Strategien, mit denen du die Modellergebnisse je nach Anforderungen der Dateien verbessern kannst.
Zusammenfassung
ChatGPT Enterprise verarbeitet verschiedene Dateitypen auf sehr unterschiedliche Weise: Es extrahiert Text aus Textdokumenten wie PDFs, Präsentationen und Word-Dateien, analysiert strukturierte Daten aus Tabellen mit Python-Code und beschreibt Bilddateien mithilfe von GPT-Vision. Um das erwartete Ergebnis zu erhalten, ist es wichtig zu verstehen, welcher Dateityp welchen Ablauf auslöst.
Bei textbasierten Dokumenten nimmt ChatGPT Enterprise so viel relevanten Text wie möglich direkt zusammen mit dem Prompt auf und nutzt ein Suchsystem, um auf weitere Informationen zuzugreifen. Das funktioniert gut, um konkrete Fragen zu beantworten. Bei komplexen Aufgaben kann dieser Ansatz jedoch an Grenzen stoßen, etwa beim Zusammenfassen sehr großer Dokumente oder beim Vergleichen mehrerer großer Dateien. Lies weiter, um zu erfahren, wie du deine Ergebnisse verbessern kannst.
Dateien je nach Typ verarbeiten
ChatGPT Enterprise verarbeitet Dateien hauptsächlich auf drei Arten: Textextraktion, Analyse mithilfe von Code und Bildinterpretation. Der Dateityp bestimmt, welchen Ablauf ChatGPT Enterprise verwendet.
| Textbasierte Suche | Code Interpreter | Bildverarbeitung | Visuelle Suche | |
|---|---|---|---|---|
| Beispiele für Dateitypen | pptx, docx, txt, md, json, xml, pdf* * PDFs, die als Wissen für GPTs oder Projektdateien hochgeladen werden | csv, xls, xlsx* *Hinweis: Code Interpreter kann jeden Dateityp verarbeiten. ChatGPT Enterprise verwendet CI jedoch am häufigsten standardmäßig für Tabellen. | jpg, png | pdf* * PDFs, die du deinen Prompts hinzufügst |
| Verhalten | Extrahiert den Text aus der Datei. Ein Teil des Textes wird direkt in das Kontextfenster eingefügt, ein anderer Teil für die Suche gespeichert. | Code Interpreter übergibt die Datei zur Verarbeitung an Python. | Bilder werden nativ von multimodalen Modellen interpretiert. Dabei gelten bekannte Einschränkungen. | Eine Kombination aus Textsuche und Bildverarbeitung. Text wird digital extrahiert, und visuelle Inhalte werden nativ von multimodalen Modellen interpretiert. |
Für reine Textdateien, Bilddateien oder klar strukturierte Datendateien (z. B. eine Excel-Tabelle mit Transaktionen) bietet diese Zuordnung die bestmögliche Verarbeitung.
Es gibt jedoch einige weniger eindeutige Fälle, zum Beispiel:
Bilder, die in andere Dateien als PDFs eingebettet sind, werden nicht verarbeitet. Damit sie berücksichtigt werden, wandle die Datei vor dem Hochladen in ein PDF um.
ChatGPT Enterprise verwendet für die Arbeit mit Tabellen immer Code Interpreter, auch wenn das Dokument viel Text enthält. Wenn du ChatGPT Enterprise beispielsweise bittest, eine CSV-Datei mit 10 Textzeilen zu übersetzen, versucht es, die Datei mithilfe einer Python-Bibliothek zu übersetzen. Das ist weniger genau, als wenn das Modell direkt eine Übersetzung erstellt. Um das zu vermeiden, kannst du die Tabelle in ein textbasiertes Format exportieren, zum Beispiel PDF.
Wenn du eine strukturierte Transaktionstabelle in einer JSON-Datei hochlädst, interpretiert ChatGPT Enterprise diese Datei ebenfalls als reinen Text. Wenn du die Daten in einer JSON-Datei analysieren möchtest, weise das Modell in deinem Prompt an, Code Interpreter zu verwenden.
Dateien nach Größe verarbeiten
ChatGPT Enterprise verwendet Modelle mit einem maximalen Kontextfenster von 128k Token (etwa 200 Textseiten). Allerdings werden nicht alle Token verwendet, um den Text aus hochgeladenen Dateien einzubinden. Die Anzahl der „eingefügten“ Token variiert je nach Nutzungsart.
ChatGPT Enterprise „fügt“ eine gewisse Textmenge ein, und der verbleibende Text wird an einen privaten Suchindex gesendet (einen „Vektorspeicher“, eine Art Datenbank, die große Textmengen effizient speichern und abrufen kann). Wenn Sie eine Frage stellen, zieht ChatGPT Enterprise den eingebundenen Text zusammen mit relevanten Abschnitten heran, die aus einem privaten Suchindex abgerufen werden.
Wenn Sie ein einzelnes Dokument hochladen, bindet ChatGPT Enterprise Text vom Anfang an ein, bis das Limit erreicht ist. Wenn Sie mehrere Dokumente hochladen, bindet ChatGPT Enterprise Teile oder die Gesamtheit jedes Dokuments ein. Der gesamte Text aus den Dokumenten wird außerdem an einen privaten Suchindex gesendet.
Kontextbefüllung für Textdokumente
Diese Funktion befindet sich in aktiver Entwicklung. Daher können sich die folgenden Details ohne Vorankündigung ändern.
ChatGPT Enterprise kann bis zu 110.000 Token aus hochgeladenen Dokumenten im Kontextfenster verarbeiten. Wenn du ein oder mehrere Dokumente mit insgesamt weniger als 110.000 Token hochlädst, wird der gesamte Inhalt aufgenommen.
Bei einem einzelnen Dokument mit mehr als 110.000 Token werden nur die ersten 110.000 Token ab dem Dokumentanfang aufgenommen. Der Rest wird nur an den privaten Suchindex übergeben.
Wenn mehrere Dokumente hochgeladen werden und sie zusammen mehr als 110.000 Token enthalten, geht ChatGPT Enterprise wie folgt vor, um die Dokumente ausgewogen zu berücksichtigen:
Bis zu 55.000 Token werden extrahiert, gleichmäßig auf die hochgeladenen Dokumente verteilt.
Für Dokumente, die im ersten Schritt nicht vollständig aufgenommen wurden, werden die verbleibenden 55.000 Token proportional zur Anzahl der noch übrigen Token in jedem Dokument zugeteilt.
Alle danach noch übrigen Token werden nur an den privaten Suchindex übergeben.
Du kannst die Anzahl der Token in einem Textdokument abschätzen, indem du den Text des Dokuments in den OpenAI Tokenizer kopierst.
Multimediale PDF-Inhalte in das Kontextfenster aufnehmen
Wenn du PDFs mit Text und Bildern hochlädst, ermöglicht die visuelle Suche ChatGPT, diese Bilder nativ zusammen mit dem digital extrahierten Text zu verarbeiten. Bei multimedialen PDFs ergänzen die folgenden Schritte unsere Standardverfahren zur Kontextverarbeitung:
Bildextraktion und Einbettung: Bilder werden extrahiert und zusammen mit dem zugehörigen digitalen Text eingebettet.
Intelligente Skalierung: Bilder werden automatisch skaliert, um Informationsqualität und effiziente Nutzung des verfügbaren Kontextfensters in Einklang zu bringen.
Wenn hochgeladene PDFs die Grenze von 110.000 Token überschreiten, werden sowohl Bilder als auch Text in den privaten Suchindex eingebettet. Text-Embeddings verweisen auf relevante Bilder. So kann ChatGPT anhand deiner Anfragen die passenden Text-Bild-Paare abrufen. Die abgerufenen Bilder werden anschließend mit den nativen multimodalen Fähigkeiten von ChatGPT verarbeitet.
Der Token-Bedarf multimedialer PDFs lässt sich nur schwer genau abschätzen. Tests deuten darauf hin, dass etwa 350 Seiten mit einer Mischung aus Text und Bildern das Kontextfenster von 110.000 Token vollständig ausfüllen.
Suchstrategien nach Modelltyp
Sowohl Modelle der GPT-Serie als auch der o-Serie unterstützen Dateiuploads und verwenden identische Logik für Kontextbefüllung und Suchembeddings. Alle Modelle führen hybride Suchen in einem privaten Suchindex aus und kombinieren dabei Keyword- und semantische Methoden. Bei einer hybriden Suche erzeugt das Modell eine Suchphrase auf Grundlage des Prompts der Nutzer:innen, und der private Suchindex ruft entsprechend relevante Texte und Bilder ab.
Diese Modelle unterscheiden sich jedoch darin, wie sie große Dokumente durchsuchen, die das Kontextfenster überschreiten:
Modelle der GPT-Serie
Ein Suchvorgang pro Prompt: Modelle der GPT-Serie führen pro Prompt einen Suchvorgang aus.
Geeignete Anwendungsfälle: Ideal zur Beantwortung einfacher Fragen, deren Antworten in umfangreicher Dokumentation enthalten sind.
Beispielanfragen:
"What is the HR policy for early retirement?"
"What does the process_order function do?"
Modelle der o-Serie
Mehrere Suchvorgänge pro Prompt: Pro Prompt können mehrere Suchvorgänge (meist zwei bis drei) mit jeweils einer eigenen Suchphrase ausgeführt werden. Die Suchvorgänge werden nacheinander ausgeführt. Das Modell kann seine Vorgehensweise anhand der Ergebnisse vorheriger Suchvorgänge anpassen.
Geeignete Anwendungsfälle: Eignet sich besser für komplexe Fragen, die mehrere gezielte Suchvorgänge in umfangreicher Dokumentation erfordern.
Beispielanfragen:
"What are the HR policies for early retirement, parental leave, and overseas transfer?"
"Explain what the process_order function does, list all methods invoked by this function, and briefly describe each invoked method."
Trotz ihrer Stärken können Modelle der o-Serie Schwierigkeiten mit Anfragen haben, die mehr als drei Suchvorgänge erfordern.
Tipps zur Verbesserung von Dateisuchergebnissen
Versuchen Sie, für komplexe Fragen, die mehrere Suchen erfordern, ein Modell der o-Serie zu verwenden.
Denken Sie daran, dass Antworten je nach Typ, Anzahl und Größe der hochgeladenen Dokumente variieren können.
Im Allgemeinen führt das Laden weniger, fokussierter Dokumente zu höherer Genauigkeit.
Wandeln Sie Themen mit mehreren Fragen in Einzelfragen um:
Wenn Sie die HR-Richtlinien jedes Bundesstaats kennen müssen, fragen Sie sie einzeln ab.
Wenn Sie viele Dokumente zusammenfassen müssen, fragen Sie jeweils nach einem Dokument. Wenn dieses Dokument viele Hundert Seiten umfasst, sollten Sie es in kleinere Bestandteile aufteilen.
Sie könnten ChatGPT Enterprise bitten, eine „Zusammenfassung von Zusammenfassungen“ zu erstellen, wenn Sie mehrere Zusammenfassungen statt ganzer Dokumente eingeben.
Wenn Sie eine CSV-Datei zu einem RFP haben (jede Zeile ist eine andere Frage), stellen Sie diese Fragen einzeln, statt nur die CSV zu laden und eine einzige Antwort anzufordern.
Finden Sie Möglichkeiten, die Antworten des Modells zu überprüfen. Beispielhafte GPT-Anweisungen finden Sie unten:
# Kontext
Sie sind Expert:in für das Verstehen von Dokumenten. Die Nutzer:innen werden ein Dokument anhängen und eine Frage stellen. Sie müssen Ihre Antwort auf genau die Textstelle zurückführen können, aus der Sie Ihre Antwort entnommen haben.
# Anweisungen
1. Beantworten Sie die Frage der Nutzer:innen anhand des angehängten Dokuments und verwenden Sie dabei genau das unten angegebene Format
# Format
- Frage: { Frage der Nutzer:innen wiederholen }
- Antwort: { eine Antwort auf die Frage der Nutzer:innen geben }
Quelle:
- - Abschnittsnummer: { Abschnittsnummer angeben, aus der Sie die Antwort entnommen haben }
- - Abschnittstitel: { Abschnittstitel angeben, aus dem Sie die Antwort entnommen haben }
- - Exakter Text: { den exakten Text angeben, aus dem Sie die Antwort entnommen haben }
# Regeln
- Geben Sie klare und prägnante Antworten
- Geben Sie nur Informationen an, die im Dokument enthalten sind
- Wenn Sie die Antwort im Dokument nicht finden können, antworten Sie einfach „Keine Informationen gefunden.“