ChatGPT Enterprise obsługuje teraz odczytywanie i rozumienie elementów wizualnych (obrazów, wykresów, diagramów itp.) osadzonych w plikach PDF dołączonych do poleceń. Użytkownicy mogą przesłać plik PDF, a ChatGPT zinterpretuje tekst oraz wszystkie elementy wizualne w tym pliku.
Szczegóły znajdziesz w artykule: Wyszukiwanie wizualne w plikach PDF — najczęstsze pytania.
ChatGPT Enterprise umożliwia przesyłanie plików na kilka sposobów:
Bezpośrednio z komputera
Jako wiedzę GPT
Jako plik projektu
Za pośrednictwem akcji GPT
Ten przewodnik wyjaśnia, jak funkcje ChatGPT Enterprise obsługują pliki zależnie od ich typu, liczby i rozmiaru, oraz omawia sposoby uzyskiwania lepszych wyników z uwzględnieniem wymagań dotyczących plików.
Podsumowanie
ChatGPT Enterprise obsługuje poszczególne typy plików na bardzo różne sposoby: wyodrębnia tekst z dokumentów takich jak pliki PDF, prezentacje i pliki Word, analizuje uporządkowane dane z arkuszy kalkulacyjnych za pomocą kodu w Pythonie i opisuje pliki graficzne przy użyciu GPT-Vision. Aby uzyskać oczekiwany wynik, trzeba wiedzieć, jaki sposób przetwarzania uruchamia dany typ pliku.
W przypadku dokumentów tekstowych ChatGPT Enterprise umieszcza jak najwięcej istotnego tekstu bezpośrednio przy poleceniu, a do dodatkowych informacji dociera za pomocą systemu wyszukiwania. To dobrze sprawdza się przy odpowiadaniu na konkretne pytania. Takie podejście może jednak nie sprawdzać się przy złożonych zadaniach, takich jak streszczanie bardzo dużych dokumentów lub porównywanie wielu dużych plików. Czytaj dalej, aby poznać sposoby uzyskiwania lepszych wyników.
Obsługa plików zależnie od ich typu
ChatGPT Enterprise przetwarza pliki na trzy główne sposoby: wyodrębnia tekst, analizuje dane za pomocą kodu i interpretuje obrazy. Typ pliku decyduje o tym, jaki sposób przetwarzania zastosuje ChatGPT Enterprise.
| Wyszukiwanie tekstowe | Interpreter kodu | Przetwarzanie obrazów | Wyszukiwanie wizualne | |
|---|---|---|---|---|
| Przykładowe typy plików | pptx, docx, txt, md, json, xml, pdf* * Pliki PDF przesłane jako wiedza GPT lub pliki projektu | csv, xls, xlsx* *Uwaga: Interpreter kodu może obsługiwać dowolny typ pliku, ale ChatGPT Enterprise najczęściej korzysta z niego domyślnie w przypadku arkuszy kalkulacyjnych | jpg, png | pdf* * Pliki PDF dołączone do poleceń użytkownika |
| Sposób działania | Wyodrębnia tekst z pliku — część tekstu jest wklejana („upychana”) bezpośrednio w oknie kontekstu, a część jest zapisywana na potrzeby wyszukiwania | Interpreter kodu przekazuje plik do przetworzenia w Pythonie | Obrazy są interpretowane natywnie przez modele wielomodalne, z uwzględnieniem znanych ograniczeń. | Połączenie wyszukiwania tekstowego i przetwarzania obrazów. Tekst jest wyodrębniany cyfrowo, a treści wizualne są interpretowane natywnie przez modele wielomodalne. |
W przypadku plików zawierających wyłącznie tekst, plików graficznych lub plików z danymi o jednoznacznej strukturze (np. tabeli transakcji w Excelu) taki podział zapewnia optymalny sposób przetwarzania.
Są jednak mniej oczywiste przypadki, na przykład:
Obrazy osadzone w plikach innych niż PDF nie są przetwarzane. Aby je uwzględnić, przed przesłaniem przekonwertuj plik na PDF.
ChatGPT Enterprise zawsze używa Interpretera kodu do pracy z arkuszami kalkulacyjnymi, nawet jeśli dokument zawiera dużo tekstu. Na przykład jeśli poprosisz ChatGPT Enterprise o przetłumaczenie pliku CSV z 10 wierszami tekstu, spróbuje przetłumaczyć plik za pomocą biblioteki Pythona. Daje to mniej dokładny wynik niż tłumaczenie wygenerowane bezpośrednio przez model. Aby ograniczyć ten problem, spróbuj wyeksportować arkusz do formatu tekstowego (na przykład PDF).
Podobnie, jeśli prześlesz tabelę transakcji o uporządkowanej strukturze zapisaną w pliku JSON, ChatGPT Enterprise zinterpretuje ten plik jako zwykły tekst. Jeśli chcesz przeanalizować dane zawarte w pliku JSON, poproś model w poleceniu o użycie Interpretera kodu.
Obsługa plików w zależności od rozmiaru
ChatGPT Enterprise używa modeli o maksymalnym oknie kontekstu wynoszącym 128 tys. tokenów (około 200 stron tekstu). Nie wszystkie tokeny są jednak używane do uwzględnienia tekstu z przesłanych plików. Liczba „wstawionych” tokenów różni się w zależności od typu użycia.
ChatGPT Enterprise „wstawia” pewną ilość tekstu, a pozostały tekst jest wysyłany do prywatnego indeksu wyszukiwania („magazynu wektorowego”, czyli typu bazy danych zaprojektowanej do wydajnego przechowywania i pobierania dużych ilości tekstu). Gdy zadasz pytanie, ChatGPT Enterprise dołącza uwzględniony tekst wraz z odpowiednimi fragmentami pobranymi z prywatnego indeksu wyszukiwania.
Jeśli prześlesz jeden dokument, ChatGPT Enterprise uwzględni tekst od początku, aż osiągnie swój limit. Jeśli prześlesz wiele dokumentów, ChatGPT Enterprise uwzględni część lub całość każdego dokumentu. Cały tekst z dokumentów jest również wysyłany do prywatnego indeksu wyszukiwania.
Wstawianie kontekstu dla dokumentów tekstowych
Ta funkcja jest aktywnie rozwijana. W związku z tym poniższe informacje mogą ulec zmianie bez powiadomienia.
ChatGPT Enterprise może przetwarzać w oknie kontekstu do 110 tys. tokenów z przesłanych dokumentów. Jeśli prześlesz jeden lub więcej dokumentów zawierających łącznie mniej niż 110 tys. tokenów, uwzględniona zostanie cała ich treść.
W przypadku pojedynczego dokumentu przekraczającego 110 tys. tokenów uwzględnione zostanie tylko pierwsze 110 tys. tokenów, licząc od początku dokumentu. Reszta trafi wyłącznie do prywatnego indeksu wyszukiwania.
Jeśli prześlesz wiele dokumentów zawierających łącznie ponad 110 tys. tokenów, ChatGPT Enterprise stosuje poniższą procedurę, aby zachować równowagę między ilością treści z poszczególnych dokumentów:
Wyodrębnia do 55 tys. tokenów, dzieląc tę pulę po równo między przesłane dokumenty.
Dokumentom, które nie zostały w pełni uwzględnione w pierwszym kroku, przydziela pozostałe 55 tys. tokenów proporcjonalnie do liczby tokenów pozostałych w każdym z nich.
Wszystkie pozostałe tokeny trafiają wyłącznie do prywatnego indeksu wyszukiwania.
Możesz oszacować liczbę tokenów w dokumencie tekstowym, kopiując jego tekst do tokenizatora OpenAI.
Wypełnianie kontekstu treścią multimedialnych plików PDF
Gdy użytkownicy przesyłają pliki PDF zawierające zarówno tekst, jak i obrazy, wyszukiwanie wizualne umożliwia ChatGPT natywne przetwarzanie tych obrazów wraz z cyfrowo wyodrębnionym tekstem. Poniższe kroki uzupełniają nasze standardowe procedury obsługi kontekstu w przypadku multimedialnych plików PDF:
Wyodrębnianie i osadzanie obrazów: obrazy są wyodrębniane i osadzane wraz z powiązanym tekstem cyfrowym.
Inteligentne skalowanie: obrazy są automatycznie skalowane, aby zachować równowagę między jakością informacji a efektywnym wykorzystaniem dostępnego okna kontekstu.
Gdy przesłane pliki PDF przekraczają limit 110 tys. tokenów, zarówno obrazy, jak i tekst są osadzane w prywatnym indeksie wyszukiwania. Osadzenia tekstu odwołują się do powiązanych obrazów, co pozwala ChatGPT pobierać odpowiednie pary tekst–obraz na podstawie zapytań użytkowników. Pobrane obrazy są następnie przetwarzane z wykorzystaniem natywnych możliwości wielomodalnych ChatGPT.
Dokładne oszacowanie liczby tokenów potrzebnych do przetworzenia multimedialnych plików PDF jest trudne. Testy sugerują, że około 350 stron zawierających tekst i obrazy w pełni wypełnia okno kontekstu o pojemności 110 tys. tokenów.
Strategie wyszukiwania zależne od typu modelu
Zarówno modele z serii GPT, jak i z serii o obsługują przesyłanie plików oraz korzystają z tej samej logiki wstawiania kontekstu i osadzania wyszukiwania. Wszystkie modele wykonują wyszukiwania hybrydowe w prywatnym indeksie wyszukiwania, łącząc metody słów kluczowych i semantyczne. W wyszukiwaniu hybrydowym model generuje frazę wyszukiwania na podstawie polecenia użytkownika, a prywatny indeks wyszukiwania pobiera odpowiednie teksty i obrazy.
Modele te różnią się jednak sposobem przeszukiwania dużych dokumentów, które przekraczają okno kontekstu:
Modele z serii GPT
Jedno wyszukiwanie na polecenie: modele z serii GPT przeprowadzają jedno wyszukiwanie dla każdego polecenia użytkownika.
Skuteczne zastosowania: doskonale sprawdzają się przy odpowiadaniu na proste pytania na podstawie obszernej dokumentacji.
Przykładowe zapytania:
"Jakie są zasady działu HR dotyczące wcześniejszego przejścia na emeryturę?"
"Co robi funkcja process_order?"
Modele z serii o
Wiele wyszukiwań na jedno polecenie: w ramach jednego polecenia użytkownika mogą przeprowadzić wiele wyszukiwań (zwykle 2–3), każde z użyciem innej frazy. Wyszukiwania są wykonywane kolejno, a model może modyfikować swoje podejście na podstawie informacji uzyskanych podczas wcześniejszych wyszukiwań.
Skuteczne zastosowania: lepiej sprawdzają się w przypadku złożonych pytań, które wymagają wielu ukierunkowanych wyszukiwań w obszernej dokumentacji.
Przykładowe zapytania:
"Jakie są zasady działu HR dotyczące wcześniejszego przejścia na emeryturę, urlopu rodzicielskiego i przeniesienia za granicę?"
"Wyjaśnij, co robi funkcja process_order, wymień wszystkie wywoływane przez nią metody i krótko opisz każdą z nich."
Mimo swoich zalet modele z serii o mogą mieć trudności z zapytaniami wymagającymi więcej niż trzech wyszukiwań.
Wskazówki dotyczące ulepszania wyników wyszukiwania plików
W przypadku złożonych pytań wymagających wielu wyszukiwań spróbuj użyć modelu z serii o.
Pamiętaj, że odpowiedzi mogą się różnić w zależności od typu, liczby i rozmiaru przesyłanych dokumentów.
Ogólnie rzecz biorąc, wczytywanie mniejszej liczby ukierunkowanych dokumentów prowadzi do większej dokładności.
Zamieniaj tematy obejmujące wiele pytań na pojedyncze pytania:
Jeśli potrzebujesz znać zasady HR w każdym stanie, pytaj o nie pojedynczo.
Jeśli musisz streścić wiele dokumentów, proś o jeden dokument naraz. Jeśli dokument ma wiele setek stron, rozważ podzielenie go na mniejsze części.
Możesz poprosić ChatGPT Enterprise o napisanie „podsumowania podsumowań”, jeśli przekażesz mu wiele podsumowań zamiast całych dokumentów.
Jeśli masz plik CSV z RFP (każdy wiersz to inne pytanie), zadawaj te pytania pojedynczo zamiast po prostu wczytywać CSV i prosić o jedną odpowiedź.
Znajdź sposoby audytowania odpowiedzi modelu. Przykładowe instrukcje GPT znajdują się poniżej:
# Kontekst
Jesteś ekspertem w rozumieniu dokumentów. Użytkownik dołączy dokument i zada pytanie. Musi mieć możliwość powiązania Twojej odpowiedzi z dokładnym fragmentem tekstu, z którego pochodzi odpowiedź.
# Instrukcje
1. Odpowiedz na pytanie użytkownika na podstawie dołączonego dokumentu, używając dokładnie poniższego formatu
# Format
- Pytanie: { powtórz pytanie użytkownika }
- Odpowiedź: { udziel odpowiedzi na pytanie użytkownika }
Źródło:
- - Numer sekcji: { podaj numer sekcji, z której pochodzi odpowiedź }
- - Tytuł sekcji: { podaj tytuł sekcji, z której pochodzi odpowiedź }
- - Dokładny tekst: { podaj dokładny tekst, z którego pochodzi odpowiedź }
# Zasady
- Udzielaj odpowiedzi jasnych i zwięzłych
- Podawaj wyłącznie informacje zawarte w dokumencie
- Jeśli nie możesz znaleźć odpowiedzi w dokumencie, po prostu odpowiedz „Nie znaleziono informacji.”