ChatGPT Enterprise 現已支援讀取和理解隨提示詞附上的 PDF 檔案中的視覺內容,包括圖片、圖表、示意圖等。使用者上傳 PDF 後,ChatGPT 便能解讀檔案中的文字以及所有視覺元素。
詳情請參閱:PDF 視覺檢索常見問題。
ChatGPT Enterprise 支援多種檔案上傳方式:
本指南說明 ChatGPT Enterprise 的功能如何根據檔案的類型、數量和大小處理檔案,並探討如何因應檔案需求,採取策略改善輸出結果。
摘要
ChatGPT Enterprise 處理不同檔案類型的方式大不相同:從 PDF、簡報和 Word 等文字文件擷取文字、使用 Python 程式碼分析試算表中的結構化資料,以及透過 GPT-Vision 描述圖片檔案。了解各種檔案類型會觸發哪種工作流程,是取得預期結果的關鍵。
對於文字文件,ChatGPT Enterprise 會將盡可能多的相關文字直接與提示詞一併納入上下文,並透過搜尋系統取得額外資訊。這種方式很適合回答具體問題。不過,面對複雜任務,例如為篇幅極長的文件撰寫摘要,或比較多個大型檔案,這種方式可能難以應付。請繼續閱讀,了解改善結果的策略。
按類型處理檔案
ChatGPT Enterprise 主要透過三種方式處理檔案:擷取文字、使用程式碼分析,以及解讀圖片。檔案類型決定了 ChatGPT Enterprise 採用哪種工作流程。
| 文字檢索 | 程式碼解譯器 | 圖片處理 | 視覺檢索 | |
|---|---|---|---|---|
| 檔案類型例子 | pptx, docx, txt, md, json, xml, pdf* * 作為 GPT 知識或專案檔案上傳的 PDF | csv, xls, xlsx* *注意:程式碼解譯器可處理任何檔案類型,但 ChatGPT Enterprise 通常只會在處理試算表時預設使用程式碼解譯器(CI) | jpg, png | pdf* * 隨使用者提示詞附上的 PDF |
| 處理方式 | 從檔案擷取文字,部分文字會直接貼入(「填入」)上下文視窗,其餘文字則會儲存起來供搜尋之用 | 程式碼解譯器會將檔案交給 Python 處理 | 由多模態模型以原生能力解讀圖片,但仍受已知限制約束。 | 結合文字檢索與圖片處理。以數碼方式擷取文字,並由多模態模型以原生能力解讀視覺內容。 |
對於純文字檔案、圖片檔案或結構清晰的資料檔案(例如記錄交易的 Excel 表格),上述分類能讓系統採用最合適的處理方式。
不過,有些情況的處理方式並不那麼直觀,例如:
系統不會處理嵌入在 PDF 以外檔案中的圖片。如要一併處理這些圖片,請先將檔案轉換為 PDF 再上傳。
ChatGPT Enterprise 一律使用程式碼解譯器處理試算表,即使文件包含大量文字也不例外。例如,如果你要求 ChatGPT Enterprise 翻譯一個包含 10 列文字的 CSV 檔案,它會嘗試使用 Python 程式庫翻譯檔案,準確度不及讓模型直接產生翻譯。要減少這種情況的影響,可嘗試將試算表匯出為文字文件格式,例如 PDF。
同樣,如果你上傳的 JSON 檔案包含結構化的交易表格,ChatGPT Enterprise 會將該檔案視為純文字來解讀。如果你想分析 JSON 檔案中的資料,請在提示詞中指示模型使用程式碼解譯器。
根據大小處理檔案
ChatGPT Enterprise 使用的模型,其最大上下文視窗為 128k tokens(約 200 頁文字)。不過,並非所有 tokens 都會用於納入已上載檔案中的文字。「填入」的 tokens 數量會因使用類型而異。
ChatGPT Enterprise 會「填入」一定數量的文字,其餘文字則會傳送到私人搜尋索引(即「向量儲存庫」,是一種專為高效儲存和擷取大量文字而設的資料庫)。當你提出問題時,ChatGPT Enterprise 會引入已納入的文字,以及從私人搜尋索引擷取的相關片段。
如果你上載單一文件,ChatGPT Enterprise 會從開頭開始納入文字,直至達到其限制。如果你上載多份文件,ChatGPT Enterprise 會納入每份文件的部分或全部內容。文件中的所有文字也會傳送到私人搜尋索引。
文字文件的上下文填充
此功能仍在積極開發中。因此,下列細節可能會在不作另行通知的情況下更改。
ChatGPT Enterprise 可在上下文視窗中處理已上傳文件中最多 110,000 個 Token 的內容。如果你上傳一份或多份文件,而 Token 總數少於 110,000 個,系統便會納入全部內容。
如果單份文件超過 110,000 個 Token,系統只會從文件開頭起納入前 110,000 個 Token 的內容。其餘內容只會傳送至私人搜尋索引。
如果上傳多份文件,而 Token 總數超過 110,000 個,ChatGPT Enterprise 會採用以下流程,平衡各份文件納入上下文的內容量:
擷取最多 55,000 個 Token 的內容,並將額度平均分配給各份已上傳的文件。
對於第一步未能納入全部內容的文件,根據各份文件剩餘的 Token 數量,按比例分配餘下的 55,000 個 Token 額度。
任何剩餘的 Token 只會傳送至私人搜尋索引。
你可以將文字文件的內容複製到 OpenAI Token 計算工具,估算文件的 Token 數量。
將多媒體 PDF 的內容填入上下文
當使用者上傳同時包含文字和圖片的 PDF 時,視覺檢索功能可讓 ChatGPT 以原生能力處理圖片,同時處理以數碼方式擷取的文字。對於多媒體 PDF,以下步驟會補充我們的標準上下文處理程序:
圖片擷取與嵌入:擷取圖片,並將圖片連同相關的數碼文字一併嵌入。
智能縮放:自動縮放圖片,在保留資訊質素與有效利用可用上下文視窗之間取得平衡。
如果上傳的 PDF 超過 110,000 個 Token 的上限,圖片和文字都會嵌入私人搜尋索引。文字的嵌入表示會參照相關圖片,讓 ChatGPT 能夠根據使用者的查詢,檢索相應的文字與圖片配對。檢索到的圖片隨後會由 ChatGPT 的原生多模態能力處理。
要準確估算多媒體 PDF 所需的 Token 數量並不容易。測試顯示,約 350 頁混合文字和圖片的內容便會用盡 110,000 個 Token 的上下文視窗。
根據模型類型制定搜尋策略
GPT 系列和 o 系列模型均支援檔案上載,並使用相同的上下文填充和搜尋嵌入邏輯。所有模型都會對私人搜尋索引執行混合搜尋,結合關鍵字和語義方法。在混合搜尋中,模型會根據使用者的提示詞產生搜尋字句,私人搜尋索引則相應擷取相關文字和圖片。
不過,這些模型在搜尋超出上下文視窗的大型文件時,做法有所不同:
GPT 系列模型
每個提示詞執行一次搜尋:GPT 系列模型會針對每個使用者提示詞執行一次搜尋。
適用情況:非常適合回答可在大量文件中找到答案的直接問題。
查詢範例:
「有關提早退休的人力資源政策是甚麼?」
「process_order 函數有甚麼作用?」
o 系列模型
每個提示詞可執行多次搜尋:可針對每個使用者提示詞執行多次搜尋(通常為 2 至 3 次),每次使用不同的搜尋字句。搜尋會依次執行,而模型可根據先前搜尋取得的資料調整處理方式。
適用情況:較適合需要在大量文件中進行多次針對性搜尋的複雜問題。
查詢範例:
「有關提早退休、育兒假及海外調職的人力資源政策是甚麼?」
「解釋 process_order 函數的作用,列出此函數調用的所有方法,並簡述每個方法。」
儘管 o 系列模型具備這些優點,但遇到需要搜尋超過三次的查詢時,仍可能難以處理。
改善檔案搜尋結果的提示
對於需要多次搜尋的複雜問題,可嘗試使用 o 系列模型。
請記住,回應可能會因你上載文件的類型、數量和大小而有所不同。
一般而言,載入較少且重點明確的文件會帶來較高準確度。
將包含多個問題的主題轉化為單一問題:
如果你需要了解每個州的人力資源政策,請逐一提問。
如果你需要總結多份文件,請每次要求總結一份文件。如果該文件有數百頁,可考慮將其拆分成較小部分。
如果你提供的是多份摘要而非整份文件,你可以要求 ChatGPT Enterprise 撰寫「摘要的摘要」。
如果你有一個 RFP 的 CSV(每行都是不同問題),請逐一提出這些問題,而不是只載入 CSV 並要求單一回應。
尋找方法審核模型的回應。以下是 GPT 指示範例:
# 背景
你是理解文件的專家。使用者將會附上一份文件並提出問題。他們需要能夠把你的答案對應到你從文本中擷取答案的確切部分。
# 指示
1. 根據使用者所附文件回答其問題,並嚴格使用下方提供的格式
# 格式
- 問題:{ 重述使用者的問題 }
- 答案:{ 提供對使用者問題的答案 }
來源:
- - 章節編號:{ 提供你擷取答案的章節編號 }
- - 章節標題:{ 提供你擷取答案的章節標題 }
- - 原文:{ 提供你擷取答案的確切原文 }
# 規則
- 答案要清晰簡潔
- 只提供文件中已有的資訊
- 如果你無法在文件中找到答案,只需回覆「找不到相關資訊。」