ChatGPT Enterprise hiện hỗ trợ đọc và hiểu nội dung trực quan (hình ảnh, đồ thị, sơ đồ, v.v.) được nhúng trong các tệp PDF đính kèm câu lệnh. Người dùng có thể tải lên một tệp PDF và ChatGPT có thể hiểu văn bản cũng như mọi thành phần trực quan trong tệp đó.
Để biết chi tiết, xem: Câu hỏi thường gặp về tính năng Truy xuất hình ảnh trong tệp PDF.
ChatGPT Enterprise cho phép bạn tải tệp lên theo nhiều cách:
Trực tiếp từ máy tính của bạn
Dưới dạng kiến thức cho GPT
Dưới dạng tệp dự án
Từ một hành động của GPT
Hướng dẫn này giải thích cách các tính năng của ChatGPT Enterprise xử lý tệp theo loại, số lượng và kích thước, đồng thời trình bày các cách cải thiện kết quả đầu ra tùy theo yêu cầu xử lý tệp.
Tóm tắt
ChatGPT Enterprise xử lý các loại tệp theo những cách rất khác nhau: trích xuất văn bản từ các tài liệu như PDF, bản trình bày và tệp Word; phân tích dữ liệu có cấu trúc trong bảng tính bằng mã Python; và mô tả tệp hình ảnh thông qua GPT-Vision. Nắm rõ loại tệp nào kích hoạt quy trình nào là yếu tố then chốt để nhận được kết quả như mong đợi.
Với tài liệu dạng văn bản, ChatGPT Enterprise đưa nhiều văn bản liên quan nhất có thể trực tiếp vào cùng câu lệnh và dùng hệ thống tìm kiếm để truy cập thông tin bổ sung. Cách này hiệu quả khi trả lời các câu hỏi cụ thể. Tuy nhiên, cách tiếp cận này có thể gặp khó khăn với các tác vụ phức tạp như tóm tắt tài liệu rất lớn hoặc so sánh nhiều tệp lớn. Đọc tiếp để tìm hiểu các cách cải thiện kết quả.
Xử lý tệp theo loại
ChatGPT Enterprise xử lý tệp theo ba cách chính: trích xuất văn bản, phân tích bằng mã và diễn giải hình ảnh. Loại tệp quyết định quy trình mà ChatGPT Enterprise sẽ sử dụng.
| Truy xuất dựa trên văn bản | Trình Thông dịch Mã | Xử lý hình ảnh | Truy xuất hình ảnh | |
|---|---|---|---|---|
| Ví dụ về loại tệp | pptx, docx, txt, md, json, xml, pdf* * Tệp PDF được tải lên dưới dạng kiến thức cho GPT hoặc tệp dự án | csv, xls, xlsx* *Lưu ý: Trình Thông dịch Mã có thể xử lý mọi loại tệp, nhưng ChatGPT Enterprise thường mặc định sử dụng công cụ này cho bảng tính | jpg, png | pdf* * Tệp PDF được đính kèm câu lệnh của người dùng |
| Cách hoạt động | Trích xuất văn bản từ tệp – một phần văn bản được dán (hay “nhồi”) trực tiếp vào cửa sổ ngữ cảnh; một phần được lưu để tìm kiếm | Trình Thông dịch Mã chuyển tệp cho Python để xử lý | Hình ảnh được các mô hình đa phương thức diễn giải trực tiếp, nhưng vẫn chịu những giới hạn đã biết. | Kết hợp truy xuất văn bản và xử lý hình ảnh. Văn bản được trích xuất từ dữ liệu số, còn nội dung trực quan được các mô hình đa phương thức diễn giải trực tiếp. |
Với tệp chỉ chứa văn bản, tệp hình ảnh hoặc tệp dữ liệu có cấu trúc rõ ràng (ví dụ: bảng giao dịch Excel), cách phân chia này mang lại phương án xử lý tốt nhất.
Tuy nhiên, một số trường hợp có cách xử lý khó đoán hơn, chẳng hạn:
Hình ảnh nhúng trong các tệp không phải PDF sẽ không được xử lý. Để những hình ảnh này được xử lý, hãy chuyển tệp sang PDF trước khi tải lên.
ChatGPT Enterprise luôn dùng Trình Thông dịch Mã để làm việc với bảng tính, ngay cả khi tài liệu chứa nhiều văn bản. Ví dụ, nếu bạn yêu cầu ChatGPT Enterprise dịch một tệp CSV có 10 hàng văn bản, hệ thống sẽ cố gắng dịch tệp bằng thư viện Python. Cách này kém chính xác hơn so với việc để mô hình trực tiếp tạo bản dịch. Để hạn chế vấn đề này, hãy thử xuất bảng tính sang định dạng văn bản (chẳng hạn như PDF).
Tương tự, nếu bạn tải lên một bảng giao dịch có cấu trúc nằm trong tệp JSON, ChatGPT Enterprise sẽ coi tệp này là văn bản thuần túy. Nếu muốn phân tích dữ liệu trong tệp JSON, hãy yêu cầu mô hình dùng Trình Thông dịch Mã trong câu lệnh của bạn.
Xử lý tệp dựa trên kích thước
ChatGPT Enterprise sử dụng các mô hình có cửa sổ ngữ cảnh tối đa 128k token (khoảng 200 trang văn bản). Tuy nhiên, không phải tất cả token đều được dùng để đưa văn bản từ các tệp đã tải lên vào. Số lượng token được “nhồi” thay đổi tùy theo loại sử dụng.
ChatGPT Enterprise “nhồi” một lượng văn bản nhất định, và phần văn bản còn lại được gửi đến một chỉ mục tìm kiếm riêng tư (một “kho vector”, là loại cơ sở dữ liệu được thiết kế để lưu trữ và truy xuất hiệu quả lượng lớn văn bản). Khi bạn đặt câu hỏi, ChatGPT Enterprise đưa vào phần văn bản đã bao gồm cùng với các đoạn liên quan được truy xuất từ một chỉ mục tìm kiếm riêng tư.
Nếu bạn tải lên một tài liệu duy nhất, ChatGPT Enterprise sẽ bao gồm văn bản bắt đầu từ đầu tài liệu cho đến khi đạt giới hạn. Nếu bạn tải lên nhiều tài liệu, ChatGPT Enterprise sẽ bao gồm một phần hoặc toàn bộ nội dung của từng tài liệu. Toàn bộ văn bản từ các tài liệu cũng được gửi đến một chỉ mục tìm kiếm riêng tư.
Nhồi ngữ cảnh cho tài liệu văn bản
Tính năng này đang được phát triển tích cực. Vì vậy, các chi tiết sau đây có thể thay đổi mà không cần báo trước.
ChatGPT Enterprise có thể xử lý tối đa 110 nghìn token từ các tài liệu được tải lên trong cửa sổ ngữ cảnh. Nếu bạn tải lên một hoặc nhiều tài liệu với tổng số token dưới 110 nghìn, toàn bộ nội dung sẽ được đưa vào.
Với một tài liệu vượt quá 110 nghìn token, chỉ 110 nghìn token đầu tiên tính từ đầu tài liệu được đưa vào. Phần còn lại chỉ được gửi đến chỉ mục tìm kiếm riêng tư.
Nếu nhiều tài liệu được tải lên có tổng số token vượt quá 110 nghìn, ChatGPT Enterprise áp dụng quy trình sau để cân đối lượng nội dung được lấy từ mỗi tài liệu:
Trích xuất tối đa 55 nghìn token, chia đều cho các tài liệu được tải lên.
Với các tài liệu chưa được đưa vào đầy đủ ở bước đầu tiên, phân bổ 55 nghìn token còn lại theo tỷ lệ số token còn lại trong mỗi tài liệu.
Mọi token còn lại chỉ được gửi đến chỉ mục tìm kiếm riêng tư.
Bạn có thể ước tính số token trong một tài liệu văn bản bằng cách sao chép văn bản của tài liệu vào công cụ tách token của OpenAI.
Đưa nội dung PDF đa phương tiện vào ngữ cảnh
Khi người dùng tải lên tệp PDF chứa cả văn bản và hình ảnh, tính năng Truy xuất hình ảnh cho phép ChatGPT xử lý trực tiếp những hình ảnh này cùng với văn bản được trích xuất từ dữ liệu số. Các bước sau bổ sung cho quy trình xử lý ngữ cảnh tiêu chuẩn của chúng tôi đối với tệp PDF đa phương tiện:
Trích xuất và nhúng hình ảnh: Hình ảnh được trích xuất và nhúng cùng với văn bản số liên quan.
Điều chỉnh kích thước thông minh: Hình ảnh được tự động điều chỉnh kích thước để cân bằng giữa chất lượng thông tin và việc sử dụng hiệu quả cửa sổ ngữ cảnh hiện có.
Khi các tệp PDF được tải lên vượt quá giới hạn 110 nghìn token, cả hình ảnh lẫn văn bản đều được nhúng vào chỉ mục tìm kiếm riêng tư. Các biểu diễn nhúng của văn bản tham chiếu đến hình ảnh liên quan, cho phép ChatGPT truy xuất các cặp văn bản–hình ảnh phù hợp dựa trên truy vấn của người dùng. Sau đó, các hình ảnh được truy xuất sẽ được xử lý bằng khả năng đa phương thức tích hợp sẵn của ChatGPT.
Rất khó ước tính chính xác số token cần thiết cho tệp PDF đa phương tiện. Thử nghiệm cho thấy khoảng 350 trang có cả văn bản và hình ảnh sẽ sử dụng hết cửa sổ ngữ cảnh 110 nghìn token.
Chiến lược tìm kiếm dựa trên loại mô hình
Cả mô hình dòng GPT và dòng o đều hỗ trợ tải tệp lên và sử dụng cùng một logic nhồi ngữ cảnh và nhúng tìm kiếm. Tất cả mô hình đều thực hiện tìm kiếm kết hợp trên một chỉ mục tìm kiếm riêng tư, kết hợp phương pháp từ khóa và ngữ nghĩa. Trong tìm kiếm kết hợp, mô hình tạo một cụm từ tìm kiếm dựa trên câu lệnh của người dùng, và chỉ mục tìm kiếm riêng tư sẽ truy xuất văn bản và hình ảnh liên quan tương ứng.
Tuy nhiên, các mô hình này khác nhau ở cách chúng tìm kiếm trong các tài liệu lớn vượt quá cửa sổ ngữ cảnh:
Các mô hình dòng GPT
Một lượt tìm kiếm cho mỗi câu lệnh: Các mô hình dòng GPT thực hiện một lượt tìm kiếm cho mỗi câu lệnh của người dùng.
Trường hợp sử dụng hiệu quả: Lý tưởng để trả lời các câu hỏi đơn giản nằm trong kho tài liệu lớn.
Câu truy vấn mẫu:
“Chính sách nhân sự về nghỉ hưu sớm là gì?”
“Chức năng process_order làm gì?”
Các mô hình dòng o
Nhiều lượt tìm kiếm cho mỗi câu lệnh: Có thể thực hiện nhiều lượt tìm kiếm (thường là 2–3) cho mỗi câu lệnh của người dùng, mỗi lượt dùng một cụm từ tìm kiếm riêng. Các lượt tìm kiếm được thực hiện tuần tự và mô hình có thể điều chỉnh cách tiếp cận dựa trên thông tin thu được từ những lượt tìm kiếm trước.
Trường hợp sử dụng hiệu quả: Phù hợp hơn với các câu hỏi phức tạp, đòi hỏi nhiều lượt tìm kiếm có mục tiêu trong kho tài liệu lớn.
Câu truy vấn mẫu:
“Chính sách nhân sự về nghỉ hưu sớm, nghỉ phép chăm con và điều chuyển ra nước ngoài là gì?”
“Hãy giải thích chức năng process_order làm gì, liệt kê tất cả các phương thức mà chức năng này gọi và mô tả ngắn gọn từng phương thức.”
Dù có nhiều ưu điểm, các mô hình dòng o có thể gặp khó khăn khi một câu truy vấn cần hơn ba lượt tìm kiếm.
Mẹo cải thiện kết quả tìm kiếm tệp
Hãy thử dùng mô hình dòng o cho các câu hỏi phức tạp cần nhiều lượt tìm kiếm.
Hãy nhớ rằng phản hồi có thể khác nhau tùy thuộc vào loại, số lượng và kích thước của tài liệu bạn tải lên.
Nhìn chung, tải ít tài liệu hơn và có trọng tâm hơn sẽ giúp đạt độ chính xác cao hơn.
Chuyển các chủ đề có nhiều câu hỏi thành các câu hỏi đơn lẻ:
Nếu bạn cần biết chính sách nhân sự của từng tiểu bang, hãy hỏi từng nơi một.
Nếu bạn cần tóm tắt nhiều tài liệu, hãy yêu cầu từng tài liệu một. Nếu tài liệu đó dài hàng trăm trang, hãy cân nhắc chia nhỏ thành các phần nhỏ hơn.
Bạn có thể yêu cầu ChatGPT Enterprise viết một “bản tóm tắt của các bản tóm tắt” nếu bạn cung cấp cho nó nhiều bản tóm tắt thay vì toàn bộ tài liệu.
Nếu bạn có CSV của một RFP (mỗi dòng là một câu hỏi khác nhau), hãy hỏi từng câu một thay vì chỉ tải CSV lên và yêu cầu một phản hồi duy nhất.
Tìm cách kiểm tra phản hồi của mô hình. Ví dụ về hướng dẫn cho GPT ở bên dưới:
# Ngữ cảnh
Bạn là chuyên gia trong việc hiểu tài liệu. Người dùng sẽ đính kèm một tài liệu và đặt câu hỏi. Họ cần có thể liên kết câu trả lời của bạn trở lại chính xác phần văn bản mà bạn đã lấy câu trả lời.
# Hướng dẫn
1. Trả lời câu hỏi của người dùng dựa trên tài liệu đính kèm của họ theo đúng định dạng được cung cấp dưới đây
# Định dạng
- Câu hỏi: { lặp lại câu hỏi của người dùng }
- Trả lời: { cung cấp câu trả lời cho câu hỏi của người dùng }
Nguồn:
- - Số mục: { cung cấp số mục nơi bạn lấy câu trả lời }
- - Tiêu đề mục: { cung cấp tiêu đề mục nơi bạn lấy câu trả lời }
- - Văn bản chính xác: { cung cấp chính xác đoạn văn bản nơi bạn lấy câu trả lời }
# Quy tắc
- Đưa ra câu trả lời rõ ràng và ngắn gọn
- Chỉ cung cấp thông tin có trong tài liệu
- Nếu bạn không thể tìm thấy câu trả lời trong tài liệu, chỉ cần trả lời “Không tìm thấy thông tin.”