ChatGPT khiến mọi người kinh ngạc với những câu trả lời cực kỳ chi tiết, rõ ràng cho các câu hỏi đa dạng trải dài từ các chủ đề từ sinh học, lịch sử đến những câu đố về văn hóa đại chúng.
Khả năng tổng hợp các câu trả lời mạch lạc này được hỗ trợ bằng cách tiếp thu lượng kiến thức khổng lồ trong quá trình đào tạo trước – hơn một trăm tỷ từ từ các trang web, sách, v.v.
Trong bài đăng này, chúng tôi sẽ giải thích cách tiếp xúc với các bộ dữ liệu lớn cho phép tổng hợp kiến thức cùng với ChatGPTnăng lực suy luận của
Mục tiêu đào tạo trước: Tiếp thu kiến thức
ChatGPT có được nền tảng kiến thức rộng lớn nhờ vào quy mô văn bản tuyệt đối được sử dụng trong quá trình đào tạo trước – Có nhiều dữ liệu hơn các mô hình ngôn ngữ trước đó.
Điều này cho thấy mô hình có rất nhiều chủ đề thông qua:
- Trích xuất các chi tiết và mối quan hệ chính từ hàng tỷ trang web
- Nhập toàn văn từ hơn 50,000 cuốn sách thuộc nhiều thể loại
- Phân tích sự phức tạp trong các bài viết và phương tiện viết đa dạng
Độ rộng kết quả cho phép ChatGPT để tổng hợp các câu trả lời rút ra từ một nền tảng kiến thức đặc biệt rộng.
Ngay cả các chủ đề thích hợp cũng thường có các ví dụ liên quan trong dữ liệu đào tạo của họ để ngoại suy.
Thích ứng kiến trúc cho lý luận
Tất nhiên, chỉ truy xuất các mẩu tin thực tế là không đủ - lý luận thực sự đòi hỏi phải áp dụng theo ngữ cảnh thay vì liệt kê ngẫu nhiên các mẩu tin.
Đó là lý do tại sao bên cạnh quy mô, những đổi mới về kiến trúc trang bị cho ChatGPT để tổng hợp một cách hợp lý các câu trả lời mạch lạc, có ý nghĩa:
- Mục tiêu mô hình hóa ngôn ngữ nhân quả thúc đẩy sự hiểu biết về quan hệ nhân quả
- Rèn luyện tính tự chủ tránh mâu thuẫn trắng trợn
- Tăng cường bộ nhớ theo dõi cuộc đối thoại trước đó để đảm bảo tính nhất quán
Kết hợp lại, các cơ chế này có nền tảng ChatGPTkiến thức về logic - cho phép đưa ra các câu trả lời được xây dựng hợp lý ngay cả về các chủ đề không quen thuộc.
Mô hình hiển thị khả năng suy luận thực tế thay vì chỉ dự đoán ngôn ngữ.
Mở rộng kiến thức liên tục
Nhìn về phía trước, OpenAI tiếp tục mở rộng nhanh chóng ChatGPTkiến thức của mình thông qua việc đào tạo trước liên tục về dữ liệu mới.
Các nội dung bổ sung gần đây bao gồm các chủ đề như COVID-19, Web3, nghiên cứu về an toàn AI, v.v. – giúp cập nhật các phản hồi.
Khả năng tiếp thu thông tin mới nổi một cách hiệu quả minh họa lợi thế về quy mô của các mô hình nền tảng. ChatGPT đồng hóa dữ liệu mới tốt hơn AI hẹp hơn.
Khi độ rộng của tập dữ liệu vượt quá một nghìn tỷ từ, hãy kỳ vọng khả năng kiến thức sẽ đạt đến những tầm cao mới. Tuy nhiên, việc tránh quá tự tin trong các phản hồi vẫn là một thách thức đang diễn ra.
Cho dù việc tổng hợp kiến thức mở rộng được áp dụng một cách có trách nhiệm như thế nào cũng có thể cho phép ChatGPT để hỗ trợ mọi người theo những cách vô cùng hữu ích. Tiềm năng vẫn còn rất lớn.