ChatGPT đã gây bão trên toàn thế giới với những phản ứng hùng hồn giống con người được hỗ trợ bởi AI tiên tiến. Cụ thể, nó có được khả năng ngôn ngữ tự nhiên nhờ vào một nhóm mô hình được gọi là Generative Pretrained Transformers (GPT) được phát triển bởi công ty nghiên cứu OpenAI.
Trong bài đăng này, chúng tôi sẽ làm sáng tỏ cách thức hoạt động của các mô hình máy biến áp này và cách chúng kích hoạt ChatGPTmàn trình diễn ấn tượng của nó.
GPT – Mô hình nền tảng cho NLP
Ở cấp độ cao, mô hình GPT là “mô hình nền tảng” mạnh mẽ nhằm vào các tác vụ ngôn ngữ tự nhiên như tạo văn bản.
Họ là người đầu tiên được huấn luyện trước trên kho văn bản khổng lồ – tiếp thu tới hàng trăm tỷ từ từ các nguồn như trang web, sách và Wikipedia. Điều này cho phép GPT phân tích sâu các mẫu trong ngôn ngữ của con người.
Sau khi huấn luyện trước, các mô hình có thể được tinh chỉnh trên các bộ dữ liệu cụ thể hơn để tùy chỉnh khả năng của chúng. Ví dụ: một mục tiêu tinh chỉnh chính cho ChatGPT là khả năng đàm thoại - cho phép đối thoại qua lại dựa trên thực tế.
Qua các phiên bản kế tiếp, OpenAICác mô hình GPT của đã trở nên tiên tiến hơn đáng kể khi các bộ dữ liệu lớn hơn và sức mạnh tính toán mở rộng những gì có thể.
Bên trong GPT: Kiến trúc máy biến áp
Về cơ bản, các mô hình GPT tận dụng kiến trúc học sâu dựa trên sự chú ý được gọi là biến áp.
Transformers là một bước đột phá trong xử lý ngôn ngữ tự nhiên, vượt trội hơn các phương pháp cũ ở những tác vụ như dịch thuật đòi hỏi phải hiểu ngữ cảnh của từ. Những cải tiến quan trọng của họ:
- Lớp tự chú ý phân tích xem mỗi từ liên quan với nhau như thế nào trong một câu
- Điều này cho phép các mô hình máy biến áp như GPT hiểu sâu sắc các mối quan hệ phức tạp trong văn bản thay vì xử lý tuần tự
Trong quá trình đào tạo trước, kiến trúc biến áp của GPT cho phép nó khám phá các mẫu ngữ cảnh cực kỳ phức tạp hiện diện trong ngôn ngữ của con người từ các bộ dữ liệu khổng lồ của nó.
Sau đó, trong quá trình tinh chỉnh các ứng dụng như ChatGPT, mô hình nền tảng có thể tạo ra những câu mới mạch lạc, có ý nghĩa phù hợp với những cấu trúc đã học đó.
GPT-3.5: Lần đầu ChatGPT Nền tảng
Phiên bản đầu tiên được sử dụng để cấp nguồn ChatGPT là GPT-3.5, một biến thể tăng cường của GPT-3.
Bản thân GPT-3 đã khiến cả thế giới phải kinh ngạc khi ra mắt vào năm 2020 nhờ chất lượng, tính mạch lạc và tính sáng tạo của các sản phẩm đầu ra.
Bằng cách xây dựng dựa trên các khả năng của GPT-3 và tinh chỉnh tùy chỉnh cho khả năng đàm thoại, GPT-3.5 đã được kích hoạt ChatGPTchức năng đối thoại trôi chảy ấn tượng.
GPT-4: Khả năng cao hơn 2-5 lần, tính toán ít hơn 98%
Tuy nhiên, theo kiểu AI tiên tiến thực sự, các phiên bản GPT tiến bộ nhanh chóng. Gần đây, OpenAI ra mắt mới nhất GPT-4 được cho là có khả năng xử lý hầu hết các tác vụ ngôn ngữ cao hơn 2-5 lần trong khi yêu cầu khả năng tính toán ít hơn 98%.
Tận dụng GPT-4 có thể cho phép ChatGPT để đạt đến tầm cao mới về các chỉ số như chất lượng đầu ra, độ chính xác thực tế, độ sâu của hộp thoại, v.v.
Và đoàn tàu mô hình móng máy biến áp có thể sẽ tiếp tục tăng tốc từ đây. Với dữ liệu liên tục và khả năng mở rộng quy mô điện toán được mong đợi trong các phiên bản GPT trong tương lai, rất nhiều người phấn khích về những gì có thể sớm xảy ra.
Tuy nhiên, sang một bên các khả năng mới, việc diễn giải các mô hình này một cách thận trọng vẫn rất quan trọng – chúng có những hạn chế đáng chú ý bất chấp sự cường điệu xung quanh kết quả đầu ra của chúng. Nhưng sự phát triển có trách nhiệm có thể tạo ra những ứng dụng cực kỳ có lợi.
Vì vậy, hãy xem không gian này! Chúng ta có thể vẫn chỉ mới sơ lược về những gì AI mạnh mẽ nhưng an toàn cuối cùng có thể đạt được.