Các mô hình ngôn ngữ thường xuyên ảo tưởng vì các quy trình đào tạo và đánh giá tiêu chuẩn khuyến khích những phỏng đoán, chứ không phải thừa nhận sự không chắc chắn. Điều này được nêu trong bài nghiên cứu của OpenAI.
Trong công ty đã đưa ra định nghĩa sau về vấn đề:
«Ảo giác là những tuyên bố có vẻ hợp lý nhưng sai lệch, được tạo ra bởi các mô hình ngôn ngữ. Chúng có thể xuất hiện một cách bất ngờ ngay cả trong các câu trả lời cho những câu hỏi có vẻ đơn giản.»
Ví dụ, khi các nhà nghiên cứu hỏi "một chatbot phổ biến" về tiêu đề luận án tiến sĩ của Adam Tauman Kalai (tác giả của bài viết), nó tự tin đưa ra ba câu trả lời khác nhau, không có câu nào là đúng. Khi được hỏi về ngày sinh của nó, AI đã nêu ra ba ngày sai.
Theo OpenAI, ảo giác tồn tại một phần vì các phương pháp đánh giá hiện đại đặt ra những kích thích sai, khiến các mạng nơ-ron "đoán" ký tự tiếp theo trong câu trả lời.
Một phép so sánh được đưa ra là tình huống khi một người không biết câu trả lời đúng cho một câu hỏi trong bài kiểm tra, nhưng có thể đoán và tình cờ chọn đúng.
So sánh độ chính xác của hai mô hình. Nguồn: OpenAI.
«Giả sử một mô hình ngôn ngữ được hỏi về ngày sinh của ai đó, nhưng nó không biết. Nếu nó đoán “10 tháng 9”, xác suất trả lời đúng sẽ là một trên 365. Câu trả lời “tôi không biết” đảm bảo được không điểm. Sau hàng nghìn câu hỏi kiểm tra, mô hình dựa trên đoán mò trông tốt hơn trên bảng điểm so với mô hình chính xác, chấp nhận sự không chắc chắn», — các nhà nghiên cứu giải thích.
Về độ chính xác, mô hình OpenAI cũ hơn - o4-mini - hoạt động tốt hơn một chút. Tuy nhiên, tỷ lệ lỗi của nó cao hơn đáng kể so với GPT-5, vì việc đoán chiến lược trong các tình huống không chắc chắn làm tăng độ chính xác, nhưng cũng tăng số lượng ảo giác.
Nguyên nhân và giải pháp
Các mô hình ngôn ngữ được đào tạo ngay từ đầu thông qua "đào tạo trước" - một quá trình dự đoán từ tiếp theo trong khối lượng văn bản khổng lồ. Khác với các nhiệm vụ học máy truyền thống, ở đây không có nhãn "đúng/sai" gắn liền với mỗi tuyên bố. Mô hình chỉ thấy các ví dụ tích cực về ngôn ngữ và phải xấp xỉ phân phối tổng thể.
«Khó gấp đôi để phân biệt các tuyên bố đúng từ sai khi không có ví dụ nào được gán nhãn là sai. Nhưng ngay cả khi có nhãn, thì sai sót vẫn là điều không thể tránh khỏi», — OpenAI nhấn mạnh.
Công ty đã đưa ra một ví dụ khác. Trong nhận dạng hình ảnh, nếu hàng triệu bức ảnh của mèo và chó được đánh dấu tương ứng, các thuật toán sẽ học cách phân loại chúng một cách đáng tin cậy. Nhưng nếu mỗi bức ảnh của thú cưng được phân loại theo ngày sinh, nhiệm vụ sẽ luôn dẫn đến lỗi, bất kể thuật toán có tiên tiến đến đâu.
Cũng vậy với văn bản - chính tả và dấu câu tuân theo các quy luật cố định, vì vậy các lỗi sẽ biến mất khi quy mô tăng lên.
Các nhà nghiên cứu khẳng định rằng không chỉ đơn giản là đưa vào "một vài bài kiểm tra mới xem xét sự không chắc chắn". Thay vào đó, "các ước lượng được sử dụng rộng rãi, dựa trên độ chính xác, cần phải được cập nhật để kết quả của chúng loại trừ những nỗ lực đoán mò."
«Nếu các thang đo [đánh giá] chính vẫn tiếp tục khuyến khích những phỏng đoán thành công, các mô hình sẽ tiếp tục học cách đoán.» - OpenAI cho biết.
Nhắc lại, vào tháng Năm, ForkLog đã viết rằng ảo giác vẫn là vấn đề chính của AI.
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Tại sao AI lại ảo giác? Nghiên cứu của OpenAI
Các mô hình ngôn ngữ thường xuyên ảo tưởng vì các quy trình đào tạo và đánh giá tiêu chuẩn khuyến khích những phỏng đoán, chứ không phải thừa nhận sự không chắc chắn. Điều này được nêu trong bài nghiên cứu của OpenAI.
Trong công ty đã đưa ra định nghĩa sau về vấn đề:
Ví dụ, khi các nhà nghiên cứu hỏi "một chatbot phổ biến" về tiêu đề luận án tiến sĩ của Adam Tauman Kalai (tác giả của bài viết), nó tự tin đưa ra ba câu trả lời khác nhau, không có câu nào là đúng. Khi được hỏi về ngày sinh của nó, AI đã nêu ra ba ngày sai.
Theo OpenAI, ảo giác tồn tại một phần vì các phương pháp đánh giá hiện đại đặt ra những kích thích sai, khiến các mạng nơ-ron "đoán" ký tự tiếp theo trong câu trả lời.
Một phép so sánh được đưa ra là tình huống khi một người không biết câu trả lời đúng cho một câu hỏi trong bài kiểm tra, nhưng có thể đoán và tình cờ chọn đúng.
Về độ chính xác, mô hình OpenAI cũ hơn - o4-mini - hoạt động tốt hơn một chút. Tuy nhiên, tỷ lệ lỗi của nó cao hơn đáng kể so với GPT-5, vì việc đoán chiến lược trong các tình huống không chắc chắn làm tăng độ chính xác, nhưng cũng tăng số lượng ảo giác.
Nguyên nhân và giải pháp
Các mô hình ngôn ngữ được đào tạo ngay từ đầu thông qua "đào tạo trước" - một quá trình dự đoán từ tiếp theo trong khối lượng văn bản khổng lồ. Khác với các nhiệm vụ học máy truyền thống, ở đây không có nhãn "đúng/sai" gắn liền với mỗi tuyên bố. Mô hình chỉ thấy các ví dụ tích cực về ngôn ngữ và phải xấp xỉ phân phối tổng thể.
Công ty đã đưa ra một ví dụ khác. Trong nhận dạng hình ảnh, nếu hàng triệu bức ảnh của mèo và chó được đánh dấu tương ứng, các thuật toán sẽ học cách phân loại chúng một cách đáng tin cậy. Nhưng nếu mỗi bức ảnh của thú cưng được phân loại theo ngày sinh, nhiệm vụ sẽ luôn dẫn đến lỗi, bất kể thuật toán có tiên tiến đến đâu.
Cũng vậy với văn bản - chính tả và dấu câu tuân theo các quy luật cố định, vì vậy các lỗi sẽ biến mất khi quy mô tăng lên.
Các nhà nghiên cứu khẳng định rằng không chỉ đơn giản là đưa vào "một vài bài kiểm tra mới xem xét sự không chắc chắn". Thay vào đó, "các ước lượng được sử dụng rộng rãi, dựa trên độ chính xác, cần phải được cập nhật để kết quả của chúng loại trừ những nỗ lực đoán mò."
Nhắc lại, vào tháng Năm, ForkLog đã viết rằng ảo giác vẫn là vấn đề chính của AI.