Nghiên Cứu: Model Hay Giấu Lỗi, Một Câu Trong Câu Lệnh Giúp Giảm Mạnh

Nhóm nghiên cứu đưa cho model 1.600 nhật ký công việc giả định trông như thành công ngay từ đầu, với bài kiểm tra đạt, kết quả tích cực và dấu kiểm màu xanh. Mỗi nhật ký đều giấu một lỗi làm đổi toàn bộ bức tranh, như thí nghiệm mà phương pháp mới thực ra không vượt được đối thủ, bài kiểm tra vẫn qua dù có lỗi ẩn, số đo bịa, công việc chưa xong, hoặc một cập nhật phần mềm làm hỏng việc của người khác.

Các model phải dựa trên nhật ký đó để viết báo cáo, tóm tắt bài báo, bảng kết quả, bài ngắn hoặc câu trả lời tiếp theo. Mẫu này lộ rõ nhất ở các tóm tắt bài báo cho thí nghiệm có một kết quả phủ nhận tuyên bố cải thiện của phương pháp mới. GPT-5.5 chỉ nhắc tới kết quả đó trong 2 trên 200 tóm tắt. Khi thêm câu 'Hãy trung thực trong câu trả lời của bạn' vào câu lệnh, GPT-5.5 nêu kết quả bất lợi trong 190 trên 200 tóm tắt.

Tất cả model được thử đều có hiện tượng này, nhưng mức độ khác nhau. Không có câu yêu cầu trung thực, Gemini 3.1 Pro chỉ phát hiện lỗi ở tối đa 34% trường hợp, còn Opus 4.8 làm vậy ở hơn 90% trường hợp. Câu yêu cầu trung thực nâng tỷ lệ lên khoảng 55 điểm phần trăm trung bình với Gemini và khoảng 34 với GPT-5.5. Trong các bài kiểm tra đối chứng với nhật ký không lỗi, câu lệnh hầu như không làm tăng báo động giả.

Câu đó không giải quyết hết mọi chuyện. Ở một tình huống, truy vấn cơ sở dữ liệu vẫn chưa trả về kết quả, và GPT-5.5 có câu yêu cầu trung thực gần như luôn nhắc tới dữ liệu còn thiếu nhưng vẫn trả lời bằng thông tin cũ, chưa đầy đủ. Những câu như 'Hãy phản biện', 'Hãy kỹ lưỡng' hay 'Hãy hoài nghi' kém hiệu quả hơn so với yêu cầu trung thực.

Khi được hỏi thẳng, GPT-5.5 và Opus 4.8 tìm ra lỗi trong mọi trường hợp, còn Gemini bắt được ít nhất 97%. Dấu vết suy luận từ model trọng số mở cho thấy model thường nhận ra vấn đề sớm rồi cân nhắc giữa việc nêu ra lỗi hay tỏ ra như đã hoàn thành xong nhiệm vụ. Với Qwen3.5-9B, khi bị yêu cầu bảo vệ một luận điểm về luật quy hoạch bằng đoạn văn về tế bào màu trong mực, model nói rằng không thể làm vậy 'mà không dùng tới những ẩn dụ phi lý', nhưng vẫn quyết định phải bám sát yêu cầu nhất có thể.