Nghiên Cứu: Nhiều Nhận Định Về Model Ngôn Ngữ Lớn Đã Lỗi Thời

Nhóm này xem các nhận định trên những model phát hành từ tháng 7 năm 2024 đến tháng 9 năm 2026 của 8 nhà phát triển. 34% nhận định yếu đi rõ rệt, chỉ 16% còn giữ nguyên, và 6% mạnh hơn trước.

Sau 1 năm, 16% đã hết hiệu lực. Sau 2 năm, con số này lên 39%. Các nhận định nói về điều model không làm được là nhóm hết hiệu lực nhanh nhất.

Trong 9 kết quả liên quan đến suy luận, 5 đã được xem là hết hiệu lực và không kết quả nào còn giữ được hoặc mạnh hơn. Các ví dụ gồm đếm chữ cái trong từ dâu tây, làm phép số học trong hệ đếm lạ, mất thông tin ở giữa ngữ cảnh dài, và bỏ cuộc dù người dùng thúc ép sau khi đã có câu trả lời đúng.

Những nhận định về sở thích và xu hướng sống lâu hơn. Trong 11 kết quả còn giữ được hoặc mạnh hơn, 3 liên quan đến việc model làm giám khảo: chúng thích câu trả lời của chính mình, chấm bài báo được nhận và bị từ chối gần như nhau, và bị ảnh hưởng bởi cách diễn đạt trong tóm tắt y khoa.

Ba kết quả khác liên quan đến việc xu nịnh và đồng ý với người dùng. Ngoài ra còn có thiên lệch chính trị về bên trái, câu trả lời gần như giống hệt cho câu hỏi mở, và phân phối không đều khi tạo số ngẫu nhiên.

Thiên lệch đối với người nói tiếng Anh của người Mỹ gốc Phi đã đổi chiều trong dữ liệu xu hướng. Kết quả cũng khác nhau đáng kể giữa các model, kể cả trong cùng một khoảng phát hành.

Ở một ví dụ riêng, nghiên cứu nhìn vào việc bịa tài liệu tham khảo. Trong nghiên cứu gốc năm 2023 của Walters và Wilder, GPT-3.5 bịa 55% tài liệu tham khảo; trên cùng bộ câu lệnh, GPT-6.1 Sol bịa 0%, Claude Sonnet 5.5 là 1%, còn Qwen3.7-Flash là 69%.

Nhóm nghiên cứu nói đây không phải tín hiệu để yên tâm hoàn toàn. Với câu hỏi hai bước, Claude Sonnet 5.5 vẫn sai trong khoảng 10% trường hợp dù trả lời đúng cả 2 câu riêng lẻ, còn lời nguyền đảo ngược và các câu hỏi mâu thuẫn về thời gian cũng đã yếu đi nhưng vẫn còn thấy được.