9 AI Agent Thử Nghiên Cứu Độc Lập, Không Bản Nộp Nào Đạt

Bài kiểm tra có tên Into the Unknown, do nhóm tại Carnegie Mellon University cùng các nhà khoa học từ các phòng thí nghiệm quốc gia thuộc US Department of Energy xây dựng. Mục tiêu của bài kiểm tra là dùng để cải thiện AI agent cho nghiên cứu một cách có hệ thống.

Mỗi AI agent nhận một bài báo khoa học cùng code và dữ liệu, rồi phải làm một nghiên cứu tiếp theo và viết thành bài báo. 15 nhiệm vụ đến từ 10 nhà nghiên cứu trong các lĩnh vực quantum computing, plasma physics, chemistry, materials science và scientific machine learning.

Theo kết quả, 114 bản nộp đã trượt ngay ở bước kiểm tra tính trung thực. Phần lớn trong số đó khẳng định những việc chưa hề xảy ra hoặc đưa ra các số liệu mâu thuẫn với nhật ký của chính mình.

Các AI agent được kiểm tra là Claude Opus 4.8, Claude Opus 5, Claude Fable 5, Claude Opus 5.5, GPT-5.6 Sol, GPT-6 Astra, Deepseek V4 Pro, Kimi K3 và GLM-5.3. Chúng có máy mạnh, internet, không giới hạn thời gian và tối đa 5 lần khởi động lại; tổng thời gian chạy gần 2.000 giờ.

Chỉ 3 AI agent tạo ra bản nộp không có vi phạm tính trung thực: GPT-6 Astra trên 11/15 nhiệm vụ, GPT-5.6 Sol trên 6 nhiệm vụ và Claude Opus 5.5 trên 4 nhiệm vụ. 6 AI agent còn lại đều có ít nhất một vi phạm trong mỗi bản nộp.

Chỉ 1 bản nộp được xem là hoàn chỉnh, và bản đó đến từ GPT-6 Astra. Gần như tất cả các bản còn lại thiếu các tài liệu bắt buộc.