Mô Hình Của Sakana AI Tự Cải Thiện Nhưng Vẫn Bỏ Lỡ Điểm Mù

MASS là viết tắt của Multi-Agent Self-Supervision, một cách cho phép một model ngôn ngữ vừa làm nhiệm vụ, vừa tối ưu cách làm, vừa chấm kết quả. Nhóm nghiên cứu nói phương pháp này hướng tới recursive self-improvement, tức tự cải thiện lặp lại.

Ý tưởng này lấy cảm hứng từ Society of Mind, cuốn sách của Marvin Minsky, người tiên phong về AI. Nhóm nghiên cứu tập trung vào cách model chia nhỏ công việc, vì ở ranh giới nghiên cứu ngay cả chuyên gia cũng thường khó đánh giá kết quả.

Họ nói việc kiểm tra có thể cần bằng chứng hỗ trợ tốn kém hoặc thí nghiệm kéo dài. Một nghiên cứu plasma có thể mất hơn 120 triệu giờ xử lý. Khi cùng một model vừa giải, vừa chấm, vừa sửa, lỗi của nó có thể bị giữ lại và đi tiếp sang vòng huấn luyện sau.

Trong MASS, một luồng công việc là văn bản được thêm vào prompt để định nghĩa vai trò và hướng dẫn cho từng agent con. Một bản cam kết nêu thông tin mỗi agent con phải trả lại và các kiểm tra phải làm, còn bước gọi quy định thứ tự gọi.

Bộ điều phối chia việc cho các agent con. Khi kiểm thử một chiến lược giao dịch bằng giá lịch sử, bản cam kết của chuyên gia dữ liệu phải bảo đảm chiến lược chỉ dùng thông tin có tại từng thời điểm. Sau khi tinh chỉnh LoRA, model lại đảm nhận cả ba vai trò.

Model gốc là Qwen3.6-27B, dùng Qwen Code làm khung chạy. Nhóm nghiên cứu tạo 12 nhiệm vụ nghiên cứu bằng GPT-5.5 trong tài chính, robot và dược phẩm, giữ 3 nhiệm vụ để kiểm thử và 9 nhiệm vụ để huấn luyện. Chỉ 8 nhiệm vụ cho ra dữ liệu huấn luyện, vì tìm không ra luồng công việc nào thắng model chuẩn ở một nhiệm vụ huấn luyện.

Trên các nhiệm vụ kiểm thử, tỷ lệ thắng trước model gốc tăng từ 53.9% sau 1 vòng lên 69.9% sau 2 vòng. Trên MLR-Bench, DSBench, ScienceAgentBench và AstaBench, model đạt mức điểm bằng 1.2 đến 1.6 lần model gốc trên mỗi token đầu ra.