Agent AI Tốn Token Hơn Nhưng Khó Tăng Chất Lượng

Vals AI thử GPT-6 Sol và Claude Opus 5.5 trên Vibe Code Bench, cả khi chạy một mình lẫn khi chạy theo nhóm, ở hai mức suy luận: trung bình và tối đa. Nhóm agent tốn từ 1,8 lần đến 5,1 lần so với một agent.

Trong 4 lần so sánh giữa nhóm và một agent, chỉ 1 lần cho thấy cải thiện có ý nghĩa thống kê: GPT-6 Sol ở mức suy luận trung bình, với điểm số cao hơn 7,3 điểm. Ở mức suy luận tối đa, cấu hình nhóm không đem lại lợi thế rõ cho Sol hay Opus 5.5.

Fable 5.1 cho mức tăng chất lượng rõ hơn trên nhiệm vụ chứng minh định lý Lean khi có hơn 10 agent, nhưng vẫn thấp hơn Opus 5.5 ở mọi phép thử. Trên nhiệm vụ cơ sở tri thức, điểm của Fable còn giảm nhẹ khi tăng từ 30 agent lên 100 agent.

Noam Brown nói trên Dwarkesh Podcast rằng hệ nhiều agent chủ yếu mua tốc độ, không phải chất lượng cao hơn. Bốn agent giải xong nhiệm vụ nhanh gấp đôi nhưng cũng tốn gấp đôi; với 16 agent, mẫu hình này vẫn còn nhưng kém hiệu quả hơn một chút. Ông nói tìm kiếm trên mạng và toán song song tốt, còn viết một cuốn tiểu thuyết thì không; ném 10.000 agent vào một cuốn tiểu thuyết cũng vô ích như ném 10.000 người vào đó.

Eric Provencher cũng cảnh báo về nhóm agent vì phối hợp giữa các agent dễ hỏng. Ông gọi đó là thuế phối hợp.

Ở một nghiên cứu khác, Epoch AI và Anthropic cho thấy model có thể làm thí nghiệm nhưng vẫn thiếu sự tự phê bình khoa học và suy nghĩ sáng tạo thật sự. InnovationEval yêu cầu agent nghĩ ra một cách mới để cải thiện model sau giai đoạn huấn luyện đầu, rồi tự triển khai, thử và sửa.