Agent Làm Nhiều Hơn, Người Vẫn Chốt Quyết Định

Nhóm này xem dự án của chính mình, có sự tham gia của các nhà nghiên cứu từ Fudan University ở Trung Quốc. Mục tiêu là xây model ngôn ngữ agentic Atria Dawn Preview, dựa trên kiến trúc hỗn hợp chuyên gia với 744 tỉ tham số và hướng tới nghiên cứu và kỹ thuật.

Model được huấn luyện qua một quy trình gắn từng việc với môi trường thực thi thật. Quy trình này gọi công cụ, tạo ra kết quả trung gian và được kiểm tra bằng các tín hiệu bên ngoài như bài kiểm tra, số đo hoặc bằng chứng từ nguồn.

Nhóm cho biết model dẫn đầu ở 5 trên 16 benchmark, gồm tìm kiếm web và an ninh mạng, nhưng không có lợi thế chung so với các model khác. AI được dùng trong 96.5% các việc được xem xét.

Trong 4 tuần, tỉ lệ trung vị giữa hành động của agent và đầu vào của người tăng từ 11 lên 28.5. Nhóm cảnh báo không nên đọc con số này như mức tự chủ tăng lên, vì mỗi quyết định của người lại kéo thêm nhiều bước của agent, không phải vì agent tự quyết nhiều hơn.

Trong 455 việc có AI hỗ trợ đã hoàn thành, 151 việc được đánh giá là không thể làm nếu không có AI, gần 1/3, và trải trên 27 trong 56 người tham gia. AI không làm nhanh các việc đó; nó làm cho những việc vốn chưa từng được bắt đầu trở nên khả thi.

Ở phần quyết định về phương pháp và tham số, mẫu phổ biến nhất là AI đề xuất, người chọn, với 55.4%. Nhìn chung, người nắm 85.5% quyết định về phương pháp và tham số, AI chỉ 9.2%; với mục tiêu và phạm vi, người chốt 93.4% trường hợp, còn AI chỉ đưa ra 17 đến 55% đề xuất tùy loại quyết định.

Khi gặp trục trặc, 76% việc tiếp tục nhờ can thiệp của người, và 23% do agent tự giải quyết. Can thiệp của người thường là thêm bối cảnh hoặc làm rõ yêu cầu ở 35.2% trường hợp, hoặc chẩn đoán lỗi và đổi phương pháp ở 34.7%; việc tự làm lại chỉ 3.2%, còn tiếp quản toàn bộ là 0.7%.