Nghiên Cứu Giải Thích Vì Sao "skill" Giúp Agent Và Khi Nào Chúng Thất Bại

Nghiên cứu do nhóm từ Princeton University, UC San Diego và các trường khác thực hiện thông qua thí nghiệm có kiểm soát. Họ chạy các tác vụ giống hệt nhau để so sánh agent có skill và agent không có skill trong tổng cộng 8.135 lần thử.

Kết quả chính cho thấy lợi ích lớn nhất của skill là đem lại một quy trình thực hiện đáng tin cậy cho agent, chứ không phải cung cấp kiến thức thiếu. Yếu tố gọi là "procedural grounding" giải thích 65,7% số trường hợp mà agent có skill làm tốt hơn agent không có skill. Việc trực tiếp cung cấp kiến thức chỉ giúp trong 4,5% trường hợp thử nghiệm.

Nghiên cứu cũng chỉ ra hai hạn chế. Thứ nhất, trong 10% trường hợp, agent áp dụng skill một cách máy móc hoặc không phù hợp, dẫn đến lỗi mới. Thứ hai, khi thư viện skill lớn lên từ 5 lên 100 mục, độ chính xác truy xuất trong thực tế giảm từ 29,6% xuống còn 3,3% trong các bài kiểm tra, vì các lựa chọn tương tự khiến việc chọn skill phù hợp khó hơn.

Tác giả cho rằng việc sử dụng skill cần được coi là một vòng đời: cải tiến không đến chỉ bằng cách lưu nhiều kinh nghiệm hơn, mà bằng cách phát triển những phương pháp tin cậy hơn để tạo, truy xuất và áp dụng chúng.