Anthropic Công Bố Cách AI Tự Cải Thiện Trên Phép Đo Hiệu Năng

Mô hình được nhắc tới là Automated Alignment Researcher, viết tắt AAR, do Chen Yueh-Han dẫn dắt trong chương trình fellows của Anthropic. Mỗi hệ thống tự động tìm kiếm tài liệu có sẵn, đề xuất cách làm, rồi huấn luyện model theo cách đó trong 30 phút.

Sau đó, hệ thống tăng dần phép đo qua nhiều vòng lặp. Các cách làm hiệu quả được giữ lại, còn cách làm kém hiệu quả thì bị loại bỏ.

Tài liệu nói kết quả này là bằng chứng ban đầu rằng huấn luyện sau ban đầu để căn chỉnh tự động có thể trở nên khả thi trong thời gian gần. Nó cũng xem đây là một bước hướng tới tự cải thiện lặp lại.

Tài liệu so sánh AAR với người. Tài liệu nói cách AAR tốt nhất vượt qua những gì người có kinh nghiệm đề xuất, trung bình trong 6 giờ, và hướng nghiên cứu do người dẫn dắt không tạo ra hiệu năng mạnh hơn.

Tài liệu cũng đưa ra so sánh chi phí. Một AAR tốn khoảng 4 đô la mỗi giờ cho chạy suy luận qua API, trong khi người nghiên cứu được trả 150 đô la mỗi giờ.

Tài liệu nêu một số giới hạn. Hệ thống tự động chỉ hiệu quả khi các phép đo phản ánh đúng mục tiêu căn chỉnh, và vẫn cần nhiều công việc để xây dựng, duy trì, mở rộng các phép đo đó cũng như kho tài liệu mà hệ thống tự động dùng tới.