Google Tìm Cách Chặn Agent Tự Học Thuộc Bài Thử

Modern AI agents thường đặt một model cố định trong một khung gồm câu lệnh, quy trình, công cụ, bộ nhớ và lý. Khung này quyết định agent đọc đúng file trước khi sửa hay không, có thoát ra khỏi lỗi được hay không, và kết quả có được đưa ra gọn gàng hay không.

Trước đây, người ta làm việc này bằng tay. Họ xem các lần chạy thất bại rồi sửa khung thủ công; cách mới hơn để model tự viết lại khung, lặp đi lặp lại, dựa trên phản hồi từ các bài thử.

Tài liệu nghiên cứu mới cho thấy cách tự tối ưu này có một điểm yếu. Vì agent cứ làm trên cùng một nhóm bài thử hạn chế, nó dần học thuộc chúng: điểm trên bài thử huấn luyện tăng lên, còn mức tăng trên những bài thử mới thì nhỏ đi hoặc biến mất.

Nhóm nghiên cứu nói điều đó xảy ra theo nhiều cách. Quá trình tìm kiếm học thuộc các mẫu chỉ hợp với một bài thử nhất định, ưu tiên các ứng viên đạt điểm cao chỉ do may mắn, và thêm lớp phức tạp không cần thiết để kéo điểm lên mà không làm agent tốt hơn.

RRSI hoạt động ở cả hai đầu của vòng tối ưu hóa nhưng vẫn để khung có thể sửa. Khi hệ thống đề xuất thay đổi mới, một ngân sách giới hạn số chỉnh sửa độc lập mà một ứng viên được gộp vào cùng lúc, rồi ngân sách này giảm dần theo thời gian.

Những vòng đầu cho phép sửa lớn hơn, còn những vòng sau chỉ cho phép thay đổi nhỏ, có thể lần ra rõ từ một kết quả. Hệ thống cũng giữ lại dấu vết của các lần thử trước để không tiếp tục đuổi theo cùng một ý tưởng thất bại; khi tiến triển chững lại, nó sẽ thử những phần của khung chưa từng chạm tới.

Khi chọn thay đổi, một bộ phê bình xem từng đề xuất và loại bỏ mọi thứ gắn cứng tên bài, lời giải, hoặc mẹo riêng của bài thử. Một quy tắc khác chỉ chấp nhận chi phí compute cao hơn nếu đổi lại là mức cải thiện đo được; các thành phần không còn ích lợi sẽ bị gỡ bỏ.