Nvidia SoL-Pi Giảm Gần Một Nửa Token Của Agent Code

Hệ thống này nhắm vào lớp điều khiển giữa model và môi trường, nơi agent nhìn trạng thái, chạy hành động và xử lý phản hồi. Nhóm nghiên cứu nói phần này khó tối ưu vì dùng công cụ, quản lý ngữ cảnh, kiểm tra và phần dừng đều gắn chặt với nhau.

Theo nhóm nghiên cứu, agent AI làm việc càng lâu khi không có người giám sát thì càng tốn token. Một thay đổi có thể tiết kiệm token ở chỗ này nhưng lại đẩy chi phí sang chỗ khác hoặc làm phát sinh lỗi.

SoL-Pi tự động làm phần việc mà trước đây con người thường phải xem lại các vết chạy dài rồi sửa thành code. Một agent nghiên cứu quan sát vết chạy của agent khác, đề xuất thay đổi và thử chúng trong môi trường đã chuẩn bị sẵn.

Cách này được thử trên 535 môi trường có thể chạy. Hệ thống khảo sát 152 hướng, gồm 495 việc lấy từ các cặp lỗi và yêu cầu kéo trên GitHub, cùng 40 trường hợp thử tổng hợp.

Tổng cộng, quá trình tạo ra hơn 3.000 lần chạy và hơn 60.000 lần tương tác giữa agent và môi trường. Nhóm nghiên cứu nói quy mô này cho thấy hệ thống đã tìm rộng, nhưng tìm nhiều hơn không tự động cho kết quả tốt hơn.

Để tránh việc tối ưu quá sát với việc huấn luyện, nhóm nghiên cứu tách hẳn phản hồi tìm kiếm khỏi đánh giá. EdgeBench được dùng làm bộ kiểm thử và bị chặn khỏi quá trình tìm kiếm; trong 51 việc công khai của EdgeBench, 11 việc dùng để kiểm tra một lần các ứng viên đã hoàn tất, còn 40 việc giữ lại cho đánh giá cuối.

SoL-Pi tạo ra 3 cơ chế. Cơ chế thứ nhất gộp 2 bước liên tiếp thành 1, như sửa code rồi chạy thử, để bỏ bớt một lần gọi model. Cơ chế thứ hai chạy sau mỗi bước lập kế hoạch và cắt ngắn ngữ cảnh đã tích lũy khi có thể mà không mất thông tin quan trọng. Cơ chế thứ ba lưu lại đầu ra dài của công cụ và chỉ chèn một bản tóm tắt ngắn ở các bước sau thay vì gửi lại toàn bộ văn bản mỗi lần.