CloudOpsBench Cho Thấy Suy Luận Là Nút Thắt Lớn Nhất Của AI

CloudOpsBench phiên bản 1.0 có 45 nhiệm vụ trên AWS. Bộ này được xây dựng bởi các kỹ sư DevOps giàu kinh nghiệm, với các việc như sửa dịch vụ, xóa tài nguyên, hạn chế quyền truy cập, triển khai cập nhật và ngừng dự án.

Ngay cả những model tốt nhất cũng sai ở nhiều nhiệm vụ. Claude Fable 5.1 làm đúng 60%, còn GPT-6 Astra đạt 53%. Đội ngũ do Ang Chen ở University of Michigan dẫn đầu cho biết vấn đề chính không phải thiếu kiến thức.

Khoảng 80% lỗi đến từ việc agent đánh giá sai phạm vi của nhiệm vụ, không kiểm tra hết các dịch vụ liên quan hoặc dừng quá sớm. Khoảng 20% lỗi là hành động sai, và một số có hậu quả không thể đảo ngược với hạ tầng.

Mọi nhiệm vụ được chạy giống nhau trên cloud AWS thực và trong bộ mô phỏng. Dự án cũng dự kiến thêm phần mở rộng cho GCP, Azure và OCI. Mã trên GitHub được cấp phép Apache 2.0, và có sẵn một phân tích lỗi chi tiết.