Nvidia Nói Phần Mềm Bao Quanh Model Mới Là Yếu Tố Quyết Định Trong Nhiệm Vụ Dài Hạn

Nghiên cứu được Nvidia công bố hôm thứ Sáu thử nghiệm bằng cách thêm một harness tối ưu quản lý bộ nhớ và một thành phần “supervisor” vào Claude Opus 5. Với harness này, Opus 5 đạt 100% trên bộ phép đo suy luận tương tác ARC-AGI-3, trong khi không có harness model chỉ đạt 30%, là kết quả cao nhất của các model được thử nghiệm khi không dùng harness.

Nvidia mô tả harness là phần mềm bao quanh model, gồm công cụ, quản lý bộ nhớ và luật lệ biến model thô thành một hệ thống có thể hoạt động độc lập. Adel El Hallack, phó chủ tịch sản phẩm ở bộ phận AI của Nvidia, nói rằng agent thực ra là model cùng với “giàn giáo” quanh model, tức harness, runtime và các kỹ năng thư viện mà nó được truy cập.

ARC-AGI-3 là tập các trò chơi 2D không kèm hướng dẫn, nơi model phải tự tìm cách chơi và thắng như con người; đạt 100% nghĩa là model đánh bại trò chơi tương đương con người. Nvidia cho rằng kết quả này cho thấy dù việc chọn model vẫn quan trọng, phần “brain” của model chỉ là một phần nhỏ trong hệ thống agentic so với harness, đặc biệt với nhiệm vụ dài hạn.

Bài viết nhắc rằng OpenAI trước đó đạt điểm dưới 10% trên ARC-AGI-3 và sau đó thử điều chỉnh harness, thấy điểm số tăng gấp ba nhưng vẫn không tới 100%. Nvidia cũng dẫn ra thách thức chung của nhiệm vụ dài hạn: model phải nối nhiều quyết định trong thời gian dài mà không lệch hướng.