Realtime-Bench Đo AI Ở Nhiệm Vụ Độ Trễ Thấp

Bộ kiểm tra này do các nhóm ở University of Texas at Austin, Ohio State University, University of Illinois at Urbana-Champaign, NVIDIA, Northwestern University và Steadyworks xây dựng. Nó gồm 30 nhiệm vụ trên web trong 4 nhóm là du lịch, thương mại điện tử, dịch vụ và an ninh, cùng 20 nhiệm vụ game trong 4 nhóm là máy thùng, câu đố, chiến lược và mô phỏng.

Mục tiêu của nó là đo 3 phẩm chất: RT-Perceive, RT-Deliberate và RT-Act. RT-Perceive là khả năng theo dõi thay đổi của thế giới từ quan sát, RT-Deliberate là điều chỉnh độ dài và độ sâu suy luận theo thời gian có sẵn, còn RT-Act là chọn thời điểm hành động cho phù hợp.

Một ví dụ trong mô tả của bộ kiểm tra là người mua vé phải theo dõi trạng thái bán và xem chỗ còn thấy được có còn là hiện tại không. Người đó cũng phải giảm suy luận khi cửa sổ mua sắp đóng, rồi chọn giữa chờ mở bán hay mua khi vé còn.

Bộ kiểm tra có 3 điều kiện chạy. Wall clock dùng để thử khả năng trong độ trễ thật, Paused clock cho phép dừng tùy ý để xem mức nền, còn Token clock làm môi trường tiến theo tốc độ cố định cho mỗi token tạo ra; khi một hành động được chốt, nó sẽ được áp dụng ở thời gian mô phỏng đã tới, nên dùng thêm token sẽ làm chậm thực thi bất kể độ trễ suy luận thực tế.

Các model được thử gồm GPT-6-Astra, GPT-5.6 Sol, GPT-Realtime-2, OpenAI Decisions, Claude Fable 5.1, Claude Opus 5, Gemini 3.8 Flash, Gemini 3.1 Flash Live, Gemini 3.8 Live, Jev 1.13, Deepseek V4.1 và Kimi-K3. Ở Wall clock, GPT-6-Astra (cao) có tỉ lệ đạt cao nhất là 36%; còn ở Paused clock, các model có suy luận cao tiến gần 70% hoặc thậm chí 80%.

Các tác giả nói điểm thấp ở đây cho thấy những việc mà agent AI chưa thể được kỳ vọng làm tốt.