Elorian Và Scale AI Ra Humanity’s Sixth Sense

Humanity’s Sixth Sense chia câu hỏi thành bốn nhóm: diễn biến thời gian và nguyên nhân; logic vật lý và không gian; hiểu biết xã hội; suy luận trừu tượng và theo ngữ cảnh. Có câu hỏi về một kệ sách liệu còn chỗ cho thêm sách hay không, và một ảnh ngựa kéo cày với câu hỏi xích có chịu được lực kéo của cày hay không.

Con người đạt pass@1 tổng 93.1. Theo từng nhóm, ảnh là 94.1, video là 91.9, thời gian là 97 và không gian là 94.9.

Model có điểm cao nhất là GPT 6 Astra với pass@1 53.6. Theo từng nhóm, nó đạt ảnh 55.6, video 51.1, thời gian 58.2 và không gian 53.6.

Trong nhóm model trọng số mở từ Trung Quốc, GLM-5.3-flash đạt 26.8 và Kimi K3 đạt 25.5. Hai lỗi thường gặp nhất là bỏ sót chi tiết quyết định câu trả lời, 21% trong các lần sai, và nhận nhầm vật, người hoặc vai trò, 20%.