Bài Viết Đề Xuất Chỉ Số 'Genie Coefficient' Để Đo Khoảng Cách Ý Định Trong Giao Tiếp Với AI

Tác giả cho rằng các benchmark lớn đo năng lực AI nhưng không đo liệu AI có làm đúng điều người dùng muốn, tức là khoảng cách giữa yêu cầu và các giả định ngầm về cách thực hiện. Họ gọi khoảng cách này là Genie coefficient và đề xuất nó như một chỉ số mới.

Bài viết lập luận rằng thường có một khoảng cách giữa yêu cầu của người này và cách hiểu của người khác, và con người lấp đầy khoảng trống đó bằng kiến thức chung. Ví dụ được nêu là khi nhờ bạn lấy cà phê, người ta hiểu rằng sẽ rót từ ấm hoặc mua ở quán, chứ không mang túi hạt thô hay giật ly của người khác.

Tác giả dẫn trích từ cuốn sách năm 1987 của Terry Winograd và Fernando Flores để nhấn mạnh rằng việc chỉ mô tả nhiệm vụ, câu hỏi và ý định rõ hơn không giải quyết được vấn đề, vì ngôn ngữ con người luôn thiếu cụ thể; ví dụ đối thoại về nước trong tủ lạnh dẫn tới câu trả lời bất ngờ về nước trong tế bào cà tím.