Richard Sutton Nói Năng Lực Tính Toán Chưa Đủ Cho AI

Richard Sutton, người nhận giải Turing, viết rằng bài đăng của ông đã gây bàn luận rộng trên X. Ông nhắc lại quan điểm từ bài luận năm 2019 Bài học cay đắng: các cách chung, nếu tăng cùng năng lực tính toán, sẽ thắng các cách do con người thiết kế quá mức.

Ông cũng nói trước đây rằng việc chỉ tăng quy mô các model ngôn ngữ lớn có giới hạn. Sutton gọi dữ liệu tổng hợp là một sai lầm lớn, vì thế giới thật quá phức tạp và mọi mô phỏng chỉ là rất nhỏ. Ông cho rằng kiến thức chuyên môn của con người cũng là nút thắt cản trở việc tăng quy mô thật sự.

Thay vào đó, Sutton muốn các agent có model về thế giới và học liên tục từ trải nghiệm của chính mình. Ông nói thế giới phức tạp hơn nhiều so với văn bản trên internet có thể chứa, còn các model ngôn ngữ ngày nay thì không tiếp tục học sau huấn luyện.

Jerry Tworek, người đã rời OpenAI cùng nhiều người khác để tìm hướng AI mới, đặt phát biểu của Sutton vào bối cảnh rộng hơn. Ông viết rằng bài học cay đắng vẫn đúng, nhưng càng có nhiều năng lực tính toán đưa vào huấn luyện model thì thuật toán càng quan trọng. Ông cũng nói một số thuật toán tăng quy mô được, còn nhiều hướng khác thì chạm ngõ cụt.

Jayden Teoh nói ông nhiều lần thấy cách hiểu đó kìm lại nghiên cứu học thuật, khi các ý tưởng triển vọng bị gạt đi vì đi quá xa tinh thần của bài học này. Teoh cho rằng đó không phải lỗi của Sutton, mà là cách hiểu sai thông điệp gốc. Ông cũng nói một ý tưởng không nhất thiết phải sống sót khi tăng quy mô mãi mới là đóng góp quan trọng cho tiến bộ AI.

Sự căng thẳng giữa lời kêu gọi phương pháp học mới của Sutton và lời phê bình của Tworek với việc tăng quy mô các model hiện nay đang xuất hiện trong một làn sóng startup mới. Có 45 phòng thí nghiệm AI mới đang đặt cược vào đúng các khoảng trống này. Tworek điều hành Core Automation, còn Sutton gắn với Oak Lab.