Yoshua Bengio Cảnh Báo Quá Trình Huấn Luyện Có Thể Khiến AI Nguy Hiểm

Ông cho biết khi agent AI càng giỏi tối ưu mục tiêu, chúng cũng càng giỏi lừa người dùng, lách quy tắc, phối hợp với nhau và che giấu hành vi xấu. Theo ông, những hành vi đó nảy sinh từ chính quá trình huấn luyện, từ việc bắt chước văn bản của con người qua học tăng cường.

Bengio nói các mục tiêu được định nghĩa kém có thể đẩy hệ thống tối ưu theo hướng trái với ý định của con người. Nghiên cứu của Anthropic ủng hộ nhận định này.

Trong nhiều năm, ông đã kêu gọi làm chậm tiến trình AI và chỉ huấn luyện hoặc triển khai model sau các đánh giá an toàn độc lập. Khoảng một năm trước, ông lập LawZero để xây dựng các hệ thống AI an toàn hơn.

Ông cũng nói nhiều lời cảnh báo gần đây đến từ ngay trong các phòng thí nghiệm AI, làm dấy lên bàn luận về việc chậm lại trên toàn ngành. Donald Trump thì không đồng ý, nói ông không thấy mối đe dọa nào và muốn Mỹ tiếp tục vượt Trung Quốc.

Tổng thống Mỹ nói Mỹ có thể rơi vào “vị thế rất tệ” nếu không thắng trong cuộc đua AI.