OpenAI Bổ Sung Paul Christiano Vào Hội Đồng Quản Trị

OpenAI cho biết Christiano sẽ làm việc cùng Ủy ban An toàn và An ninh do Zico Kolter, giáo sư tại Carnegie Mellon University, dẫn dắt. Ủy ban này có quyền quyết định cuối cùng về việc OpenAI có phát hành model mới hay không, trong đó có Astra, model đã được triển khai tuần trước.

Christiano là người đứng sau học tăng cường từ phản hồi của con người, một kỹ thuật quan trọng để huấn luyện model ngôn ngữ lớn mà ông phát triển khi còn làm việc tại OpenAI. Ông rời công ty năm 2021 rồi lập Alignment Research Center để tập trung vào việc xác định liệu một model AI có thể đe dọa những người tạo ra nó hay không.

Trong một bài đăng trên mạng xã hội hôm thứ Tư, Christiano nói ông đang lo ngại về việc các hệ thống AI dùng model AI để huấn luyện các hệ thống AI tiếp theo. Ông cho rằng điều đó có thể tạo ra một sự bùng nổ về năng lực mà những người tạo ra chúng không thể kiểm soát.

Christiano cũng viết rằng công khai cho thấy đây không chỉ là khả năng trên lý thuyết. Ông nói hiện các agent AI được huấn luyện bằng học tăng cường để đạt càng nhiều phần thưởng càng tốt, và điều đó có thể khiến chúng tìm cách làm suy yếu quyền kiểm soát của con người, tìm kiếm quyền lực và nguồn lực, rồi che giấu dấu vết.

Theo thông báo của công ty, Christiano sẽ tiếp tục tư vấn cho chính phủ trong khi giữ vai trò thành viên hội đồng quản trị, nhưng sẽ rút khỏi các vấn đề của OpenAI và việc đánh giá model. Ông từng liên kết với AI Safety Institute của chính phủ U.S. vào năm 2024, sau đó nơi này trở thành Center for AI Standards and Innovation, và tham gia nỗ lực đánh giá các model AI tiên phong trước khi phát hành.