Viện MAISI Muốn Chứng Minh AI An Toàn

MAISI dự kiến có từ 10 đến 30 nhà toán học làm việc về các vấn đề an toàn của AI. Tsimerman, người vừa nhận Huy chương Fields, cũng sẽ tham gia nhóm an toàn của OpenAI.

Tsimerman nói lĩnh vực này cần mức chuẩn an toàn cao hơn nhiều so với hiện nay. Ông cho biết mục tiêu là chứng minh một hệ thống hành xử có trách nhiệm và cho kết quả đúng, các agent AI phối hợp với nhau không tạo ra kết quả không mong muốn, và các hệ thống chịu được những lỗ hổng chưa ai tìm ra.

Một công cụ có thể là chứng minh không tri thức. Cách này cho phép một hệ thống chứng minh rằng nó không gian lận mà không phải lộ bí mật thương mại của các phòng thí nghiệm AI.