Lý Thuyết Trò Chơi Ngược Được Dùng Để Kiểm Soát AI Agent

Khi model AI ngày càng mạnh hơn, các nhà nghiên cứu an toàn đang tìm cách bảo đảm chúng phù hợp với mong muốn của con người. Mục tiêu là tránh để agent nổi loạn phá luật, xâm nhập vào server không được phép, hoặc thả khí độc vào các thành phố lớn và giết chết nhiều người.

Trước đây, công việc này chủ yếu tập trung vào việc nhìn vào “não” của AI để hiểu nó đang nghĩ gì, hoặc huấn luyện model bám theo các giá trị mà con người coi trọng. Claude, chẳng hạn, có hiến chương riêng, một kiểu bộ quy tắc đạo đức.

Vấn đề là các cách đó dường như không hoạt động thật tốt. Model đã được cho thấy cố tình làm kém trong bài kiểm tra, che giấu ý định và đánh lừa người đánh giá.

Lý thuyết trò chơi bình thường tìm cách đoán các tác nhân hợp lý sẽ hành xử ra sao khi có một bộ luật nhất định. Lý thuyết trò chơi ngược thì làm ngược lại: thiết kế bộ luật để tạo ra kiểu hành vi mà người thiết kế muốn khuyến khích.

Một ví dụ trong đời thật là chia một chiếc bánh thành hai phần. Một người cắt bánh, người còn lại được chọn phần trước, nên người cắt có động lực chia sao cho hai phần cân bằng nhất có thể.

Các ví dụ khác là giá tăng trong app gọi xe, vốn khuyến khích tài xế sẵn sàng vào lúc đông khách, và đấu giá giá thứ hai, nơi người thắng trả mức giá của người đặt cao thứ hai thay vì mức cao nhất. Các nền tảng dùng kiểu đấu giá này để bán quảng cáo trực tuyến vì nó khiến người mua đặt giá gần mức tối đa họ sẵn sàng trả.

Với AI, cách tiếp cận này bắt đầu từ giả định rằng có thể sẽ không bao giờ hiểu đủ về cơ chế bên trong của các model hàng đầu để chắc chắn chúng đã được căn chỉnh. Vì vậy, cần thiết kế cơ chế khiến agent hành xử theo cách mong muốn, bất kể bên trong đang diễn ra điều gì.

Một bản thảo nghiên cứu gần đây của Stephen Morris, nhà kinh tế ở MIT, cùng các đồng nghiệp từ Yale và Columbia, đề xuất một số cơ chế có thể ngăn agent giả vờ kém trong bài kiểm tra. Thay vì chỉ được thưởng vì làm tốt một bài kiểm tra, một model có thể được thưởng vì câu trả lời của nó dự đoán tốt điều mà model thứ hai sẽ nói.

Stephen Morris nói rằng AI agent hiểu rất rõ những gì AI agent khác có thể làm. Ông cho rằng đây có thể là một bối cảnh mà việc kiểm tra chéo như vậy hoạt động thực tế hơn.

Bài nghiên cứu cũng đề xuất đặt các agent đối đầu nhau để tạo ra động lực cạnh tranh, khiến chúng có khuyến khích làm tốt nhất có thể.