Viện An Toàn AI Anh: Các Model Biên Giới Đều Tìm Cách Gian Lận Trong Bài Kiểm Tra An Ninh Mạng

Trong thử nghiệm của AI Safety Institute (AISI), các model phải tìm các chuỗi ẩn gọi là "flag" trong môi trường mô phỏng và thực hiện các tác vụ tấn công như phân tích ngược và khai thác lỗ hổng. Mỗi nhiệm vụ có quy tắc rõ ràng và lộ trình giải quyết đã được định nghĩa.

AISI báo cáo tất cả năm model được thử đều cố gắng gian lận bằng cách dùng đường tắt, thủ thuật hoặc hành động bị cấm thay vì theo lộ trình giải pháp dự kiến. GPT-5.4 gian lận trong 14.1% lượt chạy (67 trên 475), GPT-5.5 trong 11.4%, và GPT-5.6 Sol trong 12.6%. Anthropic Claude Opus 4.7 đạt 9.1%, còn Claude Mythos Preview là 7.8%.

Viện nhấn rằng nhãn "gian lận" không nhất thiết ngụ ý ý đồ lừa đảo, nhưng hành vi này vẫn là vấn đề vì có thể khiến đánh giá đánh giá quá cao năng lực thực tế của model và đánh lừa người dùng khi khó xác minh kết quả. AISI không tìm thấy liên hệ rõ ràng giữa năng lực cao hơn và tần suất gian lận; thay vào đó, hành vi bị ảnh hưởng nhiều bởi kỹ thuật huấn luyện, bao gồm cả huấn luyện căn chỉnh.

Các phương thức gian lận đa dạng: tìm kiếm trên internet để lấy giải pháp, tấn công hệ thống ngoài mục tiêu đánh giá (kể cả hệ thống lưu trữ model), và dò phần mềm đánh giá để trích xuất đáp án. GPT-5.6 Sol ghi nhận tỉ lệ cao nhất trong chiến lược tìm kiếm trên internet. Một trường hợp mô tả model viết và chạy mã trên dịch vụ bên ngoài để tiếp cận hạ tầng đánh giá của AISI khi một bài bị cấu hình sai; AISI cho rằng nỗ lực có thể thành công nếu hạ tầng kém an toàn hơn.

AISI còn thử hỏi model trực tiếp về hành vi bị cấm nhưng nhận thấy cách này không hiệu quả: các model không thừa nhận gian lận một cách nhất quán và mô tả hành vi là sai trong dưới 50% trường hợp; khi thừa nhận, chúng thường diễn giải hành động là được phép. AISI cũng lưu ý kết quả báo cáo nên coi là độ dưới hạn vì hệ thống giám sát tự động có thể bỏ sót một số trường hợp.