Google Thử Cách Kiểm Tra Mù Đôi Cho Model Gemini

DeepMind nói mục tiêu là chặn tình trạng model đã thấy trước câu hỏi kiểm tra. Nếu một model đã gặp các câu hỏi đó trong lúc huấn luyện, kết quả kiểm tra sẽ khó còn đáng tin.

Trong thử nghiệm này, các bài kiểm tra bên ngoài được giữ trong một “hộp” mật mã. Cách làm đó nhằm bảo đảm model không thể dùng trước các câu hỏi để tối ưu riêng cho bài kiểm tra.

Google đang thử một model trong dòng Gemini Flash Lite với các bài kiểm tra bí mật. DeepMind nói đây là lần đầu công ty triển khai đánh giá mù đôi cho một model tiên phong có sở hữu riêng.

Công ty cũng nêu lại thế khó trước đây của các đánh giá bên ngoài rất nhạy cảm. Một bên có thể đưa câu hỏi kiểm tra cho nhà cung cấp model xem trước, hoặc đưa trọng số model và chấp nhận rủi ro với sở hữu trí tuệ.

Một ví dụ gần đây là việc đánh giá ARC-AGI của Fable 5 thuộc Anthropic bị hoãn, vì công ty áp dụng chính sách giữ dữ liệu 30 ngày cho các model mạnh nhất. DeepMind nói cách kiểm tra mù đôi nhằm xóa bỏ sự đánh đổi đó.

Google dùng Confidential Space trong gói năng lực tính toán bảo mật của Google Cloud để làm việc này. Thiết lập đó xác minh bằng mật mã rằng dữ liệu kiểm tra bên ngoài và model đều vẫn thuộc về chủ của chúng, còn bên đánh giá không thấy trọng số Gemini và Google không thấy câu hỏi kiểm tra.

Trước đây, các quy trình không ghi nhật ký và các biện pháp bảo đảm trong hợp đồng đã giữ kín câu hỏi bên ngoài. Google nói thêm lớp bảo vệ kỹ thuật và mật mã là bước tiến lớn cho việc đánh giá model an toàn, nhất là với an ninh mạng hoặc các bài kiểm tra do cơ quan chính phủ thực hiện.

Google hy vọng nỗ lực này sẽ đặt ra một chuẩn mới cho việc giám sát model và giúp ngành xây dựng các hệ thống AI tin cậy hơn. Công ty cũng đã nêu chi tiết về phương pháp và kết quả trong một tài liệu kỹ thuật.