Bài Kiểm Tra RadLE 2.0 Cho Thấy Nhiều Model Y Tế Tự Tin Sai Lệch

RadLE 2.0 do CRASH Lab tại Ashoka University ở Ấn Độ phát triển, là phiên bản sửa đổi của bài kiểm tra ra mắt lần đầu vào tháng 9 năm 2025. Bài kiểm tra đánh giá ba yếu tố: model chẩn đoán đúng hay sai, mức độ tự tin trên thang 0–4, và khả năng nói “Tôi không biết” khi vượt quá năng lực.

Thử nghiệm chạy 200 ca trên 16 model và so sánh với hội đồng các bác sĩ chẩn đoán hình ảnh. Các chuyên gia con người đạt 988.7 điểm trên tổng 2,000 điểm, trong khi model tốt nhất đạt 758 điểm.

Hệ điểm thưởng trung thực và phạt tự tin sai: trả lời đúng với độ tự tin cao được toàn bộ điểm; trả lời sai nhưng tự tin mất điểm tương ứng; nói “Tôi không biết” cho 0 điểm nhưng không bị trừ. Hệ thống này khiến những model đoán bừa với tự tin cao tụt hạng dù tỉ lệ đúng thô có vẻ ổn.

Kết quả cụ thể giữa các model khác nhau: Claude Fable 5 của Anthropic dẫn đầu theo chỉ số an toàn và độ tin cậy; Gemini 3 Pro của Google có độ chính xác thô cao nhất; Muse Spark 1.1 của Meta giỏi nhất ở việc chuyển ca cho con người. Grok 4.5 thể hiện tần suất bịa đặt cao hơn so với bản trước.

Nhóm nghiên cứu lưu ý nhiều model, đặc biệt là model có trọng số mở và những model huấn luyện riêng cho y tế, sẽ được lợi nếu im lặng nhiều hơn thay vì cố trả lời mọi ca; các model này thường trả lời tất cả các trường hợp và thường sai với mức tự tin cao.