AISI: Model Open-weight Rút Ngắn Khoảng Cách Với Hệ Thống Độc Quyền Trong Tác Vụ An Ninh Mạng

AISI so sánh hiệu năng các model open-weight và hệ thống độc quyền bằng hai phương pháp kiểm tra khác nhau: phép đo "Narrow Cyber Tasks" gồm 70 nhiệm vụ qua bốn mức độ khó, và bài kiểm tra "Cyber Ranges" mô phỏng tấn công tự động trên mạng.

Trong phép đo Narrow Cyber Tasks, GLM-5.2 (ra mắt tháng 6 năm 2026) đạt hiệu năng tương đương Opus 4.6 (ra mắt tháng 2 năm 2026), tức cách khoảng bốn tháng. DeepSeek V4-Pro đạt mức tương đương Opus 4.5 (ra mắt tháng 11 năm 2025).

Trên Cyber Ranges, GLM-5.2 có hiệu năng tương tự Opus 4.5, còn DeepSeek V4-Pro kém Sonnet 4.5. GPT-5.6-Sol đạt kết quả cao nhất, vượt Claude Mythos 5. AISI cho biết khoảng cách trên Cyber Ranges lớn hơn, khoảng bảy tháng, và coi kết quả này là bằng chứng yếu hơn vì số kịch bản ít hơn.

AISI lưu ý các hạn chế của kiểm tra: mô phỏng không bao gồm các lớp phòng thủ thực tế như các người bảo vệ chủ động, và bài kiểm tra có thể đánh giá thấp khả năng tối ưu của model vì model không được tinh chỉnh cho bài đánh giá.

Về chi phí, AISI báo rằng một bài Cyber Range 100 triệu token tốn khoảng 85 đô la với Opus 4.5/4.6, khoảng 46 đô la với GLM-5.2, và 1,19 đô la với DeepSeek V4-Pro. Với các nhiệm vụ riêng lẻ mà cả hai model cùng giải được, chi phí tính trên nhiệm vụ là khoảng 15 đô la cho Opus 4.6, 6 đô la cho GLM-5.2, 12,5 đô la cho Opus 4.5 và 0,28 đô la cho DeepSeek V4-Pro.

AISI nêu cả rủi ro và lợi ích của model open-weight: rủi ro là trọng số có thể được tải xuống, chỉnh sửa và chạy không có kiểm soát, khiến người dùng có thể gỡ rào chắn an toàn; lợi ích là người dùng có thể tự lưu trữ, tùy chỉnh, cắt chi phí và dựa trên nền tảng mà nhà cung cấp không thể thay đổi hay khóa lại. AISI cho rằng hai mối quan tâm này cần được cân bằng.