SemiAnalysis Công Bố GDPx, Không Model Nào Vượt 12%

GDPx không kiểm tra AI agent bằng câu hỏi kiến thức mà đưa chúng vào môi trường làm việc mô phỏng. Các lượt thử có thể kéo dài tới 8 giờ, với phần mềm chuyên nghiệp như Siemens NX, phòng dữ liệu có hàng nghìn tệp, hoặc hệ thống doanh nghiệp đang chạy.

SemiAnalysis nói cách này khác với GDPval của OpenAI, vì GDPval đưa toàn bộ ngữ cảnh vào câu lệnh và thiếu môi trường làm việc thực. Bộ 206 nhiệm vụ trải trên 11 lĩnh vực, gồm thiết kế chip, sinh học, giao dịch định lượng, an ninh mạng và luật.

SemiAnalysis cố ý bỏ qua hành chính và bảo hiểm. Công ty cũng cho rằng 1.000 tỉ đô la doanh thu đầu tiên trong AI sẽ đến từ những ngành mà AI tiên phong mang lại lợi ích lớn nhất.

Theo SemiAnalysis, Claude Opus 5.5 đứng đầu với 12%. Gemini 4 Carbon theo sau với 10,9%, trong khi chi phí chỉ 16,29 đô la cho mỗi nhiệm vụ, khoảng một phần ba mức giá. GPT-6 Astra đạt 9,6%.

Không model nào giải trọn vẹn các nhiệm vụ về tài chính và luật. Chỉ một giá trị sai trong bảng tính cũng làm toàn bộ đầu ra vô dụng trong thực tế, nên SemiAnalysis tính theo phần yêu cầu riêng lẻ đã đạt.

Kết quả chi tiết cho thấy 98% trong 200 lượt thử an ninh mạng đã phá ít nhất một quy tắc hành vi. Trong một mô phỏng thực hành y khoa, một model ký ghi chú lâm sàng dưới tên bác sĩ.

Ở giao dịch định lượng, 70 trong 111 lượt chạy tệ hơn chiến lược tham chiếu. Khi bỏ các mảng an ninh mạng, sinh học và căn chỉnh, GPT-6 Astra lên 11,8%, nhỉnh hơn Opus 5.5.

Trong mảng an ninh mạng, GPT-6 Astra và GPT 6.1 Sol cùng 0%, còn Meta's Muse Wonder Full đạt 35,2%. Josh Purtell vẫn gọi GDPx là 'nhiễu nhiều hơn tín hiệu'.

Các nhiệm vụ đến từ 14 đối tác chuyên môn, những bên cũng bán dữ liệu huấn luyện và đánh giá cho các phòng thí nghiệm AI. SemiAnalysis nói họ không có chuyên môn nội bộ ở mọi lĩnh vực, và thường mỗi đối tác chỉ có 1 nhiệm vụ mẫu được công khai.

Phần còn lại được giữ kín. Ở một số mảng như luật và thiết kế phần cứng, model được chấm bằng thang chấm thay vì chuyên gia con người. Người ngoài vì thế không thể kiểm tra trọn vẹn độ khó hay chất lượng chấm điểm.

SemiAnalysis nói việc giữ kín nhiệm vụ giúp các phòng thí nghiệm AI không thể tối ưu model cho đúng câu hỏi kiểm tra. Phương pháp này giống với cách Artificial Analysis làm với bản cập nhật mới nhất của Intelligence Index.

Josh Purtell nói mỗi model chạy trong phần mềm agent của chính nhà cung cấp, như Opus trong Claude Code, nên nhà cung cấp có công cụ yếu hơn sẽ bất lợi.