GPT-6-Astra Giải 49/50 Bài Vật Lý, Giá 2,40 Đô La Mỗi Bài

Nhóm nghiên cứu nói một chuyên gia hàng đầu trong đúng phân ngành thường chỉ cần khoảng một ngày hoặc ít hơn để giải một bài điển hình nếu không có AI hỗ trợ. Họ cũng cho biết các chuyên gia ở phân ngành gần kề sẽ mất lâu hơn nhiều.

Các AI agent thương mại được thử mà không có gợi ý từ con người. GPT-6-Astra, chạy trong môi trường code Codex của OpenAI, đạt 98% và lấy đúng 49 trên 50 bài, với chi phí trung bình dưới 3 đô la mỗi bài và chưa đến 116 đô la cho cả bộ đo.

TheoPhysEval cố ý bỏ qua những câu hỏi mở lớn. Bộ đo tập trung vào các bài mà tác giả gọi là kiểu áp dụng công thức, nơi nhà nghiên cứu dùng phương pháp đã biết cho một câu hỏi hơi được chỉnh lại; nhiều bài còn được sửa vài giá trị từ chính các bài báo gần đây của họ để không thể đoán từ kết quả cũ. Nhóm nghiên cứu nói những bài như vậy thường được giao cho nghiên cứu sinh tiến sĩ như bước đầu vào nghiên cứu.

Một ví dụ từ nghiên cứu hố đen cho thấy các bài này vẫn rất khó. Để giải, phải tìm một bài cũ, chuyển các phương trình từ không-thời gian 5 chiều sang 4 chiều, rồi tính kết quả bằng một chương trình riêng; Suvrat Raju, người điều phối và là đồng tác giả của bài cũ, mất khoảng một ngày.

Các bài toán trải trên 11 phân ngành của vật lý lý thuyết, từ dòng chảy chất lỏng và các quá trình sinh học đến vật lý hạt và vũ trụ học. Mỗi agent làm bài test hai lần, một lần có tìm kiếm trên internet và một lần tách riêng, không có internet. Anthropic's Opus 5.5, chạy trong Claude Code, đứng thứ hai với 92%. Google's Gemini 3.8 Flash đạt 68%, còn các model trọng số mở DeepSeek-V4.1-Flash và GLM 5.3 lần lượt đạt 54% và 42%.

Các model yếu hơn đôi khi mắc lỗi mà một chuyên gia sẽ nhận ra ngay. Ở bài hố đen, Gemini và GLM chép nguyên công thức từ bài cũ trong lượt có tìm kiếm trên internet; các công thức đó áp dụng cho 5 chiều, không phải 4 chiều. Theo nhóm nghiên cứu, việc có internet không tạo khác biệt lớn: không dùng tìm kiếm trên web, Astra và Opus đều đạt 92%.