Nghiên Cứu: Bộ Khung Code Đắt Hơn Nhưng Không Cải Thiện Kết Quả

Nhà phát triển thường quảng bá điểm số cao hơn từ các bộ khung mới. Nghiên cứu cho thấy nhận định đó không đứng vững khi giữ model cố định.

Hai nhà nghiên cứu ở Shandong University đo mức ảnh hưởng của bộ khung khi model không đổi. Họ thử 5 model qua 3 bộ khung trong bản phát hành của chúng: Claude Code, OpenCode và mini-SWE-agent.

mini-SWE-agent chỉ cho model một công cụ Bash và bỏ qua quản lý ngữ cảnh. Claude Code và OpenCode có công cụ riêng cho file và tìm kiếm, lời nhắc hệ thống dài hơn, cùng tự nén lịch sử.

Các thử nghiệm dùng 45 nhiệm vụ khó nhất từ SWE-bench Verified và thêm 447 nhiệm vụ nữa. Claude Opus 5 chỉ chạy làm đối chiếu trong Claude Code, còn các model còn lại là Qwen3.6, Qwen3.8, Deepseek-V4-Flash, GLM-5.3-Flash và HY4-Preview.

Khi có web, 71% lượt thử của Deepseek và Qwen lấy thẳng bản sửa đúng từ GitHub thay vì tự giải nhiệm vụ. Nhóm nghiên cứu loại các kết quả đó và tắt truy cập web cho phần chạy còn lại.

Trên 447 nhiệm vụ, Claude Code và mini-SWE-agent chỉ cách nhau chưa tới 2 điểm cho cả 2 model. Trên 45 nhiệm vụ khó nhất, mức chênh lệch chỉ là 2 đến 5 nhiệm vụ được giải, trong khi một lần chạy lại cùng cấu hình có thể lệch tới 3 nhiệm vụ.

Các lần chạy lại cùng setup cũng cho kết quả dao động khá mạnh. Tỷ lệ đổi kết quả là 13% khi so giữa 2 lần chạy lại, cũng là 13% khi so giữa 2 bộ khung khác nhau, còn đổi model thì con số này lên 22%.

Nhóm nghiên cứu cũng nhắc tới các số liệu trước đó thường nêu khoảng cách hơn 20 điểm giữa các bộ khung, nhưng đa số chỉ dựa trên 1 lần chạy. Zhipu AI từng quảng bá bộ khung của mình hơn Claude Code 2.4 điểm, và mức này vẫn nằm trong vùng nhiễu.