Đừng Đếm Token, Hãy Đếm Code Được Gộp

Một agent code không chỉ trả lời một lần. Nó lập kế hoạch, sinh code, chạy thử và lặp lại để sửa lỗi. Khi công việc hữu ích hơn, nó cũng gọi nhiều hơn.

Với cách tính theo token, quy trình tạo ra nhiều giá trị nhất cũng có thể là quy trình tốn nhất. Áp lực tài chính đã thấy rõ: Uber được cho là đã dùng hết toàn bộ ngân sách AI cho 2026 vào tháng 4 sau khi mở rộng dùng Claude Code. GitHub Copilot cũng chuyển từ giá cố định sang tín dụng tính theo mức dùng.

Gartner dự báo chi phí token cho code AI sẽ vượt mức lương trung bình của lập trình viên vào 2028. Phản ứng tự nhiên là giới hạn mức dùng, giới hạn số chỗ và yêu cầu duyệt trước khi lập trình viên khởi chạy agent. Nhưng giới hạn chung có thể chặn cả quy trình đang tạo giá trị.

Cách đo tốt hơn là chi phí trên mỗi yêu cầu gộp được duyệt: tổng chi phí phát triển có AI hỗ trợ chia cho số thay đổi qua được duyệt và được gộp. Hãy theo dõi thêm phần làm lại và lỗi để thay đổi rẻ hơn không che mất chất lượng thấp hơn. Nếu chi phí đó giảm khi mức dùng AI tăng mà không làm giảm chất lượng, lập trình viên đang biến nhiều tiêu thụ hơn thành phần mềm hữu ích.

Để cải thiện, cần dành chạy suy luận đắt hơn cho việc thật sự cần và hạ chi phí việc thường ngày. Dùng model đầu bảng, hoặc model đầu bảng tại chỗ khi chính sách yêu cầu, cho khâu lập kế hoạch khó và suy luận mới. Việc phù hợp, gồm tạo code, tạo thử và chỉnh cấu trúc lặp lại, có thể giao cho model mở trọng số do chính bạn vận hành, còn cổng có thể chia yêu cầu theo độ phức tạp, độ nhạy dữ liệu, chi phí và độ trễ.

Model mở trọng số giúp cách chia này thực tế hơn. Các phép đo kỹ thuật phần mềm cho thấy model mở trọng số hàng đầu có thể tiến gần model đầu bảng ở một số việc, nhưng điều đó chưa nói lên sự tương đương ở mọi kho code hay quy trình. Trước khi giao việc thực tế, hãy đánh giá trên code, thử và tiêu chí chấp nhận của chính bạn.