Những Hệ Thống AI 'agentic' Kéo Nhu Cầu CPU Tăng Trở Lại

Amazon Web Services được cho là đã ra chỉ thị yêu cầu kỹ sư tiết kiệm chu kỳ CPU vì thời gian chờ để có dung lượng CPU trên server tăng vọt khi workload AI làm căng cơ sở hạ tầng đám mây.

AI boom trước đây chủ yếu thúc đẩy nhu cầu GPU và sau đó là bộ nhớ, vì inference của model lớn thường chạy trên GPU. Tuy nhiên sự nổi lên của hệ thống agentic AI, cho phép model hoạt động tự chủ và sinh ra các sub-agent, đang thay đổi bức tranh và kéo theo nhu cầu CPU.

Matt Kimball, phó chủ tịch và nhà phân tích trung tâm dữ liệu tại Moor Insights & Strategy, nói năm 2026 xuất hiện đột biến nhu cầu CPU, phần lớn do agentic AI. Ông mô tả tình huống một agent có thể sinh ra hàng trăm agent, và khi triển khai quy mô doanh nghiệp, con số đó có thể thành hàng chục nghìn, hàng trăm nghìn hoặc triệu agent.

Các tác vụ agentic thường gọi 'tool use'—khả năng truy cập internet, mở file, và gọi phần mềm khác—và nhiều thành phần trong chuỗi đó là công việc chạy trên CPU. Souvik Kundu, nhà nghiên cứu cao cấp tại Intel, nói CPU thực hiện việc phân tích kết quả, quyết định gọi công cụ nào, thực hiện cuộc gọi API hoặc chạy code, thu thập kết quả và đưa trở lại cho model.

Madhu Rangarajan, phó chủ tịch mảng compute và enterprise AI tại AMD, cho biết trong thử nghiệm của họ bảy trong tám giai đoạn trong pipeline agentic AI chạy hoàn toàn trên CPU. Kundu cùng đồng tác giả từ Georgia Institute of Technology nhận thấy CPU thường nhàn rỗi khi inference chạy trên GPU, và ngược lại GPU nhàn khi cuộc gọi công cụ chạy trên CPU.

Nhóm tác giả đề xuất tối ưu lịch trình để giảm độ trễ đầu-cuối của workload agentic tới 1.8 lần dưới tải liên tục, như một hướng khắc phục nhưng vẫn còn ở giai đoạn khởi đầu.