Intel Công Bố Bài Học Vận Hành Cho Agentic AI Doanh Nghiệp

Intel thực hiện hàng nghìn thí nghiệm tải công việc agentic AI để hiểu phụ thuộc hạ tầng. Họ mở rộng Terminal-Bench, một bộ phép đo mã nguồn mở cho đánh giá agent, bổ sung khả năng phân tích, thu thập telemety và phát lại có ghi trước để tách hiệu năng agent khỏi biến thiên của phản hồi LLM.

Bộ phép đo dùng phương pháp ghi và phát lại xác định, nơi phản hồi LLM được ghi một lần và phát lại giống hệt giữa các lần chạy, giúp giảm biến thiên và tạo cơ sở so sánh tin cậy. Nhiệm vụ trong Terminal-Bench được chọn đa dạng, gồm biên dịch, kiểm thử, thao tác cơ sở dữ liệu, logic Boolean, diễn dịch, dò tia, nén, đại số tuyến tính, chuyển mã video và huấn luyện máy học.

Intel rút ra năm bài học thực dụng cho lãnh đạo doanh nghiệp. Họ nhấn mạnh agentic AI vượt hơn việc chạy suy luận LLM; giá trị doanh nghiệp phụ thuộc vào toàn bộ hệ thống, điều phối tác vụ, truy cập dữ liệu, thực thi công cụ, quản lý độ trễ, quản trị và hạ tầng có thể mở rộng.

Một nguyên tắc kích thước quan trọng là tính theo mật độ agent thay vì số lượng tuyệt đối: mật độ đo bằng số agent trên mỗi vCPU là tín hiệu chính báo hiệu bão hòa. Ví dụ, 10 agent trên hệ 8-vCPU và 20 agent trên hệ 16-vCPU có hành vi tương tự nếu mật độ giống nhau, giúp so sánh năng lực giữa cỡ máy và thế hệ xử lý khác nhau.

Intel cũng nêu rằng mật độ phù hợp tùy theo mục tiêu kinh doanh; các trợ lý tương tác giao diện người dùng nên ưu tiên mật độ thấp hơn để có thời gian phản hồi tốt. Các phép đo bổ sung mà nhóm đề xuất gồm thời gian hoàn thành tác vụ, số agent một đội có thể hỗ trợ, trải nghiệm người dùng sau khi thực thi và thay đổi chi phí khi nhiều agent chạy đồng thời.