AI Để Lại Hóa Đơn Lưu Trữ Phía Sau Khi Chạy Suy Luận

Nhiều lãnh đạo thường nghĩ đến GPU, các dãy bộ tăng tốc và danh sách chờ chip khi nói về AI. Nhưng bức tranh đó bỏ sót chi phí lưu trữ dữ liệu. Dữ liệu từ hàng tỉ câu lệnh, hình ảnh và video mỗi ngày cần được giữ lại.

Trong lập kế hoạch hạ tầng, lưu trữ là một khoản khó tính trước và thường bị xem nhẹ lúc đầu. Huấn luyện là hữu hạn: một lần chạy bắt đầu, tiêu hao năng lực tính toán rồi kết thúc. Chạy suy luận thì diễn ra liên tục, và mỗi lần model trả lời lại để lại thứ gì đó phía sau.

Với video do AI tạo ra, khoản chi phí phía sau có thể rất lớn. WD cho biết một clip 8 giây, được trả cho người dùng dưới dạng tệp 720p dung lượng 3,97MB, đã để lại hơn 500MB dữ liệu liên quan ở phía sau, gồm nhật ký, ngữ cảnh lưu đệm, bản dựng tức thời, bản sao lưu và bản ghi an toàn. Con số này cao hơn 130 lần so với kích thước tệp mà người dùng nhìn thấy.

Nếu tính trên một doanh nghiệp tạo video dài hơn và độ phân giải cao hơn, phần hậu trường có thể lên tới hàng trăm gigabyte cho mỗi clip. McKinsey dự báo nhu cầu chạy suy luận của AI sẽ tăng 35% mỗi năm đến 2030, so với 22% cho huấn luyện, và sẽ chiếm hơn 40% tổng nhu cầu của trung tâm dữ liệu vào cuối thập kỷ.

Một tài liệu kỹ thuật toàn cầu do IDC thực hiện với 763 người ra quyết định về công nghệ thông tin và kinh doanh cho thấy gần 95% nói rằng khối lượng dữ liệu đã tăng vì AI tạo sinh trong 12 tháng qua, và khoảng 61% nói mức tăng là 25% trở lên. Một quản lý sản phẩm cấp cao của một nhà cung cấp cloud quy mô siêu lớn nói lưu trữ nhiều hơn có thể là cách tối ưu để giữ GPU bận rộn, vì điều khó nhất là tránh để GPU nằm chờ dữ liệu quá lâu.