Thiết Kế Hệ Thống Phục Vụ AI Bền Lâu

Trọng tâm lúc này là hệ thống phục vụ quanh model, gồm kiến trúc, quản lý bộ nhớ, lập lịch và các quyết định tối ưu hóa. Những yếu tố đó quyết định model biến thành năng lực sản xuất hiệu quả đến mức nào.

Cách tiếp cận đúng bắt đầu từ khối lượng công việc, không phải từ model. Một trợ lý hướng tới khách hàng cần phản hồi nhanh sẽ có yêu cầu khác hẳn một dòng xử lý tài liệu chạy qua đêm, dù cả hai có thể dùng cùng một model nền tảng.

Trong giai đoạn thử nghiệm, độ chính xác thường chi phối cuộc thảo luận. Khi lên vận hành thực tế, các ràng buộc như độ trễ, đồng thời, áp lực bộ nhớ, mức sử dụng GPU, chi phí hạ tầng và lưu lượng khó đoán mới trở nên quan trọng.

Một model cho câu trả lời nhỉnh hơn chưa chắc là lựa chọn tốt hơn nếu nó làm chi phí chạy suy luận tăng gấp đôi hoặc không đáp ứng được yêu cầu độ trễ của ứng dụng. Mục tiêu là triển khai trí tuệ phù hợp, đúng chi phí cho từng khối lượng công việc.

Khi AI vào sản xuất, các quyết định kỹ thuật tưởng như tách biệt lại tác động lẫn nhau. Kiến trúc phục vụ ảnh hưởng tới mức sử dụng bộ nhớ, quản lý bộ nhớ ảnh hưởng tới đồng thời, đồng thời tác động đến gom lô và lập lịch, còn lập lịch lại ảnh hưởng tới mức sử dụng GPU và độ trễ.