Berkeley AI Research Nói Về Chuyển Đổi Tối Ưu Hóa CUDA Sang MLX Cho Apple Silicon

Bài viết cho thấy phần cứng đang thay đổi nhanh, không chỉ GPU nhanh hơn mà còn nhiều loại chip từ các nhà cung cấp khác nhau với kiến trúc riêng và thường được thiết kế cho những khối lượng công việc AI cụ thể.

Phần mềm cũng thay đổi nhanh; công cụ lập trình AI hiện sinh mã trong vài phút những gì trước kia mất vài tháng. Trong bối cảnh này, kernel GPU là thành phần then chốt vì chúng là chương trình ở mức thấp chạy bên trong GPU và việc viết kernel hiệu quả đòi hỏi nhiều năm kinh nghiệm.

Việc chuyển một kernel từ phần cứng của nhà cung cấp này sang nhà cung cấp khác thường khó, và thường phải khám phá lại cùng những kỹ thuật tối ưu hóa. Hệ sinh thái CUDA đã tích lũy nhiều thập kỷ kinh nghiệm tối ưu kernel, gồm các hiện thực được tinh chỉnh tay cho attention, state space model và các phép toán quan trọng khác, phản ánh hàng nghìn giờ kỹ thuật.

Berkeley AI Research đưa ra sơ đồ dịch tối ưu hóa từ CUDA sang MLX, cho thấy kiến thức tối ưu hóa CUDA có thể được dịch thành các chiến lược MLX bản địa cho kiến trúc thay vì sao chép lệnh từng lệnh.