Google Và Amazon Tung Công Cụ Cho PyTorch Trên Chip Riêng

Google công bố TorchTPU hôm thứ Ba. Đây là dự án mã nguồn mở dựa trên PyTorch, để ứng dụng AI chạy trên TPU của hãng. Google nói nhà phát triển chỉ cần đổi một cấu hình là có thể chuyển ứng dụng sang TPU và Google Cloud, không phải viết lại.

Google nói họ đã làm việc với Meta, Hugging Face, Inferact, RadixArk và các bên khác để các tính năng và thư viện mã của TorchTPU chạy tốt với những công cụ phát triển AI này, giống như PyTorch gốc. Hãng cũng ra TPU agent suite để giúp nhà phát triển chuyển ứng dụng sang chip và đám mây của Google, rồi sửa lỗi trong quá trình đó. LiteRT, công cụ của hãng cho AI trên điện thoại, máy tính xách tay và thiết bị gắn trong, cũng được cập nhật để chạy tốt hơn với ứng dụng AI viết bằng PyTorch.

Amazon Web Services cũng ra TorchNeuron vào thứ Hai. Bộ công cụ mã nguồn mở này cho phép nhà phát triển chạy khối việc PyTorch trên chip Trainium của Amazon chỉ bằng cách đổi một dòng cấu hình, không cần viết lại code. Amazon nói TorchNeuron hỗ trợ Trainium2 và Trainium3, hai chip mới nhất của dòng tăng tốc này, cho cả huấn luyện lẫn chạy suy luận.

Theo mô tả của Amazon, Trainium3 có tám lõi tính toán, mỗi lõi gồm bốn mô-đun tối ưu cho một phần khác nhau của các phép tính mà model dùng để xử lý dữ liệu. Chip này giữ dữ liệu model trong bộ nhớ trên chip 154 gigabyte. AWS cho biết một hệ thống dùng Trainium3 có thể đạt tới 362 nghìn tỉ phép tính mỗi giây khi xử lý dữ liệu ở định dạng MXFP8.

Dòng Trainium có ngôn ngữ lập trình riêng tên NKI, kèm trình biên dịch. Amazon nói các toán tử NKI đóng gói sẵn giúp phát triển model, hỗ trợ kiến trúc hỗn hợp chuyên gia, giảm bộ nhớ của mạng nơ-ron và tăng tốc lượng tử hóa. TorchNeuron cũng hỗ trợ TorchTitan, công cụ huấn luyện AI, với cách chia song song dữ liệu theo mảnh hoàn toàn, tách model, trạng thái bộ tối ưu và độ dốc lên nhiều chip.

TorchNeuron đã được một số khách hàng AWS dùng. Cartesia AI, startup agent giọng nói có vốn đầu tư mạo hiểm, đang dùng TorchNeuron để chạy suy luận trên Trainium chips.