OpenAI Công Bố Chip Jalapeño Nhanh Hơn Và Tiết Kiệm Điện Hơn Trong Phép Đo

OpenAI trình bày chi tiết hơn về Jalapeño tại hội nghị Hot Chips hôm thứ Ba và công bố lô kết quả benchmark đầu tiên. Công ty sử dụng nền tảng InferenceX của SemiAnalysis để so sánh hiệu năng suy luận.

Kết quả cho thấy Jalapeño ghi nhận nhiều token trên mỗi người dùng và thông lượng trên mỗi kilowatt cao hơn so với bộ xử lý suy luận tiên tiến hiện có. Richard Ho, người đứng đầu phần cứng của OpenAI, nói trong cuộc gọi với báo chí rằng đây là một bước tiến hiệu năng rất, rất đáng kể so với trạng thái nghệ thuật.

OpenAI cho biết Jalapeño cung cấp nhiều công việc AI hơn trên một đơn vị công suất và trả về phản hồi nhanh hơn, đồng thời kết hợp cả thông lượng cao và độ trễ thấp. Trong blog post, công ty nêu thiết kế giảm thiểu di chuyển dữ liệu và độ trễ giao tiếp, cho phép trạng thái model và KV cache được đặt cục bộ trong quá trình kích hoạt các tổ hợp tính toán, bộ nhớ và mạng phù hợp cho mỗi giai đoạn suy luận.

OpenAI đối chiếu kết quả với hệ thống Blackwell của Nvidia, nhưng lưu ý khi Jalapeño được triển khai đầy đủ, đối thủ có thể đã tiến lên. Ho ước tính Jalapeño sẽ được triển khai với "khối lượng rất nhỏ" vào cuối năm 2026, và bắt đầu tăng mạnh khối lượng vào 2027.

Jalapeño được công bố lần đầu vào tháng 10 năm ngoái và phát triển với sự hợp tác chặt chẽ của Broadcom. OpenAI cho biết họ sẽ phát triển Jalapeño thành nền tảng đa thế hệ, cho phép sản phẩm AI, model, chip và bộ nhớ được phát triển cùng nhau.