OpenAI Ra Mắt Chip Jalapeño

Jalapeño còn nối với bộ nhớ đó ở tốc độ 15,4 nghìn tỉ byte mỗi giây. Các phép đo hiệu năng mà OpenAI dẫn ra cho thấy chip có thể giảm độ trễ từ đầu đến cuối tối đa 3,6 lần so với Nvidia GB300, đồng thời dùng ít điện hơn.

OpenAI cho biết LLM của chính công ty đã giúp đẩy nhanh quá trình thiết kế Jalapeño. Chip này đi từ ý tưởng kiến trúc đầu tiên đến mẫu chip đầu tiên trong chưa đầy 20 tháng.

Chỉ có 9 tháng giữa bản RTL đầu tiên và tapeout, tức lúc bản thiết kế hoàn chỉnh được chuyển sang sản xuất. Richard Ho, phó chủ tịch mảng phần cứng của OpenAI, nói các model mang lại “siêu năng lực” cho kỹ sư, nhưng chính kỹ sư vẫn là người dẫn dắt công việc và quyết định cuối cùng.

Nhóm thiết kế Jalapeño trung bình có ít hơn 100 người trong suốt dự án và hiện vẫn vào khoảng 100 người. Nhóm này đang làm các thiết kế thế hệ thứ hai và thứ ba, với nhiều vai trò từ thiết kế hệ thống đến phần mềm và chuỗi cung ứng, nhưng không tính nhân sự ở Broadcom.

OpenAI phụ trách thiết kế hệ thống từ đầu đến cuối, gồm bộ tăng tốc suy luận, thứ bậc bộ nhớ và mạng. Broadcom làm phần thiết kế vật lý từ khâu cổng trở đi.

David Chin, đồng sáng lập công ty khởi nghiệp chip agentic Verkor.io, nói lịch trình mà OpenAI đưa ra là khá đáng tin, nhưng cho rằng sự hỗ trợ của Broadcom là thiết yếu. Ravi Krishna, cũng là đồng sáng lập Verkor.io, gọi tốc độ của OpenAI là một kết quả khá ấn tượng và nói nếu dự án bắt đầu hôm nay thì cải thiện của LLM có thể còn làm các mốc thời gian ngắn hơn nữa.