ByteDance Đang Huấn Luyện Model AI Lên Tới 10.000 Tỉ Tham Số

Ba nguồn thân cận cho biết ByteDance đang huấn luyện một model với tối đa 10.000 tỉ tham số. Kích thước này gấp ba lần Kimi K3 của Moonshot, hiện là model lớn nhất từng được phát hành ở Trung Quốc.

Model của ByteDance đang ở giai đoạn tiền huấn luyện, giai đoạn thường kéo dài khoảng 3 đến 6 tháng trước khi tinh chỉnh và phát hành nếu mọi việc suôn sẻ, theo một nguồn. Kích thước chính xác của model sẽ được xác định ở giai đoạn sau.

Theo đánh giá, quy mô này sẽ đặt ByteDance gần với hệ thống Mythos hàng đầu của Anthropic, mà một số ước tính ngành đưa ra khoảng 8.000 tỉ tham số. Anthropic không công bố con số chính thức.

Một nguồn cho biết ByteDance đã tránh sử dụng tinh giảm trên đầu ra của model khác trong hơn một năm. Người sáng lập Zhang Yiming từng yêu cầu đội Seed 2.000 người đặt mục tiêu đạt năng lực model dẫn đầu thế giới về lâu dài.