Baidu Phát Hành ERNIE 5.5 Flash Base Với 280 Tỉ Tham Số

ERNIE 5.5 dùng kiến trúc hỗn hợp chuyên gia với 280 tỉ tham số, trong đó 14 tỉ tham số hoạt động cho mỗi đầu vào. Model được huấn luyện trước trên 33,5 nghìn tỉ token.

Cửa sổ ngữ cảnh trong huấn luyện là tới 128.000 token. Model cũng được thiết kế để hỗ trợ cửa sổ ngữ cảnh tới 1 triệu token trong lúc tinh chỉnh và chạy suy luận.

Baidu cho biết model này cạnh tranh với các model nền tảng mã nguồn mở cùng cỡ như DeepSeek V4 Flash hoặc MiMo V2.5 trong các phép đo cho suy luận, code và tác vụ ngữ cảnh dài.

Trọng số của model có trên Hugging Face ở FP8 và BF16. Một phiên bản sau huấn luyện dự kiến sẽ ra mắt sau.