PrismML Ra Mắt Bonsai 2 27B

PrismML từng huy động 22,25 triệu đô la ở vòng hạt giống. Công ty được lập bởi một nhóm nhà nghiên cứu Caltech và do Babak Hassibi, giáo sư Caltech, dẫn dắt.

Ion Stoica là cố vấn của startup. Ông là đồng sáng lập Databricks và là giám đốc Sky Computing Lab của Berkeley, nơi đã tạo ra nhiều công nghệ và startup, từ Letta đến SGLang.

PrismML cũng có hậu thuẫn từ Khosla Ventures, Cerberus Capital và Caltech. Công ty nói có tin đồn về việc đàm phán với Apple, nhưng Babak Hassibi từ chối bình luận.

Hassibi nói công nghệ nén của PrismML là khác biệt vì model của họ hầu như không mất hiệu năng so với bản gốc. Ông cũng nói chưa rõ công ty có đạt 100% tương đương ở các phép đo hiệu năng hay không, và việc nén nhiều khả năng sẽ luôn có ảnh hưởng.

Bonsai 2 đạt 98% điểm số tổng hợp ở các phép đo hiệu năng của Qwen, từ mức 95% của Bonsai đầu tiên ra mắt vào tháng 3. Mẫu đầu tiên đã được tải xuống hơn 11 triệu lần, còn các model nhỏ hơn của PrismML đã được tải xuống thêm 2,6 triệu lần.

Công ty cho biết cách làm của mình là thu nhỏ trọng số của model. Bình thường mỗi trọng số cần 16 bit, còn PrismML dùng trọng số ba giá trị: +1, -1 hoặc 0.