Recursive Ra Mắt Flint, Model Code Do AI Xây Dựng

Recursive cho biết Flint là model đầu tiên của công ty. Eureka Machine tham gia gần như mọi bước, từ nêu ý tưởng, xây dựng, thử nghiệm đến lên kế hoạch cho các thử nghiệm tiếp theo.

Flint là mô hình pha trộn chuyên gia, được thiết kế cho code tác nhân trên phần cứng cục bộ và được xây trong 4 tháng. Trong 40 tỉ tham số, chỉ 2,5 tỉ được kích hoạt cho mỗi token.

Recursive nói Flint nhằm cạnh tranh với các model dày đặc trong khoảng 25 đến 40 tỉ tham số nhưng chạy nhanh hơn hơn 5 lần. Trên MacBook Pro với M4 Pro, model đạt khoảng 131 token mỗi giây; trên Nvidia RTX Spark, mức này vượt 150 token mỗi giây.

Công ty cũng cho biết Flint hỗ trợ cửa sổ ngữ cảnh tối đa 512.000 token và khuyến nghị giới hạn ở 256.000 token. Trọng số của model có trên Hugging Face theo giấy phép Apache 2.0, và các môi trường chạy được hỗ trợ gồm llama.cpp, Ollama, LM Studio, vLLM và SGLang.

Recursive cũng phát hành rec, bộ suy luận riêng cho Apple Silicon. Công ty nói Flint có thể chạy cục bộ, không cần gửi code lên server bên ngoài.