TypeSafe AI Ra Model Jev Trả Về Xác Suất

Almeida từng là nhà nghiên cứu OpenAI, tham gia xây dựng chatbot và phát minh kỹ thuật học tăng cường từ phản hồi của con người. Ông nói công ty đang tối ưu cho ngôn ngữ của con người, trong khi máy tính dùng ngôn ngữ khác.

Hai năm trước, Almeida rời OpenAI để lập TypeSafe AI, một startup muốn giải quyết vấn đề đó. Tuần này, công ty ra Jev, model mới không phải LLM.

Jev không xuất ra văn bản mà trả về xác suất. Vì người dùng xác định đầu ra trước, model này không thể bịa đặt. Nó cũng rẻ và nhanh hơn, còn token đầu ra là miễn phí; token đầu vào được tính theo tỉ, không phải theo triệu.

Nhu cầu tăng cao đến mức công ty từng tạm mất khả năng phục vụ người dùng từ API. Jev được các nhà phát triển quan tâm vì có vẻ hữu ích nhất cho tự động hóa phần mềm và được xem là cách rẻ hơn, bền hơn để đưa trí thông minh vào code.

Pranit Sharma, kỹ sư phần mềm tại Vercel, công ty làm hạ tầng agentic, cho biết công ty đã dùng ChatGPT Luna 5.6 của OpenAI để chạy một bộ phân loại kiểm tra độ an toàn của lệnh. Khi thay Luna bằng Jev, Vercel nhận kết quả nhanh hơn 5 đến 18 lần và chính xác hơn.

Nikhil Mudholkar, CTO của Bryo AI, thử Jev với Gemini để xếp loại email doanh nghiệp. Gemini chính xác hơn một chút, nhưng đắt hơn 10 đến 20 lần. Ông nói điểm tin cậy mà Jev trả về khiến nó hợp với tự động hóa quy trình.

Ngoài việc thay thế LLM trong một số trường hợp, Jev còn có thể bổ trợ cho chúng như một bước kiểm tra. Almeida cho rằng dùng agent để giám sát agent có thể rất tốn kém, còn Jev có thể theo dõi dấu vết của agent LLM và ngăn vượt rào.

Armin Ronacher, CTO của Earendil, đơn vị xây dựng khung model mã nguồn mở Pi, nói người dùng phải tự quyết định thế nào là đủ tin cậy. Nếu kết quả chỉ có 50%, có thể bỏ qua; nếu là 95%, có thể dùng.