Elorian Ra Mắt Model Glimpse Để Suy Luận Từ Hình Ảnh

Elorian là startup ở Palo Alto từng gọi 55 triệu đô la ở vòng hạt giống với mức định giá 300 triệu đô la trước khi có sản phẩm. Công ty phát hành model này vào thứ Sáu.

Hiện Glimpse được mở dưới dạng bản xem trước cho nghiên cứu. Công ty nói đây là một bảng kết quả và một luận điểm, không phải một model để dùng rộng rãi ngay lập tức.

Luận điểm đó là các model AI ngày nay, dù giỏi ngôn ngữ và code, vẫn chưa thật sự nhìn được. Với nhiều model đa phương thức, ảnh thường được xem một lần rồi đổi thành token, sau đó phần suy luận diễn ra bằng văn bản.

Glimpse đi lại nhiều lần vào nguồn ảnh. Khi đang suy luận, nó có thể cắt vào một vùng, lấy các khung hình cụ thể từ video, hoặc chạy code để đo và so sánh thứ nó đang xem; Elorian gọi cơ chế này là không gian nháp hình ảnh.

Andrew Dai, cựu nhà nghiên cứu của Google DeepMind và là giám đốc điều hành Elorian, nói một dấu hiệu rõ nhất đến từ một đêm chơi game năm ngoái. Khi ông chụp ảnh một trò chơi bàn vừa chơi xong và hỏi một model đầu bảng ai đang thắng, model đó không trả lời được; ông cũng nói các trò chơi bàn có ngôn ngữ hình ảnh, hệ biểu tượng và ký hiệu riêng, còn người lớn có thể hiểu một sơ đồ Ikea để lắp đồ nội thất mà không cần chữ.

Elorian nói một đội ngũ nhỏ đã huấn luyện Glimpse trên vài trăm GPU và model này nhỏ hơn đáng kể so với các hệ thống đầu bảng mà nó được đem ra so sánh. Công ty báo giá 0,60 đô la cho mỗi 1 triệu token vào và 3 đô la cho mỗi 1 triệu token ra, rẻ hơn các model tầm trung như Sonnet và Sol nhưng đắt hơn các model nhẹ như Haiku và Luna.

Theo các phép đo của Elorian, Glimpse vượt cả GPT-6 Astra ở suy luận biểu đồ khoa học và mô tả video ngắn, đồng thời có kết quả cạnh tranh ở các nhiệm vụ suy luận hình ảnh khác. Công ty ra khỏi trạng thái kín tiếng sáu tháng trước với một vòng gọi vốn do Striker Venture Partners, Menlo Ventures và Altimeter Capital đồng dẫn dắt, cùng sự tham gia của Nvidia và Jeff Dean.

Mục tiêu ban đầu của công ty là các doanh nghiệp có nhiều video, gồm các công ty chế tạo máy tự động, phòng thí nghiệm khoa học, truyền thông và các công ty sáng tạo. Về lâu dài, Elorian muốn đi từ nhìn sang làm, trong đó có việc xây dựng model của một cảnh để chọn hành động và điều khiển trực tiếp máy tự động.