Reka AI Ra Mắt Rho-1, Model Xử Lý Chữ, Ảnh, Video Và Rô-bốt

Rho-1 chạy tất cả các loại dữ liệu như token trong một cửa sổ ngữ cảnh dùng chung. Model này không gọi công cụ và cũng không dùng model bên ngoài.

Rho-1 có thể tạo video liên tục theo thời gian thực. Model cũng phản hồi lệnh mới ngay khi đang chạy mà không cần khởi động lại.

Các trọng số dùng để dự đoán ảnh từ camera cũng điều khiển chuyển động của rô-bốt. Để bù cho dữ liệu huấn luyện rô-bốt khan hiếm, Reka AI xây dựng một model động lực nghịch, lấy tín hiệu điều khiển từ các video internet thông thường.

Rho-1 được huấn luyện trên 320 GPU H100 trong khoảng ba tháng. Reka AI cho biết cách làm này giúp mô hình học được cả hình ảnh lẫn hành động điều khiển.

Trước đó, vào tháng 4 năm 2024, công ty đã phát hành Reka Core, một model ngôn ngữ đa phương thức. Model này được đặt ngang với GPT-4, Claude 3 và Gemini Ultra trên các phép đo hiệu năng.

Đợt phát hành này cũng nằm trong xu hướng rộng hơn của nghiên cứu AI hướng tới cái gọi là model thế giới.