Google DeepMind Ra Gemini Robotics 2 Và ER 2 Cho Robot Toàn Thân

Gemini Robotics 2 là phiên bản mới nhất mà DeepMind gọi là model tầm nhìn-ngôn ngữ-hành động (VLA). Công ty nói model này có thể điều khiển hệ thống từ cánh tay đặt trên bàn tới robot hình người đầy đủ, bao gồm chuyển động từ chân tới ngón tay.

DeepMind mô tả Gemini Robotics 2 như một "lớp trí tuệ" cho thế hệ robot thích nghi mới. Model có thể quản lý chuyển động toàn thân, thực hiện nhiệm vụ tinh vi về vận động và điều phối nhiều robot cùng lúc, theo thông tin công bố.

Bên cạnh đó, DeepMind ra mắt Gemini Robotics ER 2, một model chuyên về "suy luận thân thể" để hiểu thế giới vật lý và quyết định hành động. ER 2 thay thế Gemini Robotics ER 1.6 và được thiết kế để làm bộ điều khiển cấp cao hơn cho robot.

ER 2 được cải tiến để hoàn thành các nhiệm vụ nhiều bước và dài hơi; nó có thể theo dõi tiến trình nhiệm vụ bằng video từ camera của robot, xác định bước cuối cùng hoàn thành đúng và tiếp tục từ đó để tránh làm lại từ đầu. Model cũng cải thiện khả năng nhận biết khi một nhiệm vụ bắt đầu và kết thúc.

Sau khi ER 2 sinh kế hoạch hành động, nó có thể gửi chỉ dẫn xuống một trong hai model VLA trong bộ Gemini Robotics 2 để chuyển kế hoạch thành lệnh cấp thấp điều khiển động cơ. DeepMind cho biết hệ thống cho phép chia một nhiệm vụ dài cho nhiều robot khác nhau để tăng tốc hoàn thành.

Google chia sẻ các video minh họa, trong đó Apptronik’s Apollo 2 và robot hai cánh tay của Google thực hiện các nhiệm vụ như cúi nhặt bình tưới, lấy đồ trên kệ và đặt công cụ vào thùng khi dọn garage. Công ty cũng nói model hỗ trợ điều khiển tay năm ngón tinh xảo để làm các việc như đóng túi Ziploc, buộc túi rác hay vặn bóng đèn.

DeepMind nêu rằng ER 2 là "model robotics an toàn nhất từ trước đến nay", vì nó cải thiện phát hiện người gần robot, kích hoạt gọi công cụ an toàn và dừng robot nếu có ai tiếp cận quá gần. Công ty cũng cập nhật Gemini Robotics On-Device Model để chạy cục bộ trên robot mà không cần kết nối internet và giúp thích ứng nhanh hơn với những thân máy có hình dạng, cảm biến và bậc tự do khác nhau.

DeepMind cho biết các nhà phát triển có thể đăng ký truy cập sớm qua danh sách chờ và mô tả ER 2 có khả năng gọi công cụ để truy cập dịch vụ đám mây bên ngoài, ví dụ Google Search, nhằm làm rõ phần prompt mà nó chưa hiểu.