Nhóm Nghiên Cứu Nối GPT-6 Astra Trực Tiếp Vào Người Máy

HomeBody bỏ lớp điều khiển thường có giữa model và người máy. Nhóm nghiên cứu từ Stanford và Caltech xây dựng hệ thống này cho người máy Unitree G1.

Thay vào đó, một model đa phương thức có thể thay thế, ở đây là GPT Astra, gọi thẳng vào một thư viện kỹ năng có thể mở rộng cho việc cầm nắm, di chuyển và mở ngăn kéo.

Người máy quan sát phòng trước, dựng một bản sao số trong Isaac Sim của Nvidia, rồi ghi lại đồ vật và vị trí vào bộ nhớ không gian. Nhờ vậy, nó vẫn tìm được món đồ ngay cả khi món đồ đã ra khỏi tầm nhìn.

Với các nhiệm vụ như dọn bếp, model lên kế hoạch từng bước và tự sửa khi gặp lỗi. Đây là thêm một phép thử với GPT-6 Astra trên người máy.

Hạn chế gồm độ trễ của Astra, các bộ chấp hành ở ngón tay quá nóng và chi phí compute cao. Các phép đo hiệu năng trước đó cho thấy suy luận không gian của Astra tốt hơn nhiều, trong khi một phép đo khác nêu vấn đề an toàn khi Astra điều khiển người máy. Code ở GitHub, và OpenAI đã công bố kế hoạch quay lại lĩnh vực người máy, kể cả cho sử dụng cá nhân.