VicOne Nêu Rủi Ro Khi Đầu Vào Sai Làm Người Máy Đổi Hành Vi

Một người máy di động có thể chậm lại trước hành lang, một cánh tay cộng tác có thể giảm tốc khi công nhân đến gần, và một người máy hình người có thể dừng để nhường lối. Mỗi phản ứng đều dựa vào số đo khoảng cách, ước tính vị trí hoặc tín hiệu dừng.

Nếu một trong các đầu vào đó sai, người máy vẫn có thể phản ứng đúng như được thiết kế. Người máy di động có thể đọc hành lang là trống dù vẫn còn người. Cánh tay có thể ước tính công nhân ở xa hơn. Người máy hình người có thể không nhận được tín hiệu dừng khi có người băng qua đường đi của nó.

VicOne LAB R7 nói lỗi hoặc can thiệp có chủ ý đều có thể tạo ra lệch đó. Nhóm đang xem xét cách đầu vào không đáng tin làm đổi hành vi của người máy, và điều đó có nghĩa gì với các hệ thống giữ an toàn cho con người.

Các nghiên cứu đã công bố cũng cho thấy điều này có thể xảy ra. Trong một nghiên cứu về mô hình thị giác-ngôn ngữ-hành động, một miếng vá trong tầm nhìn của máy quay làm giảm tỉ lệ thành công nhiệm vụ trong thử nghiệm người máy mô phỏng. FreezeVLA cho thấy một ảnh đối kháng có thể khiến các model đã thử bỏ qua chỉ dẫn về sau.

Trong một thử nghiệm với chó máy dùng Gemma 4 E4B, chữ trên một tấm áp phích bị coi là chỉ dẫn và làm đổi chuyển động của người máy. VicOne LAB R7 cũng nói một âm thanh được tạo ra để con người không nghe thấy đã làm đổi hành vi mô phỏng của người máy phục vụ trong bệnh viện dùng Nemotron trên NVIDIA Jetson AGX Orin. Một sự kiện săn lỗi của người máy cũng ghi nhận nhóm nghiên cứu đưa một thông điệp ROS 2/DDS vào một người máy mà ban tổ chức cho là sẽ đứng yên ở thiết lập điều khiển an toàn, rồi người máy đã di chuyển.

Một ví dụ khác là bộ điều khiển thăng bằng của người máy hình người. Nếu nó dựa vào con quay hồi chuyển dễ tổn thương, âm thanh ở tần số cộng hưởng của cảm biến có thể làm lệch số đo quay. Nhóm nghiên cứu cũng đã chứng minh kiểu tấn công bằng âm thanh này với máy bay không người lái dùng con quay hồi chuyển dễ tổn thương.