AI Agent Dựng Cảnh 3D Từ Ảnh Nhưng Khó Tự Biết Đúng Sai

LEGO-Anything là dự án của các nhà nghiên cứu tại University of Maryland và AWS. Cách làm Image-to-Code cho phép một agent nhận một ảnh, viết code cho Blender, rồi chạy, xem kết quả và sửa tiếp cho tới khi cảnh khớp ảnh gốc.

Đầu ra là một chương trình có thể xem, sửa và truy vấn. Nó ghi rõ vật thể, hình học, bố cục và vị trí máy quay.

Nhóm nghiên cứu giới thiệu LEGO-Bench để đo kết quả. Bộ này có 208 ảnh từ 104 cảnh trong nhà và ngoài trời, cùng 443 tài sản đã đăng ký.

Vì ảnh thật không có dữ liệu chuẩn 3D chính xác để so sánh, LEGO-Bench dùng ảnh được kết xuất từ các cảnh mô phỏng do chuyên gia xây dựng. Hình ảnh đầu vào trông tự nhiên, còn hình học, độ sâu và gán vật thể được giữ kín để chấm tự động. Độ phức tạp của cảnh cũng có thể tăng lên mà không đổi ánh sáng hay thiết lập máy quay.

LEGO-Bench chấm mỗi cảnh theo ba trục: tính hợp lệ, độ tái dựng và hình thức. Trong sáu cấu hình GPT được thử, tất cả đều gần như luôn tạo ra một cảnh chạy được; nhưng độ chính xác dao động mạnh, với GPT-6 Astra đạt 53.4% ở cảnh trong nhà và 39.6% ở cảnh ngoài trời, còn các cấu hình yếu hơn quanh 15%.

Khi mức suy luận tăng, các bản GPT-6 cải thiện đáng kể. Điểm của Astra trên một nhóm thử nghiệm văn phòng tăng từ 32.3 lên 61.8%. Nhóm nghiên cứu nói các vấn đề thường gặp là lần thử đầu kém, sửa đổi làm mất tiến bộ trước đó, và tự đánh giá không đáng tin.

Khi phải chọn giữa hai bản, các đánh giá hình học của model này ở gần hoặc dưới mức đoán mò. Kết luận của nhóm là việc tinh chỉnh nên dựa vào đo đạc cụ thể.