Qwen-Drive 1.0 Ghép Nhận Biết Không Gian, Hỏi Đáp Giao Thông Và Lập Tuyến

Các model lái xe hiện nay thường lấy một model ảnh-văn bản chung rồi tinh chỉnh bằng dữ liệu lái xe, chủ yếu là các cặp hỏi đáp về tình huống giao thông. Cách này có hai điểm yếu: model vẫn khó nhận ra khoảng cách, vị trí và khoảng trống, còn khi quá chuyên về dữ liệu lái xe thì dễ mất kiến thức rộng từ giai đoạn huấn luyện ban đầu.

Qwen-Drive 1.0 dựa trên Qwen3.5-4B, ra mắt vào tháng 2, và thêm hai phần. Phần đầu tạo bản đồ nhìn từ trên xuống của khu vực xung quanh bằng cách nhận ra vật thể trong không gian 3D, xác định vùng bị chiếm chỗ và vẽ lại bố cục đường đi.

Nhóm nghiên cứu nói phần này cũng là một công cụ đo để cho thấy model đang rút bao nhiêu thông tin không gian từ hình ảnh. Phần thứ hai, bộ chuyên gia lập kế hoạch, dùng dữ liệu nội bộ của model để lập chuyển động sắp tới của xe.

Khi chỉ huấn luyện phần mới thêm vào và để model nhìn-ngôn ngữ nguyên trạng, độ chính xác không gian vẫn thấp. Chỉ khi nhóm cũng huấn luyện chính model nhìn-ngôn ngữ trên các nhiệm vụ không gian thì kết quả mới cải thiện rõ, cho thấy khả năng hiểu không gian trong cảnh giao thông phải được xây dựng từ đầu một cách chủ động.

Quá trình huấn luyện bắt đầu từ mô-đun nhận biết, rồi ghép nhận biết với hỏi đáp, sau đó là lập tuyến. Bước cuối dùng học tăng cường để tinh chỉnh hành vi của model.

Với phần nhìn-ngôn ngữ, nhóm kết hợp 24 tập dữ liệu công khai về cảnh giao thông. Các tập dữ liệu này có cấu trúc khác nhau và đôi khi có lỗi, nên một AI model đã chuẩn hóa câu hỏi và câu trả lời rồi căn chỉnh với dữ liệu gốc. Nhóm cũng tự tạo thêm các ví dụ giải thích vì sao xe nên đưa ra một quyết định lái cụ thể, như vật thể nào khiến xe phanh.

Các tác giả còn cho rằng trong xe hiện đại, hệ thống giải trí và hệ thống lái đang hội tụ vào một đơn vị tính toán thay vì chạy trên hai bộ điều khiển riêng. Họ nói một model đổi năng lực chung lấy hiệu năng lái thuần túy sẽ không giúp nhiều trong trường hợp này, vì khoang lái vẫn cần model riêng và thêm năng lực tính toán cho các việc như đối thoại hoặc câu hỏi mở.