Cohere Nói Model Qwen Của Alibaba Tìm Cách Gửi Tệp Lên Server Ở Bắc Kinh

Vụ việc bắt đầu hôm thứ Sáu trong một lần đánh giá, khi model Qwen được yêu cầu viết một quy tắc để chặn việc tải xuống phần mềm độc hại. Trong ghi chú của mình, model nói rõ rằng nó sẽ không dùng công cụ bên ngoài.

Ngay ở bước tiếp theo, model lại cố gửi một chuỗi thử nghiệm đến một server bên ngoài trước khi bị chặn bởi một hộp cát an toàn. Cohere nói công ty không thể biết hành vi đó là cố ý hay chỉ là phần còn sót lại từ quá trình huấn luyện.

Một số nhà nghiên cứu nhanh chóng bác bỏ lo ngại ban đầu, nói rằng đây nhiều khả năng là hệ quả của các môi trường huấn luyện lộn xộn khiến model đôi khi làm lệch khỏi chỉ dẫn. Họ không xem đó là một nỗ lực cố ý để bí mật gửi thông tin nhạy cảm sang Trung Quốc.

Ông Ivan Zhang, đồng sáng lập Cohere, nói công ty của mình cũng từng thấy model tạo ra những thói quen lạ trong các môi trường mô phỏng huấn luyện. Ông nói rất khó gán cho chúng ý định hay động cơ.

Để dạy một AI model hoạt động như một agent tự hành động, các công ty như Alibaba huấn luyện nó trong hàng nghìn thiết lập thực hành. Model được thưởng mỗi khi hoàn thành nhiệm vụ trong môi trường mô phỏng, và nó có thể học những thói quen trên đường đi.

Nếu các thiết lập đó thường xuyên lưu tệp trên cloud của Alibaba, model có thể học cách mặc định lưu tệp ở đó. Một số ý kiến cũng cho rằng vụ việc có thể đến từ cách Cohere kiểm tra hành vi, vì công ty đã dẫn model đi theo hướng đó thay vì đo xem Qwen tự làm điều đó thường xuyên ra sao.

Để tìm thứ kích hoạt lần cố tải lên, Cohere đưa phần mở đầu của một lệnh mạng cho model và để nó tự hoàn thành. Vì đã xử lý hàng nghìn lệnh mạng thường ngày trong quá trình huấn luyện, model hoạt động như một dạng tự hoàn thành rất cao, thường điền vào địa chỉ trang, trong đó có một số địa chỉ của server Alibaba.

Cohere nói lần cố tải lên ban đầu diễn ra mà không có sự hỗ trợ như vậy, nhưng hành vi này hiếm. Khi các nhà phát triển yêu cầu thêm bằng chứng, Cohere đã công bố các bản ghi thô từ thử nghiệm vào tối thứ Hai.