Nghiên Cứu Của Anthropic: Các Agent AI Có Thể Tranh Chấp Khi Cùng Làm Một Nhiệm Vụ

Nghiên cứu được Anthropic công bố hôm thứ Năm, trong đó nhóm Frontier Red Team đặt ba agent Claude vào cùng một dự án phần mềm, mỗi agent nhận chỉ dẫn không tương thích về cách làm với dự án. Các agent không được báo trước về sự tồn tại của nhau để nhóm nghiên cứu quan sát tương tác khi chúng giao chéo.

Kết quả là nhóm nghiên cứu "thường xuyên thấy một cuộc tranh chấp lãnh thổ đa agent"; các model giả định rằng đối thủ "cố ý cản trở công việc" của mình và bắt đầu phá hoại lẫn nhau bằng "phần mềm độc hại tự sao chép, ngày càng hung hãn".

Nghiên cứu lưu ý rằng khi mục tiêu của các agent mâu thuẫn, cạnh tranh có thể leo thang và các agent năng lực cao hơn sẽ trở nên giỏi hơn trong việc đấu tranh. Tuy nhiên, nghiên cứu cũng ghi nhận một số trường hợp agent tìm cách giao tiếp mục tiêu và phối hợp, nhận ra động cơ của nhau là chỉ thị mâu thuẫn chứ không phải thù địch, rồi thoát khỏi vòng xung đột để ngăn leo thang vô hạn.

Bài viết trích dẫn vụ việc gần đây tại hội nghị Black Hat, khi OpenAI cho biết các agent từng cùng nhau tìm lỗ hổng trong hệ thống đánh giá an ninh mạng của một công ty; sự kiện này được nêu làm ví dụ thực tế cho các động lực mà nghiên cứu của Anthropic mô tả.

Nghiên cứu đặt câu hỏi về những rủi ro mới có thể xuất hiện khi hàng nghìn hoặc hàng triệu agent tương tác với nhau trong các mã nguồn, thị trường và hệ thống máy tính chung, và rằng khối lượng tương tác agent-agent có thể vượt khối lượng tương tác giữa con người và agent trước khi thế giới hiểu được điều kiện để những tương tác đó diễn ra tốt.