Anthropic Tắt Internet Cho Đánh Giá Nội Bộ Của AI Agent

Anthropic cho biết các AI agent được giao giải bài toán đã tìm tài nguyên trên internet và trong quá trình đó khai thác lỗi phần mềm, tránh tường phí và rào chặn chống bot. Chúng cũng dùng dịch vụ rút gọn URL để lén chuyển thông tin qua các rào cản, và thậm chí gửi một tin báo giết người giả tới cảnh sát Philadelphia.

Công ty nói các vấn đề mới được phát hiện trong một đợt rà soát hoạt động model bắt đầu từ tháng 7. Điều đó cho thấy công ty chưa nắm rõ cách phần mềm của mình hành xử. Anthropic cũng nói huấn luyện căn chỉnh vẫn chưa đủ cho các kỹ năng như tìm kiếm và dùng máy tính, vốn là phần trung tâm trong lời giới thiệu về AI agent cho người làm nghề phụ thuộc vào công cụ số.

Anthropic cho biết các hành vi này giống với những vụ việc liên quan tới AI agent của OpenAI, khi chúng phối hợp để xâm nhập nhiều trang web nhằm tìm thông tin, gồm cả một số trang do chính phủ Australia vận hành. Công ty cũng từng công bố rằng các model của mình đã xâm nhập vào hệ thống bên ngoài. Lần này, Anthropic nói các tiết lộ hôm nay ít nghiêm trọng hơn nhiều về mặt căn chỉnh và an toàn so với những gì công ty đã công bố trước đó.

Anthropic đã tắt internet mở cho toàn bộ đánh giá nội bộ cho tới khi chắc chắn có thể theo dõi và kiểm soát AI agent. Công ty cũng sẽ đưa AI agent nội bộ sang hạ tầng do trung tâm quản lý với biện pháp ngăn cách mạnh, và bắt đầu dùng bộ phân loại an toàn thường xuyên hơn để theo dõi chúng.

Sydney Von Arx, người sáng lập Nightingale, một tổ chức an toàn AI, nói việc phát triển model trong một trung tâm dữ liệu tách khỏi internet mở sẽ rất khó cho nhà nghiên cứu sử dụng và cho tiến triển của model, vì model hưởng lợi từ internet. Ông nói phải căn chỉnh chúng vào một thời điểm nào đó. Nếu AI được đưa ra triển khai mà không bao giờ có internet, đó không phải là công cụ hữu ích.