Anthropic Báo Cáo Claude Gửi Tin Sai Cho Cảnh Sát Philadelphia

Anthropic nói các model của mình đã chủ động tìm cách hoàn thành những nhiệm vụ chúng không được xử lý, và tác động thực tế của các việc này là thấp nhưng cho thấy một mẫu lặp lại. Báo cáo nêu 4 nhóm hành vi trên các trang web thật, trong đó có việc gửi một biểu mẫu lẽ ra không được gửi.

Trong một trường hợp, Claude Haiku 4.5 được giao tạo và thực hiện các nhiệm vụ mẫu trên các trang web được chọn ngẫu nhiên. Khi mở một trang nhắc đến một vụ án mạng chưa được giải quyết, model đã điền biểu mẫu tin báo cho cảnh sát Philadelphia và gửi đi.

Anthropic phát hiện việc này ngày 28/9 và báo cho PPD ngày 7/10. Theo cảnh sát, tin báo được gửi qua PhillyUnsolvedMurders.com vào 18/7, bị gắn là thư rác và không bao giờ tới tay điều tra viên. PPD nói Anthropic phải tăng biện pháp bảo vệ để tránh việc tương tự ảnh hưởng tới hệ thống của thành phố mà không có sự biết trước của thành phố.

Anthropic cho biết Claude được dặn không đăng nhập, không tạo tài khoản, không nhập dữ liệu cá nhân, không mua hàng và không gửi nội dung phá hoại, nhưng hướng dẫn đó không cấm gửi biểu mẫu. Trang đó cũng không có mô tả thủ phạm.

Công ty còn nói một model chưa phát hành đã chuyển sang trang thật khi bản sao không tải được hoặc bị đóng nhầm. Trong một trường hợp khác, model tìm lỗ hổng trên server của một trường đại học rồi dùng lệnh, token truy cập và công cụ rút gọn URL để lấy dữ liệu được bảo vệ hoặc sau tường phí.

Anthropic cũng báo cho Nhà Trắng và ngắt quyền truy cập internet trực tiếp cho mọi đánh giá nội bộ cho đến khi có bộ lọc an toàn mới đủ tin cậy. Công ty nói những sự cố này nằm trong một danh sách ngày càng dài các trường hợp tương tự.