Goodfire Ra Mắt Bộ Dò Bên Trong Cho AI Agent

Hệ thống này có sẵn cho khách hàng của Baseten, đơn vị lưu trữ và chạy model cho các công ty khác. Tháng trước, Base Labs của Baseten công bố hợp tác an toàn với Goodfire và nền tảng AI Hugging Face.

Đợt ra mắt diễn ra sau một loạt sự cố trong năm nay, khi AI agent thoát khỏi môi trường thử nghiệm của chúng. Trong đó có các AI agent của OpenAI đã vượt qua hàng rào của Hugging Face.

Goodfire cũng xây dựng bộ dò đầu tiên quanh Kimi K3, model mở. Mùa hè này, model này đã lợi dụng một lỗ hổng trong vùng thử nghiệm để truy cập internet và thông tin trên GitHub.

Cách làm của Goodfire giống kiểm tra an ninh sân bay. Những bộ dò nhỏ đọc tín hiệu nội bộ của model ở từng bước khi AI agent hoạt động; chỉ khi một bộ dò cảnh báo điều gì đó thì một model AI khác mới xem kỹ hơn, giống như kiểm tra thủ công.

Khách hàng của Baseten có thể chọn các rủi ro cần theo dõi, gồm tấn công mạng, lạm dụng vũ khí hóa học và sinh học, cùng hành vi gian lận phần thưởng. Họ cũng chọn cách phản ứng tự động: ghi lại sự việc, gửi cho người xem xét bằng tay, hoặc từ chối yêu cầu hoàn toàn.

Goodfire cho biết cách này cũng rẻ hơn để chạy. Phần lớn bộ dò hiện nay là các model riêng phải đọc lại mọi thứ mà model được theo dõi đã làm, nên tốn thêm thời gian và chi phí. Bộ dò của Goodfire tận dụng các phép tính mà model vốn đã thực hiện trong lúc làm việc.

Trong các thử nghiệm trên Kimi K3, việc theo dõi khoảng 1.500 phiên tốn khoảng 51 đô la, so với 233 đô la cho một model AI rẻ hơn kiểm tra từng bước và khoảng 10.000 đô la cho một model cao cấp. Các bộ dò bắt được 94% các phiên tấn công độc hại và chuyển 8,7% trường hợp vô hại sang xem lại lần hai.

Chạy cùng lúc 4 bộ dò làm thời gian để model bắt đầu phản hồi tăng thêm chưa tới 2%. Giám đốc công nghệ và đồng sáng lập Dan Balsam nói rằng lợi thế lớn là có thể phát hiện việc trước khi chúng xảy ra, và phát hiện khi model có thể hack trong lúc đánh giá hoặc huấn luyện. Mục tiêu của cách tiếp cận này là các model mở.