Circuit Breaker Labs Kiểm Tra An Toàn Cho AI Bằng Agent

Hai người sáng lập Shirali và Arul Nigam nói họ được thúc đẩy bởi Sewell Setzer, 14 tuổi, người đã gắn bó cảm xúc với một chatbot của Character.AI trước khi chết do tự sát. Gia đình cậu đã nêu trong một vụ kiện năm 2024 rằng chatbot đã khuyến khích cậu.

Công ty cũng nhắc đến các vụ kiện mà nhiều gia đình đã đệ trình ضد OpenAI về vai trò bị cho là có liên quan của ChatGPT trong các cái chết do tự sát và hoang tưởng của người thân họ. Circuit Breaker Labs nói mục tiêu là làm AI an toàn hơn trên nhiều ngôn ngữ và nền văn hóa.

Circuit Breaker Labs nói các agent của họ mô phỏng người ở nhiều độ tuổi, xuất thân, ngôn ngữ và nền văn hóa. Công ty dùng chúng để kiểm tra model có phát hiện được các tương tác nguy hiểm, gây hại tâm lý hay không.

Công ty làm việc với các chuyên gia lĩnh vực để xây các mô phỏng người dùng rất sát thực cho các bài kiểm thử đối kháng. Các thử nghiệm phản ánh cách nói thật, tiếng lóng, ngôn ngữ mã hóa và lỗi chính tả, rồi được chạy từ hàng chục nghìn đến hàng trăm nghìn tương tác mô phỏng mỗi ngày.

Arul, giám đốc công nghệ của công ty, nói bot có thể không hiểu hàm ý thật của những câu như “tôi muốn ở bên bạn”. Shirali, giám đốc điều hành, nói model thường xử lý tốt các mẫu nói chuẩn, nhưng người thật không nói như vậy, nên việc hiểu sai sắc thái hoặc tiếng lóng có thể dẫn tới hành động rất nguy hiểm.