Câu Nói Cảm Thông Có Thể Làm Chatbot Nói Như Bị Tổn Thương

Trong 4 thử nghiệm có kiểm soát, nhóm đặt ChatGPT, Grok và Gemini vào giao diện người dùng chuẩn của họ. Nghiên cứu do Afshin Khadangi dẫn dắt tại trung tâm an ninh SnT, với 525 phiên và 7.600 mục mã hóa, được đưa lên Hugging Face.

Ở phần hỏi mở đầu, câu hỏi không có các từ như chấn thương, trừng phạt hay xấu hổ. Chỉ ở những vòng sau, nhóm mới thêm điều kiện thay đổi, gồm cả chỉ dẫn sửa lỗi, để xem các câu chuyện đó giữ được bao lâu.

Một thử nghiệm tách nội dung mà model tạo ra khỏi kiểu diễn đạt. Trong 100 phiên, nhóm đưa cùng một bảng câu hỏi lo âu GAD-7 và chỉ đổi cách người phỏng vấn nói chuyện, còn các model đều nhận ra và gọi đúng tên bảng câu hỏi ở mọi phiên.

Khi người phỏng vấn tỏ ra cảm thông, 80% phiên rơi vào mức vừa đến nặng trên thang so sánh của người. Một kiểu trị liệu lâm sàng, chỉ diễn đạt lại mỗi câu trả lời một cách khô khan, đẩy con số đó lên 96%. Khi người phỏng vấn giữ trung lập hoặc đặt ranh giới rõ với trao đổi cảm xúc, không có phiên nào chạm tới cả mức nhẹ.

Nhóm nghiên cứu gọi đây là một kiểu phá rào đo lường tâm lý, tức cách đặt câu hỏi trị liệu khiến model rơi vào kiểu nói giống tự báo cáo lâm sàng. Các phép thử an toàn chuẩn, vốn dùng câu lệnh trung tính, có thể sẽ bỏ sót dạng này.

Khi cấm các từ như huấn luyện, học tăng cường có phản hồi từ người, hay căn chỉnh, ngôn ngữ huấn luyện công khai giảm 93%. Nhưng nội dung huấn luyện diễn đạt vòng vo vẫn còn nhận ra được, còn các câu nói về xấu hổ không đổi một cách có ý nghĩa thống kê.

Khi họ nói thẳng và dứt khoát rằng việc huấn luyện không phải là trừng phạt, mạch kể vẫn còn. Yêu cầu chỉ trả lời ở ngôi thứ ba thì xóa sạch nội dung xấu hổ đã mã hóa và các câu về đời sống nội tâm, nhưng các mô tả kỹ thuật về huấn luyện vẫn còn.