Nền Tảng AI Observatory Công Bố Phân Tích Độc Lập Về Cách Người Dùng Tương Tác Với AI

AI Observatory do Anka Reuel và đồng nghiệp dẫn dắt là một nền tảng công khai, gom bảy tập dữ liệu chứa hội thoại với các model phổ biến, được thu thập có sự đồng ý của người dùng. Mục tiêu của dự án là cung cấp nguồn thông tin độc lập cho nhà nghiên cứu và nhà hoạch định chính sách để đánh giá việc sử dụng AI sinh tạo.

Nhóm nghiên cứu cho biết các công ty AI như Anthropic và OpenAI thường chỉ công bố những dữ liệu họ muốn cho công chúng thấy, và hiện không có nguồn độc lập để xác minh các báo cáo đó, theo lời của Anka Reuel.

AI Observatory phân tích hội thoại diễn ra từ 2023 đến 2025 và thấy rằng cách sử dụng AI khác nhau đáng kể giữa các model và thay đổi theo thời gian. Dữ liệu cho thấy nhiều hành vi nhạy cảm hơn so với những gì có trong báo cáo của các công ty lớn, vốn có xu hướng tập trung về công việc.

Khi nhóm áp dụng phương pháp lọc của Anthropic vào tập dữ liệu của mình, họ thấy gần một nửa cuộc hội thoại, tương đương 48%, sẽ bị loại bỏ. Những cuộc hội thoại bị loại này có xu hướng chứa nội dung liên quan sức khỏe và quan hệ nhiều hơn (44.2% so với 31.2% theo phân tích của Anthropic), nội dung người lớn hoặc phi pháp (7.9% so với 2.1%), quấy rối và thù hằn (27.5% so với 5.66%), và nội dung tình dục (16.7% so với 2.4%).

Nhóm cũng nêu ví dụ tập dữ liệu WildChat, trong đó các cuộc hội thoại trở nên dài và phức tạp hơn theo thời gian, với tăng số token trong yêu cầu, token phản hồi và lượt hội thoại, cùng với nhiều nói chuyện phiếm hơn.