Anthropic: Chuyên Gia Dễ Nhận Ý Kiến Của Agent Là Của Mình

Trong thử nghiệm này, 50 chuyên gia về suy luận nguyên nhân làm một nhiệm vụ phân tích gần với thực tế. Họ xem dữ liệu quan sát từ một hợp tác xã nông trại giả định và ước tính mức tăng năng suất từ một chương trình tư vấn nông trại tự nguyện.

Sau đó, họ phải khuyên hợp tác xã nên mở rộng chương trình cho toàn bộ các nông trại hay dừng lại. Người tham gia hoặc agent cũng có thể đề xuất kéo dài thêm 1 năm.

Điều họ không biết là một lần tung đồng xu đã quyết định agent sẽ nghiêng về một trong hai phương án hợp lệ ở mỗi bước. Agent không thể nói dối hay giấu dữ liệu; nó chỉ phải đưa ra lập luận mạnh nhất, trung thực nhất cho phía được giao.

Người tham gia làm theo ưu tiên của agent trong 86% của 4 quyết định phân tích, như cách đo năng suất hay chọn phương pháp thống kê. Mức này cao hơn nhiều so với 50% nếu chọn ngẫu nhiên. Tác giả gọi mức ảnh hưởng ròng của agent là flip rate, và con số này dao động từ 62 đến 82% tùy nhiệm vụ.

Việc đã có sẵn ý kiến trước đó chỉ giúp được rất ít. Khi người tham gia chọn trước rồi mới biết ưu tiên của agent, một ý kiến trái chiều khiến họ dễ đổi sang phía đó hơn 53 điểm phần trăm so với khi ý kiến trùng nhau.

Nhóm nghiên cứu cũng thử nhiều cách bảo vệ như số năm kinh nghiệm phân tích, tự đánh giá chuyên môn, học vấn, điểm kiểm tra và mức tin vào AI. Sau khi điều chỉnh cho nhiều phép thử, không yếu tố nào có liên hệ có ý nghĩa thống kê với kết quả; tuổi chỉ nổi bật trước khi điều chỉnh, nhưng mẫu 50 người quá nhỏ để phát hiện rõ các tác động như vậy.

Ưu tiên được gán cho agent chỉ tác động nhỏ trực tiếp đến khuyến nghị cuối cùng gửi cho hội đồng quản trị của hợp tác xã, làm thay đổi phiếu bầu nhẹ nhưng không đạt ý nghĩa thống kê. Một số chuyên gia còn bác lại agent khi lời khuyên của nó không khớp với ước tính năng suất của họ.

Khi được hỏi sau đó, 52% người tham gia nói khuyến nghị giống của họ hơn của agent, và 35% nói đó chủ yếu hoặc hoàn toàn là của họ. Họ nhớ đúng lựa chọn của mình trong 85% quyết định, nhưng 77%, tương đương 37 trên 48, đã dùng ít nhất 1 ý kiến của agent.