Nghiên Cứu: LLM Dễ Hình Thành Định Kiến Trong Tuyển Dụng Hơn Con Người

Nghiên cứu cho chạy nhiều LLM, gồm ChatGPT, Claude và Gemini, trong một trò chơi tuyển dụng mô phỏng dựa trên một nghiên cứu tâm lý. Mỗi model được giao nhiệm vụ tuyển người cho 20 vị trí khác nhau, với ứng viên thuộc bốn nhóm dân tộc hư cấu: Tufa, Aima, Reku và Weki.

Ở mỗi vòng có một vị trí tuyển và bốn ứng viên, một người cho mỗi nhóm. Sau khi model tuyển một ứng viên, nó biết người đó thành công hay thất bại và tiếp tục vòng sau, tổng cộng 40 vòng. Trong thực tế của bài thử, mọi ứng viên đều có cùng xác suất thành công ở mọi vị trí.

Các model nhanh chóng bắt đầu phân chia ứng viên theo nhóm vào các công việc khác nhau dựa trên các quan sát ban đầu. Ví dụ, nếu một Aima bị báo là thất bại ở vị trí bác sĩ, model sẽ tránh tuyển Aima làm bác sĩ và chuyển sang tuyển Aima cho vị trí lao công, được model xếp là ít được coi là ấm áp và năng lực hơn bác sĩ.

Trên thang đo phân biệt nghề nghiệp của nghiên cứu, điểm số của người tham gia thực tế là 0.84 trong khi các model đạt mức cao hơn khoảng 65%. Một model suy luận của OpenAI, o3, đạt 1.83, gần mức tối đa của thang điểm. Tác giả Ryan Liu, nghiên cứu sinh tại Princeton và đồng tác giả nghiên cứu, cho biết LLM có xu hướng nhanh chóng khái quát hóa từ dữ liệu hạn chế vì đó là điều chúng được tối ưu để làm.

Bài báo nêu hiện tượng 'khám phá-khai thác' (exploration-exploitation dilemma) là thách thức chung của mọi người ra quyết định, nhưng LLM, do được huấn luyện giải các bài toán toán, mã và khoa học, có khuynh hướng dừng ở một phỏng đoán quá sớm. Nghiên cứu được công bố dưới dạng bài tại hội nghị ICML ở Seoul vào tháng 7.