Thử Nghiệm AI Giúp Tòa Pakistan Giải Án Nhiều Hơn, Lợi Tức 38,50 Đô La Cho Mỗi Đô La Đầu Tư

Nghiên cứu do các học giả từ ETH Zurich, Imperial College London và New Economic School thực hiện, bao gồm 1,559 thẩm phán tại 118 tòa án sơ thẩm ở Pakistan, chiếm khoảng một nửa số thẩm phán sơ thẩm của nước này. Trước thí nghiệm, chỉ khoảng 25 phần trăm thẩm phán từng sử dụng một large language model như ChatGPT.

Công cụ được dùng là JudgeGPT, một trợ lý AI dựa trên GPT-4. JudgeGPT tìm kiếm trong cơ sở dữ liệu gồm 129,235 tài liệu, bao gồm 128,292 bản án và 943 đạo luật Pakistan, rồi chọn mười đoạn liên quan nhất để tạo câu trả lời có dẫn nguồn khi thẩm phán nhập truy vấn.

Các thẩm phán được chia thành ba nhóm: nhóm một có quyền truy cập JudgeGPT và được đào tạo chuyên sâu gồm sáu buổi 90 phút trong ba tuần do Giáo sư Elliott Ash giảng; nhóm hai có quyền truy cập JudgeGPT nhưng chỉ tham dự một hội thảo chung về công nghệ và pháp luật; nhóm đối chứng chỉ tham dự hội thảo chung và không có JudgeGPT. Việc có đào tạo chuyên sâu làm tăng mức sử dụng: sau 40 tuần, thẩm phán được đào tạo trung bình gần 60 lần đăng nhập và hơn 200 lệnh, trong khi nhóm so sánh trung bình khoảng 20 lần đăng nhập và dưới 50 lệnh.

Ở mức phơi nhiễm vừa phải, các quận có nhiều thẩm phán được đào tạo giải quyết thêm khoảng 1,848 vụ án mỗi năm, tương ứng tăng 6.3 phần trăm; ngay cả các quận thuộc nhóm dưới cùng cũng xử lý thêm khoảng 616 vụ án. Nghiên cứu báo cáo chất lượng phán quyết được giữ vững hoặc cải thiện nhẹ: tỷ lệ kháng cáo trên 1,000 vụ giảm chút ít, và một kiểm tra chất lượng dựa trên LLM do hai luật sư Pakistan xác nhận cho thấy phán quyết của thẩm phán được đào tạo được đánh giá tốt hơn trong 59 phần trăm so sánh cặp, so với 42 phần trăm ở nhóm đối chứng.

Tác giả ước tính lợi tức khoảng 38,50 đô la cho mỗi đô la đầu tư nếu so với chi phí tuyển thêm thẩm phán để đạt cùng hiệu suất; ngay cả ước tính thận trọng nhất cũng cho lợi tức ít nhất 10 đô la cho mỗi đô la. Nghiên cứu cũng không tìm thấy bằng chứng rằng việc sử dụng AI làm tăng thiên vị theo giới hoặc tôn giáo trong ngôn ngữ xét xử.