Thử Nghiệm JudgeGPT Tại Pakistan Giúp Tăng 6,3% Số Vụ Án Được Giải Quyết

Nhóm nghiên cứu do kinh tế gia Sultan Mehmood từ New Economic School ở Moscow và cộng sự triển khai công cụ JudgeGPT, kết hợp GPT-4 của OpenAI với cơ sở kiến thức gồm 128.292 án lệ Pakistan và 943 đạo luật. Họ bắt đầu cung cấp công cụ này trong năm 2024 cho 1.559 thẩm phán sơ thẩm, tương đương khoảng một nửa thẩm phán cả nước.

Để giảm hiện tượng model tạo nội dung sai, nhóm dùng phương pháp truy xuất tăng cường (retrieval-augmented generation) để model truy vấn cơ sở dữ liệu, và phản hồi kèm chú thích dẫn tới các án lệ và luật. Các tác giả lưu ý rằng các giải pháp thương mại trước đó thường hay tạo ra thông tin sai về án lệ Pakistan.

Nghiên cứu báo cáo rằng công cụ, cùng với chương trình đào tạo, đã tăng 6,3% năng suất giải quyết vụ án mà không thấy sự suy giảm rõ rệt về chất lượng phán quyết. Họ đưa 1.197 thẩm phán tham gia sáu buổi đào tạo Zoom, mỗi buổi 90 phút, trong đó Elliott Ash từ ETH Zurich trình bày cách LLM hoạt động.

Bối cảnh của thử nghiệm là hệ thống xét xử Pakistan đang có tồn đọng 2.26 triệu vụ án và tỉ lệ thẩm phán dưới hai người trên 100.000 dân. Nghiên cứu chỉ tập trung vào tòa án sơ thẩm; các tác giả không báo cáo tỉ lệ hallucination của công cụ.