Hugging Face: Việc Đánh Giá Model AI Không Dễ

Các phòng thí nghiệm AI đã đặt uy tín vào việc đo model, vì đây được xem là cách xem một sản phẩm AI có tốt hơn sản phẩm khác hay không. Solaiman nói các phương pháp đứng sau những phép đánh giá này vẫn đang phát triển.

Bà nói niềm tin là một từ có sức nặng. Một phần lớn của câu chuyện là có lặp lại được kết quả hay không, và có đủ mức độ truy cập vào chính model hay không; ở điểm này, trọng số mở có vai trò lớn.

Khả năng lặp lại trong đánh giá model từ lâu đã là một điểm gây tranh cãi. Ngoài việc một phép thử có đúng hay không, còn có câu hỏi nó so với các phép đánh giá khác ra sao.

Solaiman nói đây là một khoa học đang phát triển, và hiện chưa biết cách so sánh chúng với nhau một cách có ý nghĩa. Bà cũng nói các phép thử này nhanh chóng kém hiệu lực, trong khi hệ sinh thái hiện nay chưa đủ mạnh.

Bà cho rằng đang có nhu cầu về một hệ sinh thái người đánh giá được đặt bên trong các tổ chức AI, nhưng tiêu chí để xác định ai là người đánh giá hiệu quả cho từng nhiệm vụ vẫn cần chuẩn hóa nhiều hơn. Ý tưởng này đã được chú ý trong vài tháng qua khi các phòng thí nghiệm AI đối mặt với nhiều sự cố an toàn.

Thay vì phụ thuộc vào quy định của chính phủ để nhận diện và giảm bớt các lo ngại về an toàn model, các phòng thí nghiệm đã thúc đẩy giải pháp bên thứ ba. Tuy vậy, nghi ngờ vẫn còn về việc những người đánh giá đó có thực sự trung lập hay hiệu quả hay không, và quyết định của Anthropic thuê Accenture làm người đánh giá đầu tiên đã gặp phản ứng dữ dội.

Đánh giá giờ không chỉ là thử model mà còn là thử cả hệ thống quanh model, gồm công cụ truy cập và agent. Solaiman nói công cụ truy cập ảnh hưởng rất lớn đến kết quả, và một model yếu hơn nhưng có công cụ tốt hơn có thể vượt một model hàng đầu. Bà cũng nói các phép đánh giá cho agent rất khó và rất tốn kém.