Nhóm Bristol Đề Xuất Cách Kiểm Tra Độ Tin Cậy Của AI Y Tế

Theo nhóm này, medicine cũng phải xử lý những điều chưa chắc chắn với các thuốc mà tác động chính xác trong cơ thể chưa được hiểu đầy đủ. Dù vậy, mỗi thuốc đều có một bộ thông tin có cấu trúc nêu rõ điều kiện để nó hoạt động, gồm liều lượng, thời điểm dùng và nhóm bệnh nhân. Chính bộ thông tin đó biến một chất hóa học thành một liệu pháp đáng tin cậy.

Từ đó, nhóm Bristol đề xuất một bộ tương tự cho nhà phát triển AI y tế, với tên gọi “Learning Ensemble”. Bộ này có ba phần mà nhà phát triển phải ghi lại và kiểm tra trước khi hệ thống được dùng trên bệnh nhân.

Phần đầu nói về giới hạn của hệ thống, gồm nó dành cho bác sĩ hay phòng khám nào, chạy trên phần cứng nào và được huấn luyện bằng dữ liệu bệnh nhân nào. Một nghiên cứu năm 2021 cho thấy vì sao điều này quan trọng: một hệ thống AI được dùng để phát hiện nhiễm COVID trên ảnh X-quang nhưng lại bám vào các chi tiết ngẫu nhiên trong ảnh có liên hệ với chẩn đoán, rồi thất bại khi được triển khai ở một phòng khám khác.

Phần thứ hai là độ tin cậy giữa các nhóm bệnh nhân. Tỉ lệ đúng trung bình là chưa đủ, vì một hệ thống có thể nhìn chung vẫn tốt nhưng vẫn sai đều đặn với một số nhóm nhất định. Một nghiên cứu năm 2021 khác cho thấy các hệ thống AI đọc ảnh X-quang kém khả năng phát hiện bệnh hơn nhiều ở các nhóm dân số ít được phục vụ.

Phần thứ ba, theo nhóm nghiên cứu, là quan trọng nhất: hệ thống có thật sự phù hợp với mục đích lâm sàng dự kiến hay không. Một hệ thống có thể chạy đúng về kỹ thuật nhưng vẫn vô dụng trong phòng khám. Ví dụ, một hệ thống AI đánh giá bệnh nhân hen suyễn kèm viêm phổi là có nguy cơ tử vong thấp; trong dữ liệu huấn luyện, họ sống sót nhiều hơn, nhưng chỉ vì phòng cấp cứu điều trị rất mạnh tay. Với phân loại mức độ khẩn cấp cho bệnh nhân mới, kết quả đó là vô giá trị.

Các tác giả xem công trình này chỉ là điểm khởi đầu. Việc xây dựng một hệ thống AI y tế đáng tin cậy trong thực tế vẫn là quá trình thử và sai đòi hỏi chuyên môn, rà soát bên ngoài và điều chỉnh liên tục. Khung họ đề xuất nhằm giúp nhà phát triển có một ngôn ngữ và cấu trúc chung để phát hiện vấn đề sớm hơn.