Bài Luận Mới Làm Dấy Lên Tranh Luận Về Khả Năng Diễn Giải AI

Cammarata là nhà nghiên cứu tại phòng thí nghiệm khả năng diễn giải Goodfire. Trong bài luận dài của mình, ông bác lại cách giải thích mà chính ông từng góp phần hình thành nhiều năm trước.

Khả năng diễn giải cơ học không chỉ nhìn model tạo ra gì, mà còn lần theo cách model đi đến câu trả lời từ bên trong. Theo cách nhìn đó, mỗi trong số hàng triệu nơ-ron nhân tạo sẽ gắn với một khái niệm nhận ra được, nhưng thực tế nhiều nơ-ron lại kích hoạt trước những thứ không liên quan với nhau, điều mà các nhà nghiên cứu gọi là đa nghĩa.

Một ví dụ nổi tiếng là một nơ-ron trong model ảnh InceptionV1 phản ứng với cả mặt mèo lẫn phần đầu xe hơi. Cammarata từng dùng chính ví dụ này trong nghiên cứu sớm của mình. Ông nay cho rằng nơ-ron đó thực ra là bộ phát hiện hình chữ V, vì các hình nhọn như mõm cáo hay ngọn lửa làm nó kích hoạt, còn các hình tròn như chữ O lại làm giá trị kích hoạt đi xuống.

Lý thuyết trước đây cho rằng khi mạng hết nơ-ron, nó sẽ nhét các khái niệm không liên quan vào cùng một nơ-ron vì chúng ít cản trở nhau. Vì thế, nhiều phòng thí nghiệm huấn luyện thêm một model thứ hai, như tự mã hóa thưa, để tách các khái niệm ra rồi nghiên cứu model đó thay cho model gốc.

Cammarata cũng xem lại trường hợp trong bài báo trước đây của mình với Chris Olah, nơi một chiếc xe dường như ẩn trong các nơ-ron về chó. Theo ông, đó chỉ là khái quát hóa thông thường, khi cụm đó nhóm xe và chó theo hướng chúng quay về máy ảnh. Ông nói sự rối rắm ở các tầng cuối của InceptionV1 đến từ một kiến trúc cũ và công cụ phân tích yếu.

Ông gọi kiểu mơ hồ còn lại là khái quát hóa đệ quy. Ông mô tả một nơ-ron như cành cây mọc thêm nhánh phụ: một nơ-ron từng nhận ra chuỗi chữ cái iy sau đó phản ứng với diy, rồi đến do it yourself, dù cụm cuối không còn chứa iy. Cammarata cho rằng khác với lý thuyết chồng lấp, những nhóm như vậy vẫn có thể cho biết điều gì đó về model.