JEPA-Anything Mở Rộng Sang Bảy Lĩnh Vực, Có Ứng Viên Trị Ung Thư Gan

Dự án do PhAI Labs dẫn dắt, cùng Stanford, Oxford và Princeton, lấy kiến trúc JEPA làm nền. Nhóm nói JEPA-Anything chạy trên bảy lĩnh vực khác nhau.

Ý tưởng của model này là không dựng lại dữ liệu thô như điểm ảnh. Thay vào đó, nó dự đoán bản tóm tắt trừu tượng của trạng thái bị thiếu hoặc sắp tới, rồi ghép các phần dự đoán lại thành một bức tranh hoàn chỉnh.

Nhóm tách trạng thái dự đoán thành nhiều phần, mỗi phần do một mô-đun dự đoán xử lý. Một ràng buộc thêm buộc các mô-đun học những khía cạnh khác nhau, thay vì học cùng một thứ.

Trong so sánh với một JEPA tiêu chuẩn có cùng kiến trúc, cùng dữ liệu và cùng điều kiện huấn luyện, JEPA-Anything cho kết quả tốt hơn ở các hệ động lực. Ở môi trường Pong đơn giản với can thiệp có mục tiêu, sai số dự đoán giảm 35%; với các tổ hợp can thiệp mà model chưa thấy khi huấn luyện, mức giảm là 13%.

Nhóm nghiên cứu nói model này vượt model gốc trên 10 nhiệm vụ thử nghiệm trải trên vật lý, robot và dự báo thời tiết. Ở phương trình Burgers, sai số giảm gần một nửa trong một phép đo hiệu năng riêng, còn sau 50 bước dự đoán thì ưu thế còn khoảng 3%.

Model cũng đứng đầu trong các mô phỏng về nước, thạch anh, acetaminophen và benzen, kể cả sau 100 bước. Với dữ liệu đơn bào, nó gán loại tế bào tin cậy hơn; với dữ liệu lâm sàng, nó dự đoán hơn 1.000 sự kiện bệnh tốt hơn một chút.

Ở lập kế hoạch di chuyển cho robot đi bộ mô phỏng, JEPA-Anything thắng ở 2 trong 3 môi trường. Ở các nhiệm vụ ảnh, chênh lệch giữa hai model là nhỏ.

Phần đáng chú ý nhất là hướng ung thư gan. Nhóm phân tích các dự đoán một phần từ dữ liệu sinh học gồm hoạt động gen, mức prôtêin và các đợt sàng lọc CRISPR, rồi rút ra ứng viên hàng đầu ghép IL-18 với chặn enzyme CD73. Nhóm đã thử tổ hợp này trong phòng thí nghiệm.