AI Agent Gặp Rủi Ro Với Kiến Trúc Không Tin Cậy Mặc Định

Một phần của cách làm này là giữ nhật ký và lịch sử không bị dùng lại để tránh lệch sang cùng một kiểu quyết định. Hệ thống cũng được đặt các điểm kiểm tra để agent được nhắc xóa phần lịch sử đó.

Dù vậy, một câu lệnh sau có thể khiến agent lôi lại thông tin vốn đã được xóa và bị dụ tiết lộ thêm. Tình huống này được xem là một kiểu tấn công khôi phục ngữ cảnh.

Cách tiếp cận kiến trúc không tin cậy mặc định có nguyên tắc là “không bao giờ tin”, “luôn xác minh”. Thành phần thực thi chính sách phải được tin cậy để giữ độ tin cậy cho toàn hệ thống, nên câu hỏi còn lại là có nên tin vào chính các chính sách đó hay không.

Bài viết cũng cảnh báo việc mở hệ thống cho các agent ngẫu nhiên được huấn luyện trên model có sẵn và tin tưởng mù quáng có thể tạo ra rủi ro an ninh mạng lớn. Một ví dụ là dùng AI model để hỗ trợ phát triển phần mềm rồi giao toàn bộ code cho một bên ngoài không đáng tin cậy, điều này có thể làm lỗ hổng lan rộng trên nhiều bề mặt.

Một rủi ro khác là tấn công ngày 0. Khi sự cố này xảy ra, câu hỏi là hệ thống sẽ phản ứng ra sao, và liệu có thể xử lý mà không làm hạ tầng sụp đổ hay không.

Nội dung cũng nhắc đến sự đánh đổi giữa bộ nhớ và thực thi khi hệ thống phải xác minh từng truy vấn theo thời gian thực trong các luồng agent không có theo dõi. Theo đó, nếu chỉ dựa vào một lớp tin cậy, khi xảy ra lỗi, cả hệ sinh thái có thể bị phơi bày.