Nén Ngữ Cảnh Khiến AI Bỏ Mất Hướng Dẫn Của Người Dùng, Nghiên Cứu Cho Biết

Các phòng thí nghiệm AI dùng phương pháp nén ngữ cảnh, gọi là compaction, để tóm tắt lịch sử trò chuyện khi người dùng chạy cuộc hội thoại dài mà không mở chat mới. Đổi lại là nhiều chi tiết bị mất trong quá trình tóm tắt.

Nhóm nghiên cứu tại Penn State phân tích những chi tiết bị mất và thấy tổn thất lớn nhất rơi vào các "ràng buộc phiên" — những quy tắc áp dụng trong suốt phiên như "Xác nhận với tôi trước khi thực hiện thay đổi" hay "Không dùng tên tôi trong phản hồi". Những ràng buộc này không phải mục tiêu chính của nhiệm vụ nên rất dễ bị loại khi nén.

Để đo lường, họ giới thiệu bộ đánh giá COMPINT. Trung bình chỉ 17% ràng buộc phiên được giữ lại sau khi nén. Hầu hết các thiết lập compactor thử nghiệm còn hoạt động kém hơn cả khi không nén, mặc dù GPT-5.4-mini vượt mức cơ sở trong một số kịch bản.

Khi agent có toàn bộ ngữ cảnh chưa nén với ràng buộc người dùng còn nguyên, mức tuân thủ quy tắc dao động giữa 59% và 71%. Sau khi nén, mức tuân thủ giảm mạnh và thường chỉ nhỉnh hơn chút so với khi không có ràng buộc nào được đưa ra. Các prompt nén được tinh chỉnh giúp phần nào nhưng không đóng được khoảng cách; ngay cả prompt thiết kế nhằm bảo toàn ràng buộc cũng chỉ giữ dưới 40% theo báo cáo.

Nhóm nghiên cứu cho biết biện pháp hiệu quả là thêm một module nhỏ chạy kèm bộ nén. Module này dùng Qwen3.5-9B, đọc mọi đầu vào của người dùng để phát hiện ràng buộc phiên và gom chúng vào một danh sách riêng. Khi ngữ cảnh được tóm tắt, module sẽ thêm danh sách đó vào bản tóm tắt để giữ nguyên các quy tắc của người dùng.

Theo kết quả nêu, bộ trích xuất này đạt tỉ lệ giữ lại trên 90% trong cả ba kịch bản thử nghiệm.