Anthropic Ra Message Threads, Rút 35% Thời Gian Token Đầu Tiên

Trước đây, mỗi yêu cầu API đều phải gửi lại toàn bộ lịch sử hội thoại. Message Threads chỉ truyền phần thay đổi từ tin nhắn gần nhất, theo Anthropic.

Công ty cho biết tính năng này có lợi nhất cho agent viết code, agent dùng máy tính và các luồng công việc xử lý nhiều tài liệu hoặc hình ảnh. Token sử dụng không đổi vì Claude vẫn đọc toàn bộ lịch sử hội thoại.

Chuỗi hội thoại được mã hóa trong bộ nhớ giữa các yêu cầu và hết hạn sau 5 phút không hoạt động. Tính năng này dùng trên nền tảng Claude và qua AWS, Microsoft Foundry, Google Cloud.

Chi tiết có trong tài liệu.