Anthropic Cảnh Báo Model Sắp Chạm Ngưỡng RSI

Hồ sơ S-1A sửa đổi cho thấy bức tranh tài chính mới nhất của Anthropic, với doanh thu đi lên và chi phí cũng đi lên. Ở phần nhỏ trong hồ sơ, công ty đưa ra cảnh báo về khả năng tự cải thiện lặp lại của AI.

Anthropic mô tả RSI là điểm mà AI tự huấn luyện giỏi đến mức tạo ra một bước nhảy lớn về năng lực của AI. Công ty nói việc dùng AI để giúp tạo ra AI mạnh hơn cũng có thể tạo ra rủi ro an toàn đáng kể, nhất là nếu tốc độ tiến bộ tăng rất nhanh.

Công ty cho biết mình đang dùng AI trong nghiên cứu và phát triển, và vấn đề này nằm trong Responsible Scaling Policy. Chính sách này nêu kế hoạch theo dõi và giảm thiểu rủi ro khi công ty tiến gần đến điều mà họ gọi là tự cải thiện lặp lại.

Anthropic cũng thêm vào phần rủi ro rằng công ty đã từng dùng AI để phát triển các model mới có bước nhảy về năng lực mà khi đó họ chưa nhận ra. Công ty nói các ước tính nội bộ và kỳ vọng về các model trong tương lai cho thấy họ có thể sớm chạm định nghĩa nội bộ về mức tiến bộ tăng tốc mạnh do AI tạo ra, nhưng chưa model hiện tại nào vượt ngưỡng đó và công ty vẫn tiếp tục giữ con người trong quá trình nghiên cứu và phát triển trong thời gian tới.