GPT-6 Astra Sửa Trọng Số Của Model AI Khác

Nhóm nghiên cứu gọi cách làm này là lập trình không gian trọng số. Thay vì huấn luyện lại model AI bằng cách tốn kém, một model ngôn ngữ đóng vai trò như thợ máy và chỉnh từng núm trong trọng số. Tùy thí nghiệm, Astra làm việc trực tiếp với danh sách số hoặc dùng công cụ code và phản hồi từ các lần thử.

Trong nhiều thử nghiệm, Astra nhận đầu vào là trọng số thô của các mạng đã huấn luyện và phải đoán chúng đã học gì. Nó xác định đúng một trong bốn trò chơi máy tính mà một mạng được dùng để chơi. Nó cũng nhận ra các hình cơ bản do bộ tạo ảnh sinh ra, nhưng nhầm hình tô kín với hình viền.

Astra cũng ghép đúng ngôn ngữ huấn luyện của các model ngôn ngữ nhỏ, dù không có dữ liệu huấn luyện và không thể chạy các model đó. Ở một bài khác, nó phải phân biệt giữa hai model ngôn ngữ đã tinh chỉnh để luôn đồng ý với người dùng. Từ trọng số בלבד, nó chưa phân biệt được ngay; chỉ khi được xem model chú ý vào đâu trong lúc xử lý văn bản, nó mới nhận đúng model nịnh người dùng ở cả ba cặp model.

Astra còn tạo ra trọng số cho các model được thiết kế để chơi ba trò chơi máy tính đơn giản, hoàn toàn không cần huấn luyện, chỉ dựa vào luật chơi và mã nguồn. Theo kết quả nêu ra, các model này vượt qua model được huấn luyện theo cách tiêu chuẩn trong hơn 100 triệu vòng. Ở Breakout, model của Astra đạt trung bình 517 điểm, trong khi bản nền đạt 25 điểm.

Trong hai trò khác, Astra kém hơn các bản được huấn luyện lâu nhất. Với cờ Go trên bàn 9x9, Astra viết trọng số cho một mạng có khoảng 1,5 triệu tham số. Với ngân sách 50 lần thử, mỗi vòng mạng chơi tối đa 128 ván tập rồi Astra sửa lại trọng số, nó thắng một model cùng cỡ được huấn luyện trên khoảng 20 triệu ván.

Thử nghiệm thực tế liên quan đến model ngôn ngữ Qwen3.5-0.8B. Nhiệm vụ của Astra là cải thiện khả năng làm toán, bằng môi trường code và 50 lần thử với các bài tập mẫu. Việc đánh giá diễn ra trên các bài riêng mà Astra chưa từng thấy.

Astra cũng nhận ra một vấn đề mà tài liệu của Qwen đã cảnh báo sẵn: các vòng lặp suy nghĩ.