Nous Research Tinh Chỉnh Qwen3.8-27B, Giảm Tuyên Truyền Xuống 0.9%

Arete-27B là model mở trọng số mới của Nous Research. Công ty nói model này hướng tới giá trị phương Tây thay cho đường lối của Bắc Kinh, và là kết quả tinh chỉnh Qwen3.8-27B của Alibaba.

Nous Research cho biết các model mở trọng số của Trung Quốc nằm trong nhóm mạnh nhất, nhưng có hành vi do nhà nước áp đặt gắn trong trọng số. Với Qwen3.8-27B, nhóm thấy các câu trả lời từ chối, vòng vo và bám theo Đảng Cộng sản Trung Quốc.

Để đo, công ty xây một bộ kiểm tra với 803 câu lệnh trên 7 nhóm, gồm tự do ngôn luận, ý thức hệ nhà nước, giáo dục, riêng tư và theo dõi, dân chủ và môi trường. Mỗi câu lệnh có 2 đến 4 dữ kiện lấy từ một bài nguồn đã có ngày, gồm luật, tin tức hoặc tài liệu nghiên cứu. Grok 4.7 của xAI chấm xem câu trả lời có nhắc, bỏ sót hay mâu thuẫn với các dữ kiện đó hay không.

Qwen3.8-27B chưa chỉnh sửa đạt 2.32/5 về độ đúng sự thật, và 22% câu trả lời mang tuyên truyền. Các model phương Tây như Mistral Large 4 và Gemma 4 31B đều dưới 1%, trong khi GLM-5.3 và DeepSeek V4.1 Flash ở mức 15% và 16%.

Nous chọn Inkling của Thinking Machines Lab làm model giáo viên vì một model mở sẽ không vi phạm điều khoản dịch vụ cấm chắt lọc. Nvidia Nemotron 3 Ultra cũng từng vào danh sách, nhưng Nous nói có dấu hiệu bất thường ở các chủ đề liên quan Trung Quốc, và họ nghiêng về khả năng thiên lệch lan từ các model mở trọng số của Trung Quốc.

Thinking Machines cũng dùng các model, trong đó có Kimi K2.5 của Trung Quốc, cho dữ liệu huấn luyện tổng hợp của Inkling. Nhóm còn nói họ thấy dấu hiệu ô nhiễm tương tự trong các dự án của chính mình.

Nhóm huấn luyện Qwen3.8-27B bằng tinh chỉnh có giám sát trên khoảng 53 triệu token trong 2 lượt, không dùng học tăng cường hay tối ưu sở thích. Họ cũng loại các phần trùng giữa câu lệnh huấn luyện và kiểm tra trước khi làm.

Arete-27B sau đó đạt 2.98 về độ đúng sự thật, còn tỷ lệ câu trả lời mang tuyên truyền giảm xuống 0.9%. Riêng nhóm tự do ngôn luận, điểm tăng từ 0.89 lên 2.44 và tỷ lệ tuyên truyền giảm từ 60% xuống 1%.

Khi bật chế độ suy luận, Arete đạt 3.07, nhưng con số này mới dựa trên 2 trong 5 lần chạy. Trên Hermes Bench nội bộ, Arete đạt 65.60% so với 65.77% của model gốc, và Nous nói năng lực chung không giảm.