Meta Ra Muse Glimmer 30B, Zuckerberg Công Bố Bài Luận AI Dài 6.500 Chữ

Muse Glimmer là model 30 tỉ tham số mà Meta giới thiệu hôm thứ Hai, được tối ưu để chạy trên máy cá nhân. Công ty cho biết sau khi nén trọng số bằng kỹ thuật lượng tử hóa, dung lượng của model giảm xuống dưới 20 gigabyte, nên có thể chạy trên máy tính hoặc Mac với một GPU tiêu dùng.

Meta cho biết Glimmer hỗ trợ văn bản và hình ảnh, được huấn luyện trên hơn 100 ngôn ngữ và thiết kế để vận hành các agent thực hiện tác vụ nhiều bước, như gọi công cụ, viết và gỡ lỗi mã, làm việc với file và ảnh chụp màn hình, và thực thi các công việc theo quy trình kéo dài. Công ty mô tả model có thể chạy 'luôn bật' trên thiết bị người dùng, có hoặc không có kết nối internet.

Trước khi phát hành mở, Meta huấn luyện Glimmer bằng dữ liệu do Muse Spark tạo ra, rồi tinh chỉnh model qua hai lần huấn luyện bổ sung để cải thiện khả năng xử lý prompt dài và nâng khả năng phục vụ agent. Meta cũng áp dụng phương pháp giải mã suy đoán gồm một model 'drafter' trước, rồi xác thực và tinh chỉnh câu trả lời trước khi trả về người dùng.

Glimmer được phát hành dưới dạng trọng số mở cho phép tải về và sửa đổi, với giấy phép Apache 2.0. Việc này phù hợp với luận điểm Zuckerberg trình bày trong bài luận dài 6.500 chữ có tựa 'The Future is for Everyone', trong đó ông kêu gọi phát triển hạ tầng bền vững, ủng hộ model trọng số mở và cam kết một quỹ 1 tỉ đô la để đầu tư vào cộng đồng nơi Meta vận hành trung tâm dữ liệu.

Trong bài luận, Zuckerberg trình bày ý tưởng đưa 'personal superintelligence' tới hàng tỉ người và doanh nghiệp nhỏ, nói rằng công nghệ nên được cung cấp 'miễn phí hoặc với chi phí phải chăng' và nêu đề xuất về chính sách liên quan tới việc tinh luyện và sử dụng dữ liệu. Ông cũng thảo luận về an ninh, quy định với model mã nguồn mở và cam kết bồi thường môi trường nước tại lưu vực nước nơi công ty hoạt động vào năm 2030.

Các nhà báo và phân tích ghi nhận Glimmer là phiên bản mở của Muse Spark, model đóng mạnh hơn mà Meta ra mắt trước đó. Meta cho biết mẫu Glimmer là bước khởi đầu trong chiến lược tiếp tục phát hành model mã nguồn mở và cho biết sẽ sớm có bản trọng số mở khác từ bộ Muse.