Nvidia Phát Hành Nemotron 3.5 Transcribe Cho Chép Lời Đa Ngôn Ngữ

Nemotron 3.5 Transcribe xử lý âm thanh bằng câu lệnh. Công ty nói model có thể chép lời 40 ngôn ngữ, dịch 31 ngôn ngữ trong số đó sang hoặc từ tiếng Anh, nhận diện người nói trong 13 ngôn ngữ, đồng thời làm việc với bản ghi dài tới 1 giờ và tối đa 8 người nói.

Model này có 30 tỉ tham số, trong đó khoảng 4 tỉ hoạt động ở mỗi bước xử lý. Nvidia nói nó chạy trên một chip Nvidia duy nhất, từ Jetson AGX Thor, DGX Spark đến chip trung tâm dữ liệu Blackwell.

Nvidia cho biết trên bảng xếp hạng tiếng Anh của Hugging Face, Transcribe đứng đầu trong nhóm model mở với tỉ lệ lỗi từ trung bình 5,33%. Trên phép đo của Artificial Analysis, model đạt 2,81%, gần với Voxtral Small ở mức 2,77%.

Ở phần nhận diện người nói, VoiceArena thử 14 hệ thống trên các cuộc trò chuyện có khi lấn lời nhau, và Transcribe đứng đầu. Trên phép đo của David AI cho việc gắn người nói trên 21 ngôn ngữ, model này cũng có tỉ lệ lỗi thấp nhất.

Cùng với model, Nvidia phát hành Granary v2, tập dữ liệu gồm khoảng 844.000 giờ lời nói trong 48 ngôn ngữ, tăng từ khoảng 643.000 giờ trong 25 ngôn ngữ ở bản trước. Mỗi bản ghi có nhiều kiểu phiên âm, và Nvidia cũng chia sẻ bộ công cụ dùng để tạo tập dữ liệu này để nhà phát triển có thể chạy trên dữ liệu của họ.

Nvidia nói người dùng có thể đưa thêm thuật ngữ kỹ thuật như tên thuốc làm gợi ý. Công ty cũng thử tinh chỉnh model trên các bản ghi của bác sĩ và sinh viên y khoa Ấn Độ, với kết quả 11,8% tỉ lệ lỗi từ trên phép đo Eka Care khi tinh chỉnh cho công việc chuyên biệt.