Google Ra Genie 4, Mô Hình Thế Giới Có Âm Thanh

Google cho biết Genie 4 có 4 thay đổi chính: thế giới thực hơn, cho phép cập nhật trải nghiệm bằng câu lệnh ngôn ngữ tự nhiên trong lúc mô phỏng, có thể tạo âm thanh, và dùng Gemini 3.8 Flash để hỗ trợ mô phỏng. Mô hình có thể tạo trải nghiệm dài khoảng 2 phút, tăng từ 1 phút của Genie 3.

Genie 4 mô phỏng cảnh từng khung hình theo thời gian thực thay vì tạo video hoàn chỉnh. Người dùng có thể di chuyển trong cảnh bằng bàn phím và điều khiển diễn biến bằng câu lệnh văn bản.

Mô hình cũng tạo âm thanh trực tiếp, gồm âm nhạc, âm thanh nền và đối thoại. Google nói mỗi thế giới có âm thanh nền riêng, như gió trong cây, và các nhân vật có thể nói chuyện với nhau, đồng thời phản ứng theo hành động hoặc sự kiện trong cảnh.

Google cho biết Genie 4 có thể thêm người mới hoặc vật thể mới, đổi thời tiết hoặc góc máy trong lúc đang chạy. Công ty cũng nói mô hình giữ được một cảnh ổn định trong tối đa 2 phút, dài gấp đôi Genie 3, và có vật lý tốt hơn cùng các nhân vật giống người hơn.

Gemini đóng vai trò như người chỉ đạo, lập kế hoạch các bước và kiểm tra từng khung hình trong khi Genie tạo hình ảnh. Trong một thử nghiệm gắn với Gemini Robotics, một model Gemini 4 Argon chia nhiệm vụ chơi cờ caro thành các bước để Genie 4 mô phỏng Apollo, robot hình người của Apptronik, chơi game này mà không có robot thật.

Google cho biết Genie 4 vẫn là model sớm và thử nghiệm. Công ty nói thế giới còn nhất quán trong các phiên ngắn, nhưng chi tiết hình ảnh có thể đổi và vật thể không phải lúc nào cũng còn nguyên trong các mô phỏng dài hơn hoặc sau nhiều lần đổi câu lệnh phức tạp.

Hiện tại, Genie 4 chỉ có cho người thử nghiệm được chọn trong bản xem trước nghiên cứu. Sắp tới, mô hình sẽ đến với người đăng ký Google AI Ultra trong app Project Genie, cùng các đối tác đã có quyền truy cập sớm vào Gemini API và Google AI Studio. Google cũng nói mọi video và âm thanh sẽ có dấu chìm SynthID.