图像与视频 / 海外
Google DeepMind 发布 Genie 4 研究预览:交互世界加入原生音频
Genie 4 将实时世界模拟、环境音和角色对话结合,并允许用自然语言修改场景。当前仅向受信测试者开放,Google AI Ultra 与开发者入口仍处于后续提供计划中。
场景随输入持续变化
Google DeepMind 介绍,Genie 4 可同时生成画面、音乐、环境声音和互动对话,用户可以在模拟运行时改变天气、镜头或加入人物与物体。Gemini 系列参与推理和场景引导,帮助把目标拆成步骤,并根据后续画面调整计划,使交互不再只依赖最初的一次提示。
应用方向与实验定位
官方展示了影视预演、互动体验原型及机器人训练场景等方向。创作者可以先在模拟中尝试不同镜头、动作和环境,再判断哪些设想值得进入正式制作。当前仍是早期实验模型,官方明确指出,运行较久或多次复杂修改后,视觉细节和物体恒常性仍可能发生漂移。
谁可以使用
研究预览首先面向受信测试者,Project Genie 的 Google AI Ultra 用户以及部分 Gemini API、AI Studio 合作方属于后续开放对象,并非全部用户已经可用。官方还列出空间准确性、复杂物理交互、文字渲染及实时音频等研究难点,生成音视频将包含 SynthID 水印。