10月28日消息,据外电报道,谷歌 DeepMind 于周二发布全新世界模型 Genie 4,开启研究预览版本。这款最新模型能够生成目前拟真度最高、可交互的虚拟世界,用户可以在模拟运行的过程中输入提示词,实时修改场景。模型还能同步生成和虚拟世界匹配的实时音频,包含背景音乐、环境音以及交互式对话。
(资料图)
就在 Genie 4 发布的数月前,AI 视频初创公司 Runway 推出第二款世界模型 GWM Worlds 2。该模型支持交互游玩,可响应用户操作并同步生成音频。与此同时,世界模型赛道开始迎来行业整合:李飞飞创立的 World Labs 将被 AMD 收购;亚马逊正洽谈收购 Decart;Rivian 刚刚收购 Third Dimension,自研仿真工具用于自动驾驶测试。
推出 Genie 4,是谷歌在竞争激烈的赛道中巩固领先地位的最新动作。
一年多前,谷歌就以研究预览形式上线了前代模型 Genie 3。相比前代,Genie 4 画面拟真度大幅提升,新增音频能力,还支持自由编辑:比如实时切换天气、调整镜头角度,或是在场景里新增人物、物品。它最长可以维持两分钟连贯统一的场景画面,时长是 Genie 3 的两倍;物理仿真效果更强,虚拟人物也更加拟人。
谷歌大模型 Gemini 和 Genie 4 实现了更深层的联动:Gemini 充当 “导演”,负责规划步骤、校验画面,Genie 4 则负责生成视觉内容。在一项和 Gemini Robotics 相关的研究实验中,Gemini 4 Argon 模型把任务拆解成分步指令,交由 Genie 4 实时仿真。该实验证明,未来可以先在虚拟仿真环境里测试机器人方案,再落地到现实世界。
谷歌研究总监特贾斯・库尔卡尼在简报会上表示:“未来我们会越来越多地看到这类混合式世界模型:Gemini 负责编写代码、生成文本,Genie 实时读取这些指令,在不同抽象层级上仿真现实世界。”
和其他世界模型类似,它的商业化方向包括游戏、交互式教学以及机器人研发。交互式学习的一个设想场景:用户进入一幅描绘历史事件的画作当中,和画中人物对话,了解这段历史。
而首批受邀测试谷歌前沿产品的 “可信测试用户”,挖掘出了一个全新潜在用途:电影前期样片快速原型制作。
谷歌 DeepMind 工程师迭戈・里瓦斯在发布会中提到:“实时渲染的价值,在需要保持创作连贯性的场景里尤为突出。比如创意构思阶段、分镜脚本阶段 —— 所有需要快速迸发创意的环节,它都能派上用场。”
谷歌另有 AI 视频生成模型 Veo,可以根据文本、图片或视频指令生成高清短片,并自动配上同步音频,目前已经受到不少影视创作者欢迎。
里瓦斯补充说,未来用户可以依托多模态大模型 Gemini Omni(支持根据图片、音频、文字生成视频),把这些仿真原型转化为正式的创作素材,不过这套完整能力距离落地还有一段时间。
在整场简报中,里瓦斯反复强调 Genie 4 仍处在早期研发阶段,最终完整产品形态还没有确定。团队也坦言模型尚存短板:仿真时间越长,画面细节、物体就越容易出现畸变偏移;同时,如何保证音频准确、场景内文字清晰可读,依旧是待攻克的难题。
目前 Genie 4 仅面向可信测试者开放研究预览。未来几周内,该模型将逐步开放给 Google AI Ultra 订阅用户(在 Project Genie 工具内使用,Project Genie 是谷歌用于图文生成交互式世界的 AI 工具),以及 Gemini API、Google AI Studio 的早期合作开发者。