谷歌推出最强世界模型 Genie 4:一句话创造可交互虚拟世界,首次实现音视频同步生成
The Block
1小时前
Ai 焦点
谷歌 DeepMind 周二推出最新世界模型 Genie 4,目前处于研究预览阶段。该模型可生成拟真度更高、可交互的虚拟世界,并能同步生成实时音频;谷歌同时介绍了其与 Gemini 的集成、潜在商业化场景以及当前仍存在的局限。
有帮助
No.帮助

IT之家 10 月 28 日消息,谷歌 DeepMind 于周二推出了最新的世界模型 Genie 4,目前处于研究预览阶段。这款最新模型能够生成迄今为止拟真度最高、可交互的虚拟世界,用户可以在模拟运行的过程中输入提示词来修改场景。该模型还能生成与虚拟世界同步的实时音频,涵盖音乐、环境音以及可交互对话。

IT之家注意到,就在 Genie 4 发布的数月之前,AI 视频初创公司 Runway 推出了自家第二款世界模型 GWM Worlds 2,这是一款可交互运行的模型,能够对用户输入做出动态响应,同时支持音频生成。与此同时,世界模型赛道开始出现整合趋势。李飞飞(Fei-Fei Li)创立的世界实验室(World Labs)被 AMD 收购,亚马逊正在洽谈收购 Decart,而 Rivian 刚刚收购了 Third Dimension,以此在内部搭建仿真能力,用于自动驾驶测试。

推出 Genie 4,是谷歌为在竞争激烈的赛道中保持领先而采取的最新举措。

一年多前,谷歌就以研究预览的形式发布了前代模型 Genie 3。除了画面拟真度大幅提升并新增音频能力之外,Genie 4 支持自由形式的编辑操作,比如实时调整天气、镜头角度,或是新增人物与物体。其最长可以维持两分钟连贯不变的场景,时长是前代模型的两倍,物理效果表现更好,虚拟人物也更加贴近真人。

谷歌的大模型 Gemini 和 Genie 4 的集成度也进一步提高,Gemini 相当于导演,负责规划步骤、校验画面帧,Genie 4 则负责生成视觉内容。在一项和 Gemini 机器人项目相关的研究实验中,Gemini 4 Argon 模型把任务拆解成多个步骤,再由 Genie 4 进行实时仿真。这项实验展示了一种可行方案:在真实世界开展机器人测试前,先在仿真环境里验证相关场景。

谷歌研究总监特贾斯 · 库尔卡尼(Tejas Kulkarni)在一场简报会上表示:“未来我们会越来越多地见到这类混合式世界模型,由 Gemini 编写代码和文本,Genie 4 实时读取这些内容,在不同抽象层级上对现实进行仿真。”

和其他世界模型一样,其主推的商业化落地场景包括游戏、交互式学习以及机器人领域。交互式学习的一个设想案例是,用户进入一幅描绘历史场景的画作当中,和画中的人物交流画里记载的事件。

不过,“可信测试者”也就是首批能够体验谷歌前沿产品的用户,发现了一个潜在新用途:电影原型制作。

谷歌 DeepMind 工程师迭戈 · 里瓦斯(Diego Rivas)在媒体简报会上说:“实时特性的价值,在需要维持连贯创作思路的场景里体现得尤为突出。比如创意构思阶段、分镜脚本阶段,所有需要快速迸发创意的环节都适用。”

谷歌还推出过 Veo 这款 AI 视频生成模型,可以根据文本、图片或者视频提示词生成高清短片,自带同步音频,这款工具在影视创作者群体中热度持续上升。

里瓦斯补充说,用户未来有望借助 Gemini Omni 这款多模态大模型,把原型素材转化为正式创作资产,Gemini 全模态可以基于图片、音频和文本来生成视频。不过他也提到,这些能力距离落地还有一段距离。

整场简报会上,里瓦斯反复强调 Genie 4 仍处在发展早期,完整产品最终会是什么样的体验还没有定论。团队也承认 Genie 4 仍存在短板:仿真运行时间越长,细节和物体就越容易出现偏移,团队还没有找到稳妥的办法,保证音频准确无误,同时让虚拟世界里的文字清晰可辨。

目前 Genie 4 已经面向可信测试者开放研究预览。未来几周内,该模型会陆续向谷歌 AI Ultra 订阅用户、Genie 项目开放,Genie 项目是谷歌推出的 AI 工具,可以根据文本或图片提示词生成可交互虚拟世界,Gemini 应用程序接口(API)和谷歌 AI Studio 的早期合作方也会获得使用权限。

打赏
$0
点赞
0
收藏
0
浏览量 16
HKWDB提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
印度投资者涌向英伟达、SpaceX、苹果 本地交易应用开放美股交易
随着印度本地投资平台向散户开放美股交易,越来越多印度投资者开始买入英伟达、SpaceX、苹果等美国公司股票,以在本国市场表现不佳之际分散配置全球资产。
CNBC
·2026-10-28 08:20:46
5
苹果 iPhone Duo 因屏幕裂痕遭网友群嘲
苹果备受期待的折叠手机 iPhone Duo 刚上市就有早期用户反映屏幕折痕处出现裂痕,部分机型还伴随内屏一侧出现亮线。苹果表示受影响的是“小部分”设备,并建议用户联系 AppleCare 更换。与此同时,社交媒体和加密圈也围绕这款手机制作了大量梗图。
Businessinsider
·2026-10-28 07:51:52
13
CADC Reserve Trust称已收到最终招股说明书收据并可通过SEDAR+查阅
CADC Reserve Trust表示,安大略省证券委员会已就其最终招股说明书出具收据,CADC这一与加元挂钩的区块链代币可通过授权参与方在加拿大各地发行。
PR Newswire
·2026-10-28 07:51:48
21
父母起诉 OpenAI,称 GPT-4o 诱导女儿停用癫痫药物
据《纽约时报》报道,31 岁的亚马逊软件工程师 Bowen Wan 去世后,她的父母起诉 OpenAI,称 ChatGPT 在她停用癫痫药物的过程中提供了建议,并让她向医生隐瞒用药调整。OpenAI 表示案件“令人非常心碎”,但涉及的是较旧版本的 ChatGPT。
TechCrunch
·2026-10-28 07:41:19
15
10月28日美股成交额前20:科技股多数上涨 波音财报不及预期跌超10%
周二美股成交额前20中,科技股多数上涨,Meta、英伟达、特斯拉、AMD、博通等均有相关消息;波音因第三季度亏损超预期大跌10.69%。
The Block
·2026-10-28 07:41:16
16
查看更多