新浪科技

刚刚,谷歌发布世界模型 Genie 4!会说话、懂物理,Gemini 亲自当导演

市场资讯 10.28 06:54

(来源:AI信息Gap)

谷歌的世界模型,刚刚学会开口说话了。

湖中间的平台上,一个身穿棕色西装的男人在吹萨克斯。

输入「一条鲸鱼尾巴浮出水面」,发送。几秒后,鲸鱼尾巴真的从湖里出现,溅起一片水花。再输入「开始下雪」,雪越下越密,在他的头发和肩膀上积了白白一层,萨克斯声一直没停。

这段视频里的每一帧,都是边玩边实时生成的。

今天,谷歌 DeepMind 正式发布新一代世界模型Genie 4。画面、角色、环境音,Genie 4 一口气全包,你按住 W 键朝前走,它就跟着往前实时生成。

世界模型是什么?谷歌 DeepMind 研究副总裁 Raia Hadsell 这样解释。「Gemini 这类语言模型,处理的是知识和语言;世界模型面对的是一个具体的环境,它得记住这个世界此刻的样子,还得计算出物体碰撞在一起、你迈出一步以后,世界会怎么变化。」

去年 8 月,谷歌发布上一代世界模型 Genie 3,第一次做到了逼真、3D、实时。今年 1 月,试玩网站 Project Genie 上线,只开放给 AI Ultra 会员,单次体验最长 60 秒,基本只能走走跳跳。这一代 Genie 4 画面更逼真,角色会动也会接话,打字就能一键修改剧情,后台还有 Gemini 当导演。

网友调侃,「GTA 6 还没来,GTA 7 先到了。」

01|边玩边改

Genie 4 最直观的变化,是能边玩边改。

你随时可以打字,换种天气、加个角色、移动镜头。Gemini 会先把你的话改写得和周围的画面对应得上,再交给 Genie 4 去生成。你不打字的时候,Gemini 也在盯着场景,推动着故事向前发展。

输入「一颗流星划过天空」,流星就划了过去;再输入「它按下一个琴键」,它低头去啄雪地上的电子琴。

谷歌 CEO 皮查伊亲自为 Genie 4 站台,下面这个是他分享的案例。

你以第一视角骑着摩托,停在海边公路的红灯下,输入一句「绿灯亮了」,发动机轰鸣起来,摩托沿着海岸线冲了出去。指示灯颜色变了以后该发生什么,是 Gemini 推演出来的。

02|西瓜会碎,人也更像人了

物理规律这一块,Genie 4 现在也能较为轻松地拿捏了。

花园石台上摆着一个西瓜,输入「把一尊沉重的白色大理石像砸到西瓜上」,石像落下,西瓜当场炸开,红瓤和碎皮溅出了石台。

更大的进步是人物。

DeepMind 用同一句提示词做了一组对比,画面是一个穿粉色西装的男人走过剧院后台。Genie 3 那一版,配角要么杵着不动,要么动作别扭;Genie 4 这一版有了舞台追光,旁边的演员还能和他对戏。

Genie 3(左)vs Genie 4(右)

Genie 4 这么逼真,很大一部分要归功于它的底座模型。它是基于谷歌的视频大模型 Gemini Omni 构建的。

03|世界有了声音,角色还会接话

这是 Genie 系列模型第一次自带声音。

Genie 4 的画面和声音,是同一个模型一起生成的。现实世界的视频本来就带着同步的声音,模型学到的就是这样一个有声的世界。

环境音只是开始,更有意思的是角色会说话。

80 年代的火车站,输入「站务员提醒乘客」,身穿深蓝制服的站务员走到镜头前,开口播报,「小心站台边缘,下一班车两分钟后发车。」

换成 1995 年的香港文艺片,一对小情侣在黎明时分骑摩托过桥。输入「他回头看,她问他觉得能不能逃出去」,后座的女生真的开口说,「你真觉得我们能逃出去吗?」继续打字,远处的城市开始爆炸,巨大的触手从楼群里伸了出来。

04|Gemini 在后台当导演

能接住这么多临时加的戏,靠的是后台的 Gemini 模型。

为了保证实时性,DeepMind 选择了 Gemini 3.8 Flash 当导演。Genie 4 生成画面的同时,Gemini 一直在观察,把目标拆解成一个个小步骤,再盯着新生成的画面,确认每一步有没有完成。你中途插手,它就当场修改计划。演示界面右上角那块「推理步骤」面板,就是它实时列出的计划。

魔杖这段演示,最能看出 Gemini 这个导演的作用。

你以第一视角手握一根魔杖,屋里摆满了动物造型的瓷器,木箱里站着一只真孔雀,挥一下,孔雀变成三花猫,再挥一下,猫变成一台老式收音机。推理面板同步写着,变身已经完成,场景稳定,可以互动的道具都保留着。

谷歌还用此前发布的 Gemini 4 Argon 测试了一个更难的任务。

Argon 把「下一盘西洋跳棋」拆解成 20 多步文字指令,Genie 4 生成画面,人形机器人隔着桌子和真人对弈,伸手、捏住棋子、落子。

Argon 拆出来的步骤(左)和 Genie 4 生成的画面(右)。

Genie 4 有一个超强用法,「生成机器人的训练数据」。

谷歌 AI Studio 产品负责人 Logan Kilpatrick 讲述了自己第一次去机器人实验室的感受。要让机器人摆好姿势干活,需要一遍遍调试、暂停、重来,像拍电影一样。同样的场景放到 Genie 4 里模拟,快得多,也便宜得多。

Genie 的下一步,是「混合世界模型」。

现在最强的编程模型已经能写出一整个 3D 游戏,谷歌 DeepMind 计划下一步让代码和像素合体。代码在后台记住世界的状态,你去山坡上逛一圈回来,房子还是你走时的样子;像素负责那些说来就来的变化,比如一条龙突然飞过,整个世界一下子变成水彩画。

05|还撑不了一整局

世界模型,最要命的是时长。

Genie 4 目前只能支持几分钟的连续互动,玩得越久、改得越多、走得越远,画面细节越容易走样。

比如 DeepMind 访谈现场就小小的翻了个车。

他们带着主持人逛 Genie 4 生成的餐厅后厨,Logan 盯着两个长得一模一样的厨师问「这俩是双胞胎吗」,嘉宾马上接话,「你转个身,还能再冒出三个。」

06|什么时候能玩

Genie 4 现在还是研究预览版,只开放给一小批特邀测试者。

谷歌官方称 Genie 4 很快会在 Project Genie 上线,优先开放给 AI Ultra 会员;Gemini API 和 Google AI Studio 的早期合作伙伴也能用上,这是 Genie 第一次开放 API。具体哪天还没公布,据报道是未来几周。

加载中...