6月17日,阿里发布可实时构建和交互的开放式世界模型产品HappyOyster 1.0(快乐生蚝1.0),该产品深度学习物理世界状态转移规律,能主动推演从动作到反馈的因果链,并保持人物和环境的长程一致性。HappyOyster 1.0具备世界探索(Adventure)和实时导演(Directing)两大核心能力,并升级了交互功能,新增攻击、跳跃、剧情回溯、剧情分支等操控能力,用户仅需一句话或一张图,就能生成可互动、可探索、可实时改变的AI数字世界。HappyOyster 1.0可广泛应用于交互式游戏、虚拟陪伴、互动短剧、文旅体验、直播等行业,目前官网已开放用户注册体验,官网地址https://www.happyoyster.cn。
图示 HappyOyster 1.0官网
区别于文生视频模型从输入文字到生成视频的单向操作,HappyOyster 1.0能让用户完成丰富的实时互动,并支持用户在任意节点介入,改变数字世界的走向。上述差异源自模型学习目标的不同,文生视频模型的学习目标是文本到视频的单向映射,而世界模型的学习目标是从“当前状态/动作”到“下一状态/动作”的转移规律。相较于大语言模型日趋成熟的架构与范式,世界模型仍属于新兴赛道,而HappyOyster 1.0已在探索该赛道的前沿,它从海量自然视频中学习现实里人物、事物和环境的演变,自主推演从动作到反馈的因果链,从而能自然迁移到没见过的场景,根据用户指令推理出新的因果,并维持数字世界的长程稳定和音视频的长时协同。
相较上一版,HappyOyster 1.0在交互能力上做了优化升级。在世界探索模式下,用户输入一句话或上传一张图,就能生成可深度探索的数字世界,通过新增的前冲、下蹲、跳跃、攻击等操控按键,丰富人物的运动轨迹,并支持载具驾驶与武器战斗等复杂物理交互;实时导演模式赋予了用户“上帝视角”,通过新增的暂停、回溯与分支叙事能力,用户能在体验过程中的任意节点暂停,并回跳至剧情中的关键节点,输入新的提示词来改变剧情走向,实现了用低成本让同一开局衍生出无限可能。目前,世界探索模式支持长达1分钟的连续实时位移与镜头控制,实时导演模式支持生成3分钟以上的480p或720p实时画面,且两个模式的生成内容均能一键分享。
HappyOyster 1.0正在探索下一代多模态的互动内容形态。在交互式游戏领域,开发者无需耗费数周甚至数月写代码、做测试,通过上传图片和输入提示词,就能在HappyOyster 1.0上快速生成符合物理规律的开放世界原型、角色交互和各类战斗场景;在互动短剧、虚拟陪伴或直播场景中,用户通过自然语言指令,就能构建人物和剧情,并能在任意节点改写画面、角色、剧情走向,把传统的线性叙事转化为用户掌握主动权的互动体验;在文旅领域,HappyOyster 1.0能为游客提供沉浸式的探索体验,不仅能生成具备稳定一致性的数字人IP,还可以让游客决定游览路线,甚至步入深海、月球等奇幻场景。
世界模型的发展仍处于早期阶段,业界缺乏可量化的测评标准。目前,HappyOyster团队联合南京大学,正在着手打造首个覆盖过程交互、跨模态对齐、长程一致与物理仿真验证的行业基准,旨在填补世界模型测评标准的空白。据悉,HappyOyster 1.0近期还会全面开放API接口,携手各行各业共建世界模型的新生态,全面释放世界模型生产力。即日起,每日登录HappyOyster 1.0官网即可免费领取积分,体验可实时交互的数字世界。