新浪科技 股票

淘天推出 AptAvatar:两步生成,让数字人兼顾速度、动作与长时稳定性

市场资讯 10.29 10:34

(来源:网易智能)

介绍一件衣服,数字人需要边讲解边展开衣物、展示细节,再自然地收回双手。讲解持续几十秒甚至几分钟,人物的面容、服装和背景还要前后连贯。

这些看似自然的表现,给数字人视频生成提出了一组相互牵制的要求:动作要丰富,画面要稳定,生成还要足够快。对于内容制作方,三者共同决定了一段视频能否进入实际生产。

阿里巴巴淘天集团 TaoLive AIGC 团队推出的数字人生成框架 AptAvatar,以“面向业界即用”(Production-Ready)为目标,试图同时解决这些问题。

在保留140亿参数模型容量和720p 生成能力的基础上,AptAvatar 将每个视频片段的生成过程压缩至两步,支持通过文字提示控制人物动作,并改善长视频接续中的一致性。

与 InfiniteTalk 多步基线相比,AptAvatar 每个片段的模型前向评估次数从120次降至2次。论文据此报告了60倍推理提速,这一数字对应核心推理计算口径。

AptAvatar 结合人物参考图、语音和文字动作提示,支持细粒度动作控制与长视频生成。图中300秒、1000秒为长时生成展示,分钟级量化评估采用1分钟视频。

目前,在行业内全球首个流式交互视频生成评测榜单StreamEval中,AptAvatar 14B 以75.01分的综合得分位列第六。StreamEval由清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等海内外高校与机构联合发起,覆盖数字人对话、虚拟人表演、世界生成、指令编辑与参考编辑五类任务,共300个测试用例、涵盖38个模型。与既有基准相比,StreamEval 不只测 “生成质量”,更测 “交互能力”,将指令执行、状态一致性、视觉质量与音画协调纳入同一套可量化评测体系,让不同技术路线的模型在统一条件下完成测试。

让人物形象与动作共同服务于内容

不同内容需要不同的人物形象。AptAvatar 的生成结果覆盖写实人物与风格化角色:下图中,两组写实人物分别对应服装展示和长视频讲解,水墨3D 与新艺术3D 角色则呈现了不同的服饰、场景与美术风格。这为商品介绍、知识讲解和品牌内容提供了多样的视觉选择。

从左至右为写实人物服装展示、写实人物长视频讲解、水墨3D 角色与新艺术3D 角色。

人物形象确定之后,创作者还可以进一步安排表达方式。AptAvatar 将参考图、语音和文字提示结合起来:参考图提供人物外观,语音驱动说话表现,文字则用于描述手势和身体动作。展示衣物、轻抚头发等要求,可以直接写入动作提示。

例如,在服装展示片段中,人物需要一边讲解,一边向两侧展开衣物,再收回双手。这个动作需要同时处理手与衣服的接触、双臂姿态的变化,以及动作前后的自然衔接。人物的表情、手势和衣物变化,需要在连续画面中相互配合。

对创作者而言,这意味着脚本可以包含更具体的动作设计:介绍商品时如何展示,强调内容时如何配合手势,都可以通过文字提示交给模型。数字人的身体动作由此成为内容表达的一部分。

少步生成如何保留大模型的表现力

高质量视频生成通常需要多轮去噪计算,逐步形成清晰的画面结构与运动细节。将这一过程缩减至两步,模型就必须在更少的计算中完成原有任务。如何在提速后保留人物结构、手部细节和动作幅度,是少步生成的关键难题。

AptAvatar 保留了大容量模型、双向视频生成架构,以及每个片段约3秒的时间窗口,通过改进训练方法实现加速。

团队先训练一个四步生成器并固定其参数,将其最终生成结果的分布作为稳定参照,为两步模型提供额外指导。这项方法被称为端点锚定分布蒸馏(EADD)。它为两步模型设置了一个更容易接近的学习目标,与原有教师指导共同作用,帮助模型在减少计算步骤后保留人物与运动细节。

四步生成器的作用发生在训练阶段。实际生成视频时,运行的仍是两步模型,因此不会增加额外的四步推理过程。

AptAvatar 技术框架。端点锚定分布蒸馏支持两步生成,自生成历史回放改善长视频接续中的一致性。

内容制作往往需要反复调整台词、修改动作、比较不同版本。降低每个片段的核心推理计算量,为这些日常创作环节提高效率提供了基础。

长视频的稳定性来自持续接续的能力

长视频由多个片段接续生成。前一段的人物姿态、服装状态与背景布局,都会成为下一段画面的依据。一次轻微偏差如果被后续片段不断沿用,就可能逐渐表现为人物外观变化或场景漂移。

这与模型训练和实际生成时面对的历史画面有关。训练时,模型通常接触真实视频;实际生成时,它需要沿着自己的输出继续生成。模型能否适应这些并不完美的历史,直接影响长视频的稳定性。

AptAvatar 引入自生成历史回放(SGHR),保存较早模型版本生成的片段,并在后续训练中反复使用。模型因此能够从训练阶段就接触自身输出中的偏差,学习如何在这些条件下继续生成。

历史片段可以重复利用,每次训练更新只需生成当前片段,无需从头生成整条长视频。这让模型在练习长时间接续的同时,减少了反复生成长序列所需的计算。

同一段约48秒视频在第1、12、24、36、47秒的画面,呈现持续讲解中的人物、服装与场景。

上述连续帧呈现了人物在同一场景中的手势变化。对于商品讲解与知识课程,动作需要随内容展开,人物外观、服装和背景则需要前后连贯,长视频生成的价值也由此落到一段完整内容的呈现上。

面向业界即用检验生成能力

团队在自建测试集上评估了100条15秒短视频和20条1分钟长视频,并与 InfiniteTalk、Wan2.2-S2V、LongCat-Video-Avatar 1.5、LiveAvatar 和 SoulX-FlashTalk 五种方法进行比较。在两组测试已报告的各项指标中,AptAvatar 均取得最优结果,覆盖画面质量、人物与背景一致性、动作平滑性、时间稳定性和音画同步等维度。

在主观评估中,10名评审者对100条短视频的生成结果进行匿名、随机排序的比较,考察动作多样性、手部完整性和人物身份保持等方面。AptAvatar 获得62% 的偏好投票,占比最高。

面向实际内容生产,生成效率与画面质量需要共同衡量。动作能否符合脚本,人物能否在持续讲解中保持一致,以及多轮制作的计算负担,都会影响数字人的应用价值。AptAvatar 将这些要求纳入同一框架,让少步生成、动作控制与长时稳定性相互配合,为商品展示、知识讲解、品牌内容和虚拟角色制作提供技术支撑。这也是其 Production-Ready 定位的具体落点。

AptAvatar 由 TaoLive AIGC 团队金美光担任项目负责人,张恒源、孙敬娜为共同第一贡献者。论文与推理代码已公开。

项目主页:https://taoliveaigc.github.io/AptAvatar/

论文:https://arxiv.org/abs/2607.24013

GitHub:https://github.com/TaoLiveAIGC/AptAvatar

加载中...