Motionverse SDK产品介绍

V3.0 2023-6-8

一、Motionverse 简介

Motionverse是一款多模态实时驱动虚拟数字人的业务中台,主要面向有二次开发能力的行业开发者,用AI动态生成的方案,提供SDK和管理后台,解决产品和终端的虚拟数字人驱动问题。 元宇宙世界中,每个人都有自己的数字分身,也会有大量的AI数字人做为新的交互方式出现,虚拟数字人的数量将会数倍于人类的数量,传统的动作制作和动作捕捉技术方案,已经无法满足数以百亿计的动作表情需求,通过各种不同的输入情况,智能的实时的来生成所需要的动作表情和口型,这个就是Motionverse定义的多模板实时驱动解决方案。 Motionverse使用人工智能技术,利用高质量、大规模数据集,以音频源、文本源输入、传感器输入、语义输入、脚本输入等等,通过AI生成数字人的身体动作数据、面部表情数据,以及口型数据。 Motionverse做为中台产品,以API/SDK的方式,开放性的向行业提供解决方案,无论是元宇宙社区,还是新添数字人的App,或者线下大屏,VR/AR设备,只要有数字人的地方,就可以让驱动起来变得更简单,更实时,更低成本。

二、Motionverse产品能力原理

1、核心AI生成能力- 动作表情生成(Audio to Motion) AI生成动作表情和口型,是基于机器学习的神经网络模型。这种方法不需要针对数据提取特定类型的音素,得益于神经网络的强大的函数拟合能力,可以直接将音频数据映射到表情、动作和口型中。 对于使用神经网络的方案来说,最重要的是选择合理的数据表示以及网络结构,我们使用 mesh 的方法来进行动作和表情的表示,网络结构则使用卷积神经网络。 卷积神经网络已经在计算机视觉领域证明了它提取特征的强大能力,而语音特征转换为频谱后可以用卷积神经网络来处理,用于处理语音频谱特征,较好的解决了时序信息依赖和生成模式单一的问题。 对于表情和口型来说,使用 51 个 blendershape数值来表示脸部的动作,神经网络的输出是这 51 个 blendershape 的权重,通过组合这些 blendershape 的值,可以得到脸部表情和口型合理表示。 对于身体动作来说,模型输出的是关节点的旋转,这里采用四元数来表示,在使用时,将模型输出的值按特定的顺序赋给角色骨骼即可。 多模态风格化动作数据解析和生成依赖于高质量大规模数据集,随着搭建精巧高效深度学习网络结构和不停录入训练数据,基于 transformer 架构的生成网络非常便捷高效的完成了从音频到动作、表情和口型的任务。 图片 2、云渲染能力 Motionverse除了大量AI能力外,因为其围绕的3D数字人领域展开服务,必不可少的提供了3D渲染相关的能力。云渲染把渲染任务提交到云端,云端的服务器会来完成渲染工作,整个渲染不占用本地的任何算力,对本地系统资源没有任何要求,还提高了工作效率,让实时渲染终究可以跨越引擎、版本以及渲染模式,随用随取,多设备、多显卡、多服务器自动分配,自动均衡。

三、Motionverse产品架构

图片 上图表述了Motionverse的产品中台结构,多模态的输入后,进入到Motionverse平台,通过AI Creator的过程,得到生成的数据,提供给各个产品和终端,用于驱动虚拟数字人。 其多模态输入方式,包含可能的各种输入,包括语音、文本、传感器、控制器、脚本等等多种方式 图片 下述列举一些常见的输入到生成的使用场景 输入一段语音文件,中台生成并返回动作数据文件 通过麦克风实时输入语音,中台实时返回动作数据流 输入一段文本,中台通过AI转化合成为语音,并返回动作数据文件 通过6个传感器,输入传递头、手、脚的信息,中台生成全身的动作 通过3个传感器,输入头和手的信息,中台猜测并生成全身动作 通过输入视频文件,中台提取视频,生成动作 通过输入控制器指令,中台生成对应的动作和表情

基于Motionverse的产品架构,通过多模态的输入信息,进行动作表情生成,结合各种数字模型,可以通过云端渲染完成最终输出。Motionverse在接收到输入后,可以完成从数据生成,到渲染相关的数字人整个工作流 图片

四、Motionverse四个层次的能力输出

Motionverse在接收到输入后,可以完成从数据生成,到渲染相关的数字人整个工作流。开发者可以轻松从中获取 图片 1、动作表情生成数据输出 适用于已有数字人模型的产品,直接管理场景,应用数据,使用Motionverse最核心的能力,获取动作和表情数据。 有播报和问答两个场景,播报是根据输入的内容,进行播报动作、口型和表情,并播放对应语音。问答是根据配置好的问答库,根据输入得到答案,并生成动作、口型和表情,并播放对应答案的语音。

2、数字人模型 + 动作表情生成数据输出 适用于没有自己数字人模型的产品,可以使用Motionverse捏脸工具或者模型库的方式,从Motoinverse的资产中,获取对应的数字人模型,然后再获取对应的驱动数据。 整个模型的驱动数据来自于Motionverse中台,渲染是在本地利用本地自身算力完成。

3、数字人模型 + 动作表情生成数据 + 云渲染输出 适用于本地算力不足,或者显示质量非常高的如超写实角色的使用场景。 在本层次输出中,一方面模型和驱动数据都来源于Motionverse中台,另外一方面,也使用了Motionverse的云渲染能力,利用云端的渲染资源,完成了驱动和渲染所有工作,本地媏直接拉取视频流即可。 图片

4、定制工作流 根据用户需求,完全自定义定制独立的工作流

results matching ""

    No results matching ""