对接说明

1,模型准备和绑定标准

(1)需要准备绑定完毕的模型FBX文件。

(2)对于模型的身体骨骼结构,我们插件提供了基础的数据重定向功能,可以重定向绝大部分的人形骨骼。

(3)对于脸部绑定,我们使用的是苹果ARKIT 52个blendshape的标准,需要需求驱动表情和口型的,就需要符合这个绑定规范。

2,新建Unity项目,选择“3D核心模块”模板,创建项目,稍等片刻项目就创建成功。

图片

3,新建项目成功后,导入 MotionverseSDK,点击“import”即可

图片

4、点击Assets/MotionverseSDK/Samples场景,可以查看使用Sample

图片

5、选中“TokenClient”,然后在Inspector里面进行信息设置。Region根据你的地区来选择,这里要注意你的账号注册地址也要是一致的地区。然后输入创建好的App ID和Secret Key。

图片

App ID 和 Secret Key可以在motionverse.deepscience.cn 注册后从创建应用获取。 图片

6、Player组件进行参数配置,您可以调整声音动作类型等内容。可调参数如下:

VoiceName 为TTS音色名称:详情

Voicespeed 为合成声音速度,默认值50,范围0-100

VoiceVolume 为合成声音音量默认值50,范围0-100

Voice FM 为合成声音音调,默认值50,范围0-100

BodyMotion 为动作类型:详情

FaceType 表情驱动类型 1:语音驱动;2:音素驱动。音素驱动效果更好,口型咬合更准确。

Body Head X Rot 为角色在播放生成动作的时候,控制抬头或者低头,负数为抬头,比如 -10;

Left Hand Offest

Right Head Offset

Head Rotation Offset

这三个参数,为重定向的时候,调整重定向的头手位置信息使用

7、点击对应按钮,就可以调试数字人驱动了。注意:如果此前Region选择的是EN_US,则无法使用Question and answer。

图片

如果您需要使用自己的数字人,需要进行以下重定向步骤,流程如下:

1、配置重定向参数,对于有重定向需求的模型,需要配置模型的骨骼映射关系。

图片

此处配置好后,会自动支持重定向功能,数据可以直接对数字人进行驱动

2、在有表情BS的部分,加入Face Animation Handler

图片

当您熟悉数字人插件后,就可以根据自己的需求去开发数字人应用了!

可以参考 Sample.cs 图片

TextDrive : 输入文本,会返回合成的语音、动作和表情,驱动数字人

AudioUrlDrive: 输入音频的URL,返回动作和表情,驱动数字人

OnNLPDrive:输入问题文本,会返回答案的语音、动作和表情,驱动数字人

多次调用会按调用顺序播放

GetDrive(driveTask, false) // 顺序调用播放 

GetDrive(driveTask, true) // 提前播放 

开始播放回调   player.OnPlayStart

播放完成回调   player.OnPlayComplete

播放错误回调   player.OnPlayError

播放暂停        player.StopPlay();

备注:问答部分,在motionverse.deepscience.cn 后台对应ID的产品中配置 图片

注意:对于Unity2022 版本,需要在Player设置中允许Http下载 图片

results matching ""

    No results matching ""