动态同步
最終更新: 2023年10月17日
通过使用动态同步功能,您可以实现与声音相匹配的逼真的嘴部动作。
该功能将指定的语音数据转变为时间序列的视音素信息,并通过混合预设的各视音素的相应形状自动生成嘴部动态。
* 我们正在分发处理动态同步的范例模型“Kei”,欢迎使用。
显示设置对话框
单击[参数]面板的面板菜单 → [动态同步设置]。
或者,您可以从[建模]菜单 → [参数] → [动态同步设置]显示对话框。
关于动态同步设置
编号 | 项目 | 细节 |
---|---|---|
① | 菜单 | 显示各种菜单。 更多详细信息在此页面的“菜单详细”中进行说明。 |
② | 读取音频 | 导入音频文件(.wav)。 |
③ | 返回顶部 | 将音频倒回开头。 |
④ | 播放/停止 | 根据动态同步设置移动置入视图上的模型的嘴部时播放/停止音频。 |
⑤ | 循环 | 打开/关闭循环播放。 |
⑥ | 动态同步设置 | 您可以追加、编辑关联到模型的动态同步设置。 |
⑦ | 采样率 | 设置每秒采样的声音元素数量。 值越高,分析结果越精细,但振动和分析误差也越大。 例如,在快速语音的情况下,将其增加到60左右将使动态更适合语音。 |
⑧ | 混合率 | 您可以设置声音元素的混合程度。 值越小,权重最高的声音元素就越能决定形状。 值越大,则为按权重混合所有声音元素的形状。 |
⑨ | 平滑化 | 这是一种平滑化音频分析结果以减少振动的设置。 值越高,动作越平滑。 |
⑩ | 音频分析类型 | 选择用于音频分析的工具库。 * 目前只能选择[口形同步(CRI LipSync)]。 口形同步(CRI LipSync): 与所有平台兼容。 |
⑪ | 预置 | 预先设置了[映射设置]、[声音元素]和[参数]的预置。 您还可以从[追加]追加您自己的预置。 |
⑫ | 映射设置 | 针对每个声音元素设置参数值。 |
⑬ | 声音元素 | 您可以设置从音频数据分析的元素。 |
⑭ | 参数 | 您可以设置控制动态的参数。 |
关于音频文件
Tips
音频文件只能以[WAV格式]导入。
即使是[WAV格式],也有一些格式不支持,可能会显示警告,且无法导入。
在这种情况下,可以通过编码到相应的[WAV格式(16bit、44100Hz)]来进行导入。
注意事项
由于音频在分析过程中被转变为单声道,因此立体声音频可能不太准确。
另外,低音量音频可能无法正确识别,因此在这种情况下,请提前调整音频文件的音量。
采样率
设置每秒采样的声音元素数量。
值越高,分析结果越精细,但振动和分析误差也越大。
[采样率]值 | 15 | 100 |
动作的变化 | 缓慢 | 激烈 |
图片 |
混合率
您可以设置声音元素的混合程度。
值越小,权重最高的声音元素就越能决定形状。
值越大,则为按权重混合所有声音元素的形状。
[混合率]值 | 0.0 | 1.0 |
动作的变化 | 干脆 | 平滑 |
图片 |
另外,下图是“嘴巴 开合”的图表对比图。
绿色:混合率 = 0.0
红色:混合率 = 1.0
平滑化
这是一种平滑化音频分析结果以减少振动的设置。
值越高,动作越平滑。
[平滑化]值 | 1 | 100 |
动作的变化 | 激烈 | 平滑 |
图片 |
另外,下图是“嘴巴 开合”的图表对比图。
绿色:平滑化 = 1
红色:平滑化 = 100
注意事项
采样率、混合率和平滑化不包含在预置中。
菜单详细
项目 | 细节 |
---|---|
编辑 | 复原: 返回到最后一次操作之前的状态。 快捷键[Ctrl] + [Z] 重做: 使用[复原]执行您在返回上一步之前执行的操作。 快捷键[Ctrl] + [Y] |
动态同步 | 输出动态同步: 输出.motionsync3.json。 关于输出的数据,请参考“嵌入数据”。 导入动态同步: 导入.motionsync3.json。 原始化预置: 对预置进行原始化。请注意,创建的预置也将被删除。 |
帮助 | 关于动态同步设置: 打开动态同步页面。 |
动态同步设置
这是保存[音频分析类型]、[映射设置]、[声音元素]和[参数]的设置。
此设置关联到模型数据(.cmo3)。
还可以以.motionsync3.json格式进行输出和导入。
选择、追加和编辑设置
编号 | 项目 | 细节 |
---|---|---|
① | 设置 | 选择动态同步设置。 |
② | 追加 | 创建并追加新的动态同步设置。 |
③ | 编辑 | 将打开[动态同步设置列表]对话框,您可以编辑每个设置。 |
动态同步设置列表
在[动态同步设置列表]对话框中,您可以对动态同步设置进行复制或变更名称等。
编号 | 项目 | 细节 |
---|---|---|
① | 复制 | 复制选择的动态同步设置。 |
② | 名称变更 | 变更选择的动态同步设置的名称。 |
③ | 删除 | 删除选择的动态同步设置。 |
预置
预先设置了[映射设置]、[声音元素]和[参数]的预置。
通过使用预置,您可以轻松设备动态同步设置。
您还可以追加自己的预置。
选择、追加和编辑预置
编号 | 项目 | 细节 |
---|---|---|
① | 选择预置 | 选择默认预置或自己追加的预置。 |
② | 追加 | 创建并追加新的预置。 |
③ | 编辑 | [预置列表]对话框打开,您可以编辑每个设置。 |
预置列表
在[预置列表]对话框中,您可以复制预置或变更名称等。
编号 | 项目 | 细节 |
---|---|---|
① | 复制 | 复制选择的预置。 |
② | 名称变更 | 变更选择的预置名称。 |
③ | 删除 | 删除选择的预置。 * 默认预置无法删除。 |
默认预置列表
为动态同步设置提供了两个默认预置。
编号 | 预置名称 | 细节 |
---|---|---|
① | 基本 | 它可以在由“嘴巴 变换”和“嘴巴 开合”两个参数组成的基本模型中使用。 在此预置中,我们假设它将在“嘴巴 变换”和“嘴巴 开合”两个轴上创建,如下图所示。 以下是设置指南。 ①:A ②:I ③:O ④:U |
③ | 仅元音(融合变形) | 如果您想为各嘴型创建参数,建议使用此预置。 |
映射设置
在映射设置中,设置每个声音元素对应的形状。
编号 | 项目 | 细节 |
---|---|---|
① | 声音元素 | 将显示在[声音元素]中选中[有效]的项目。 您可以通过在组合框中切换来设置每个声音元素的值。 每个声音元素的形状请参考下图。 |
② | 应用 | 将映射设置值更新为当前[参数]面板上的值。 |
③ | 确认 | 您可以将[参数]面板上的值更新为映射设置的值,并在画布上查看形状。 |
④ | 参数名称 | 控制动态的参数。 * 如果模型没有与[参数]列表中的参数ID、最小值或最大值匹配的参数,则会显示为红色。 * 另外,以红色显示的参数的设定值将被忽略。 |
⑤ | 值 | 为每个声音元素设置形状参数的值。 |
映射设置示例
以[A]的映射设置为例进行说明。
在映射设置中的[声音元素]中选择[A],并在右侧设置各参数的值。
通过移动[参数]面板上的滑块决定形状后,可以通过按[动态同步设置]对话框中的[应用]按钮轻松设置。
设置完成后,将设置其他声音元素。
设置所有必要的声音元素后,映射设置就完成了。
Point
预置具有预先设置的映射设置。
如果您想按原样使用预置,则无需变更任何设置即可使用它。
如果您想变更映射设置,请参考上面的设置示例。
声音元素
设置从音频数据分析的元素。
您可以通过调整每个设置来调整动态。
编号 | 项目 | 细节 |
---|---|---|
① | 有效 | 启用/禁用音频分析。 禁用的项目将从音频分析中排除,并且也从映射设置的[声音元素]中排除。 |
② | 视音素 | 进行映射的声音元素的类型。 Silence:没有声音 A、I、U、E、O:元音 |
③ | 倍率 | 要乘以各视音素计算值的值。 值越高,越强调对象视音素。 |
倍率
要乘以各视音素计算值的值。
值越高,越强调视音素。
A的[倍率]值 | 1.0 | 10.0 |
动作的变化 | – | 强调调整后的视音素 |
图片 |
另外,下图是“A”的图表对比图。
绿色:倍率 = 1.0
红色:倍率 = 10.0
参数
设置控制动态的参数。
编号 | 项目 | 细节 |
---|---|---|
① | 追加 | 追加控制动态的参数。 |
② | 删除 | 删除控制动态的参数。 |
③ | 名称 | 控制动态的参数。 * 如果模型没有与此列表中的参数ID、最小值或最大值匹配的参数,则会显示为红色。 * 另外,以红色显示的参数的设定值将被忽略。 |
④ | ID | 参数的ID。 |
⑤ | 阈值 | 可减少微小振动的设置。 值越大,在减轻振动方面越有效。 |
⑥⑦ | 最小值 最大值 | 参数的最小值和最大值。 |
阈值
可减少微小振动的设置。
值越大,在减轻振动方面越有效。
另外,下图是“嘴巴 开合”的图表对比图。
绿色:阈值 = 0.0
红色:阈值 = 0.1
动态同步设置步骤
本节说明如何设置动态同步。
- 单击[参数]面板的面板菜单中的[动态同步设置]以打开对话框。
- 单击动态同步设置中的[追加]以追加动态同步设置。输入设置名称并选择音频分析类型和设置预置。
- 如果预置没有您想要的参数,请从[参数]选项卡中删除不需要的参数,然后追加您想要通过动态同步移动的参数。
- 在[映射设置]中设置各声音元素的参数值。
使用[应用]和[确认]按钮进行高效设置。 - 单击[读取音频]并播放动态。
如果您想减少振动或强调特定的声音元素,请在[声音元素]和[参数]中进行详细设置。