モーションシンク
最終更新: 2023年10月17日
モーションシンク機能を活用することで、音声に合わせたリアルな口の動きを実現できます。
指定した音声データを時系列の口形素情報に変換し、事前に設定した各口形素の対応形状をブレンドすることで口のモーションを自動生成します。
※モーションシンクを扱ったサンプルモデル「ケイ」を配布していますので、ご利用ください。
設定ダイアログの表示
[パラメータ]パレットのパレットメニュー → [モーションシンク設定]をクリックします。
または、[モデリング]メニュー → [パラメータ] → [モーションシンク設定]からダイアログを表示することができます。
モーションシンク設定について
番号 | 項目 | 詳細 |
---|---|---|
① | メニュー | 各種メニューが表示されます。 詳細については、このページ内の「メニュー詳細」で説明します。 |
② | 音声をロード | 音声ファイル(.wav)を読み込みます。 |
③ | 先頭へ戻る | 音声を先頭に戻します。 |
④ | 再生/停止 | モーションシンクの設定に合わせてビュー上に配置したモデルの口を動かしながら音声を再生/停止します。 |
⑤ | リピート | リピート再生のオン/オフを切り替えます。 |
⑥ | モーションシンク設定 | モデルに紐づけるモーションシンクの設定の追加、編集が行えます。 |
⑦ | サンプルレート | 一秒ごとに音声の要素をサンプリングする数を設定します。 値が大きいほど、解析結果がより細かくなりますが、振動や解析誤差も大きくなります。 例えば、早口の音声の場合は60程度に上げると、より音声に合ったモーションになります。 |
⑧ | ブレンド率 | 音声の要素をブレンドする度合いを設定できます。 値が小さいほど、重みの一番高い音声の要素をメインにして形状が決まります。 値が大きいほど、すべての音声の要素を重みによってブレンドした形状になります。 |
⑨ | スムージング | 音声解析された結果をスムージングして、振動を緩和する設定です。 値が大きいほど、動きが滑らかになります。 |
⑩ | 音声解析タイプ | 音声解析をするライブラリを選択します。 ※現在は[リップシンク(CRI LipSync)]のみ選択できます。 リップシンク(CRI LipSync): 全てのプラットフォームに対応しています。 |
⑪ | プリセット | [マッピング設定][音声の要素][パラメータ]があらかじめ設定されているプリセットです。 [追加]から自分でプリセットを追加することもできます。 |
⑫ | マッピング設定 | それぞれの音声の要素に対して、パラメータの値を設定します。 |
⑬ | 音声の要素 | 音声データから解析された要素について設定できます。 |
⑭ | パラメータ | モーションを制御するパラメータを設定できます。 |
音声ファイルについて
Tips
音声ファイルは、[WAV形式]のみ読み込みが可能です。
[WAV形式]であっても、一部サポートされていない形式のものがあり、警告が表示されて読み込むことができない場合があります。
その場合には対応する[WAV形式(16bit、44100Hz)]にエンコードを行うことで、読み込める可能性があります。
注意事項
解析時に音声をモノラルに変換する処理をしているので、ステレオの音声は精度が落ちる可能性があります。
また、音量が小さい音声は正しく認識されない可能性があるので、その場合は事前に音声ファイルの音量を調整してください。
サンプルレート
一秒ごとに音声の要素をサンプリングする数を設定します。
値が大きいほど、解析結果がより細かくなりますが、振動や解析誤差も大きくなります。
[サンプルレート]の値 | 15 | 100 |
動きの変化 | ゆるやか | 激しい |
画像 |
ブレンド率
音声の要素をブレンドする度合いを設定できます。
値が小さいほど、重みの一番高い音声の要素をメインにして形状が決まります。
値が大きいほど、すべての音声の要素を重みによってブレンドした形状になります。
[ブレンド率]の値 | 0.0 | 1.0 |
動きの変化 | ハキハキ | なめらか |
画像 |
また、下図は「口 開閉」のグラフを比較した図です。
緑:ブレンド率 = 0.0
赤:ブレンド率 = 1.0
スムージング
音声解析された結果をスムージングして、振動を緩和する設定です。
値が大きいほど、動きが滑らかになります。
[スムージング]の値 | 1 | 100 |
動きの変化 | 激しい | なめらか |
画像 |
また、下図は「口 開閉」のグラフを比較した図です。
緑:スムージング = 1
赤:スムージング = 100
注意事項
サンプルレート、ブレンド率、スムージングはプリセットに含まれません。
メニュー詳細
項目 | 詳細 |
---|---|
編集 | 元に戻す: 最後に行った操作の直前の状態に戻します。 ショートカットキー[Ctrl]+[Z] やり直す: [元に戻す]で一段階戻る前に行った操作を実行します。 ショートカットキー[Ctrl]+[Y] |
モーションシンク | モーションシンクの書き出し: .motionsync3.jsonを書き出します。 書き出したデータについては『組み込み用データ』をご覧ください。 モーションシンクの読み込み: .motionsync3.jsonを読み込みます。 プリセットの初期化: プリセットを初期化します。作成したプリセットも消去されますのでご注意ください。 |
ヘルプ | モーションシンク設定について: モーションシンクのページを開きます。 |
モーションシンク設定
[音声解析タイプ][マッピング設定][音声の要素][パラメータ]が保存されている設定です。
この設定はモデルデータ(.cmo3)に紐づきます。
また、.motionsync3.json形式での書き出し、読み込みが可能です。
設定の選択、追加、編集
番号 | 項目 | 詳細 |
---|---|---|
① | 設定 | モーションシンク設定を選択します。 |
② | 追加 | 新しいモーションシンク設定を作成し、追加します。 |
③ | 編集 | [モーションシンク設定リスト]ダイアログが開き、各設定の編集をします。 |
モーションシンク設定リスト
[モーションシンク設定リスト]ダイアログでは、モーションシンク設定の複製や名前変更などをすることができます。
番号 | 項目 | 詳細 |
---|---|---|
① | 複製 | 選択しているモーションシンク設定を複製します。 |
② | 名前変更 | 選択しているモーションシンク設定の名前を変更します。 |
③ | 削除 | 選択しているモーションシンク設定を削除します。 |
プリセット
[マッピング設定][音声の要素][パラメータ]があらかじめ設定されているプリセットです。
プリセットを使用することで、モーションシンク設定を簡単に設定をすることができます。
プリセットは自分で追加することもできます。
プリセットの選択、追加、編集
番号 | 項目 | 詳細 |
---|---|---|
① | プリセットの選択 | デフォルトのプリセットもしくは自分で追加したプリセットを選択します。 |
② | 追加 | 新しいプリセットを作成し、追加します。 |
③ | 編集 | [プリセットリスト]ダイアログが開き、各設定の編集をします。 |
プリセットリスト
[プリセットリスト]ダイアログでは、プリセットの複製や名前変更などをすることができます。
番号 | 項目 | 詳細 |
---|---|---|
① | 複製 | 選択しているプリセットを複製します。 |
② | 名前変更 | 選択しているプリセットの名前を変更します。 |
③ | 削除 | 選択しているプリセットを削除します。 ※デフォルトプリセットは削除できません。 |
デフォルトプリセット一覧
モーションシンク設定には2つのデフォルトプリセットが用意されています。
番号 | プリセット名 | 詳細 |
---|---|---|
① | 基本 | 「口 変形」と「口 開閉」の2パラメータで作られている基本的なモデルで使用できます。 こちらのプリセットでは「口 変形」と「口 開閉」の2軸上で下図のように作成することを想定しています。 以下は設定の目安です。 ①:あ ②:い ③:お ④:う |
③ | 母音のみ(ブレンドシェイプ) | 口形素ごとにパラメータを作成する場合には、こちらのプリセットがおすすめです。 |
マッピング設定
マッピング設定では、それぞれの音声の要素に対応するフォームを設定します。
番号 | 項目 | 詳細 |
---|---|---|
① | 音声の要素 | [音声の要素]の[有効]にチェックが入っているものが表示されます。 コンボボックスで切り替えて各音声の要素に対して値を設定できます。 各音声の要素の形状は下に表示されている画像を参考にしてください。 |
② | 適用 | マッピング設定の値を、現在の[パラメータ]パレット上の値に更新します。 |
③ | 確認 | [パラメータ]パレット上の値を、マッピング設定の値に更新し、キャンバス上でフォームを確認できます。 |
④ | パラメータ名 | モーションを制御するパラメータです。 ※[パラメータ]のリストのパラメータID、最小値、最大値と一致するパラメータがモデルに存在しない場合、赤字で表示されます。 ※また、赤字で表示されたパラメータの設定値は無視されます。 |
⑤ | 値 | 各音声の要素に対応するフォームの、パラメータの値を設定します。 |
マッピング設定例
例として[A]のマッピング設定を説明します。
マッピング設定の[音声の要素]から[A]を選択して、右側でパラメータごとに値を設定します。
[パラメータ]パレットでスライダを動かして形を決めた後、[モーションシンク設定]ダイアログで[適用]ボタンを押すと、簡単に設定できます。
設定が終わったら、他の音声の要素も設定していきます。
必要な音声の要素の設定が全て終わったら、マッピング設定は完了です。
Point
プリセットにはあらかじめマッピング設定が設定されています。
プリセットをそのまま使いたい場合は、特に設定を変更しなくても利用できます。
マッピング設定を変更したい場合は、上記の設定例を参考に設定してみてください。
音声の要素
音声データから解析された要素について設定します。
各設定を調整することで、モーションを調整することができます。
番号 | 項目 | 詳細 |
---|---|---|
① | 有効 | 音声解析の有効/無効を切り替えます。 無効にしたものは音声解析から除外されて、マッピング設定の[音声の要素]からも除外されます。 |
② | 口形素 | マッピングをする音声の要素の種類です。 Silence:無音 A、I、U、E、O:母音 |
③ | 倍率 | 各口形素の計算された値に掛ける値です。 この値が大きいほど対象の口形素が強調されます。 |
倍率
各口形素の計算された値に掛ける値です。
この値が大きいほど口形素が強調されます。
Aの[倍率]の値 | 1.0 | 10.0 |
動きの変化 | ー | 調整した口形素を強調 |
画像 |
また、下図は「あ / A」のグラフを比較した図です。
緑:倍率 = 1.0
赤:倍率 = 10.0
パラメータ
モーションを制御するパラメータを設定します。
番号 | 項目 | 詳細 |
---|---|---|
① | 追加 | モーションを制御するパラメータを追加します。 |
② | 削除 | モーションを制御するパラメータを削除します。 |
③ | 名前 | モーションを制御するパラメータです。 ※このリストのパラメータID、最小値、最大値と一致するパラメータがモデルに存在しない場合、赤字で表示されます。 ※また、赤字で表示されたパラメータの設定値は無視されます。 |
④ | ID | パラメータのIDです。 |
⑤ | しきい値 | 細かい振動を緩和する設定です。 値が大きいほど、振動を緩和する効果が高いです。 |
⑥⑦ | 最小値 最大値 | パラメータの最小値・最大値です。 |
しきい値
細かい振動を緩和する設定です。
値が大きいほど、振動を緩和する効果が高いです。
また、下図は「口 開閉」のグラフを比較した図です。
緑:しきい値 = 0.0
赤:しきい値 = 0.1
モーションシンク設定の手順
モーションシンクを設定する手順を説明します。
- [パラメータ]パレットのパレットメニューから[モーションシンク設定]をクリックし、ダイアログを開きます。
- モーションシンク設定の[追加]をクリックして、モーションシンク設定を追加します。設定名を入力し、音声解析タイプと設定のプリセットを選択します。
- プリセットに望んでいるパラメータがない場合は、[パラメータ]のタブから必要のないパラメータを削除して、モーションシンクで動かしたいパラメータを追加します。
- [マッピング設定]で各音声の要素のパラメータの値を設定します。
[適用][確認]ボタンを活用すると効率的に設定できます。 - [音声をロード]をクリックして、モーションを再生します。
振動を緩和したい場合や特定の音声の要素の強調をしたい場合は、[音声の要素]や[パラメータ]で詳細の設定を行ってください。