モーションシンク

最終更新： 2023年10月17日

モーションシンク機能を活用することで、音声に合わせたリアルな口の動きを実現できます。
指定した音声データを時系列の口形素情報に変換し、事前に設定した各口形素の対応形状をブレンドすることで口のモーションを自動生成します。
※モーションシンクを扱ったサンプルモデル「ケイ」を配布していますので、ご利用ください。

設定ダイアログの表示

［パラメータ］パレットのパレットメニュー → ［モーションシンク設定］をクリックします。
または、［モデリング］メニュー → ［パラメータ］ → ［モーションシンク設定］からダイアログを表示することができます。

モーションシンク設定について

音声ファイルについて

サンプルレート

一秒ごとに音声の要素をサンプリングする数を設定します。
値が大きいほど、解析結果がより細かくなりますが、振動や解析誤差も大きくなります。

［サンプルレート］の値	15	100
動きの変化	ゆるやか	激しい
画像

ブレンド率

音声の要素をブレンドする度合いを設定できます。
値が小さいほど、重みの一番高い音声の要素をメインにして形状が決まります。
値が大きいほど、すべての音声の要素を重みによってブレンドした形状になります。

［ブレンド率］の値	0.0	1.0
動きの変化	ハキハキ	なめらか
画像

また、下図は「口　開閉」のグラフを比較した図です。
緑：ブレンド率 = 0.0
赤：ブレンド率 = 1.0

スムージング

音声解析された結果をスムージングして、振動を緩和する設定です。
値が大きいほど、動きが滑らかになります。

［スムージング］の値	1	100
動きの変化	激しい	なめらか
画像

また、下図は「口　開閉」のグラフを比較した図です。
緑：スムージング = 1
赤：スムージング = 100

メニュー詳細

モーションシンク設定

［音声解析タイプ］［マッピング設定］［音声の要素］［パラメータ］が保存されている設定です。
この設定はモデルデータ（.cmo3）に紐づきます。
また、.motionsync3.json形式での書き出し、読み込みが可能です。

設定の選択、追加、編集

番号	項目	詳細
①	設定	モーションシンク設定を選択します。
②	追加	新しいモーションシンク設定を作成し、追加します。
③	編集	［モーションシンク設定リスト］ダイアログが開き、各設定の編集をします。

モーションシンク設定リスト

［モーションシンク設定リスト］ダイアログでは、モーションシンク設定の複製や名前変更などをすることができます。

番号	項目	詳細
①	複製	選択しているモーションシンク設定を複製します。
②	名前変更	選択しているモーションシンク設定の名前を変更します。
③	削除	選択しているモーションシンク設定を削除します。

プリセット

［マッピング設定］［音声の要素］［パラメータ］があらかじめ設定されているプリセットです。
プリセットを使用することで、モーションシンク設定を簡単に設定をすることができます。
プリセットは自分で追加することもできます。

プリセットの選択、追加、編集

番号	項目	詳細
①	プリセットの選択	デフォルトのプリセットもしくは自分で追加したプリセットを選択します。
②	追加	新しいプリセットを作成し、追加します。
③	編集	［プリセットリスト］ダイアログが開き、各設定の編集をします。

プリセットリスト

［プリセットリスト］ダイアログでは、プリセットの複製や名前変更などをすることができます。

番号	項目	詳細
①	複製	選択しているプリセットを複製します。
②	名前変更	選択しているプリセットの名前を変更します。
③	削除	選択しているプリセットを削除します。 ※デフォルトプリセットは削除できません。

デフォルトプリセット一覧

モーションシンク設定には2つのデフォルトプリセットが用意されています。

番号	プリセット名	詳細
①	基本	「口　変形」と「口　開閉」の2パラメータで作られている基本的なモデルで使用できます。 こちらのプリセットでは「口　変形」と「口　開閉」の2軸上で下図のように作成することを想定しています。 以下は設定の目安です。 ①：あ ②：い ③：お ④：う
③	母音のみ(ブレンドシェイプ)	口形素ごとにパラメータを作成する場合には、こちらのプリセットがおすすめです。

マッピング設定

マッピング設定では、それぞれの音声の要素に対応するフォームを設定します。

番号	項目	詳細
①	音声の要素	［音声の要素］の［有効］にチェックが入っているものが表示されます。 コンボボックスで切り替えて各音声の要素に対して値を設定できます。 各音声の要素の形状は下に表示されている画像を参考にしてください。
②	適用	マッピング設定の値を、現在の［パラメータ］パレット上の値に更新します。
③	確認	［パラメータ］パレット上の値を、マッピング設定の値に更新し、キャンバス上でフォームを確認できます。
④	パラメータ名	モーションを制御するパラメータです。 ※［パラメータ］のリストのパラメータID、最小値、最大値と一致するパラメータがモデルに存在しない場合、赤字で表示されます。 ※また、赤字で表示されたパラメータの設定値は無視されます。
⑤	値	各音声の要素に対応するフォームの、パラメータの値を設定します。

マッピング設定例

例として［A］のマッピング設定を説明します。

マッピング設定の［音声の要素］から［A］を選択して、右側でパラメータごとに値を設定します。
［パラメータ］パレットでスライダを動かして形を決めた後、［モーションシンク設定］ダイアログで［適用］ボタンを押すと、簡単に設定できます。

設定が終わったら、他の音声の要素も設定していきます。
必要な音声の要素の設定が全て終わったら、マッピング設定は完了です。

音声の要素

音声データから解析された要素について設定します。
各設定を調整することで、モーションを調整することができます。

番号	項目	詳細
①	有効	音声解析の有効／無効を切り替えます。 無効にしたものは音声解析から除外されて、マッピング設定の［音声の要素］からも除外されます。
②	口形素	マッピングをする音声の要素の種類です。 Silence：無音 A、I、U、E、O：母音
③	倍率	各口形素の計算された値に掛ける値です。 この値が大きいほど対象の口形素が強調されます。

倍率

各口形素の計算された値に掛ける値です。
この値が大きいほど口形素が強調されます。

Aの［倍率］の値	1.0	10.0
動きの変化	ー	調整した口形素を強調
画像

また、下図は「あ / A」のグラフを比較した図です。
緑：倍率 = 1.0
赤：倍率 = 10.0

パラメータ

モーションを制御するパラメータを設定します。

番号	項目	詳細
①	追加	モーションを制御するパラメータを追加します。
②	削除	モーションを制御するパラメータを削除します。
③	名前	モーションを制御するパラメータです。 ※このリストのパラメータID、最小値、最大値と一致するパラメータがモデルに存在しない場合、赤字で表示されます。 ※また、赤字で表示されたパラメータの設定値は無視されます。
④	ID	パラメータのIDです。
⑤	しきい値	細かい振動を緩和する設定です。 値が大きいほど、振動を緩和する効果が高いです。
⑥⑦	最小値 最大値	パラメータの最小値・最大値です。

しきい値

細かい振動を緩和する設定です。
値が大きいほど、振動を緩和する効果が高いです。

［しきい値］の値	0.0	0.1
動きの変化	ー	振動を緩和
画像

また、下図は「口　開閉」のグラフを比較した図です。
緑：しきい値 = 0.0
赤：しきい値 = 0.1

モーションシンク設定の手順

モーションシンクを設定する手順を説明します。

1. ［パラメータ］パレットのパレットメニューから［モーションシンク設定］をクリックし、ダイアログを開きます。
2. モーションシンク設定の［追加］をクリックして、モーションシンク設定を追加します。設定名を入力し、音声解析タイプと設定のプリセットを選択します。
3. プリセットに望んでいるパラメータがない場合は、［パラメータ］のタブから必要のないパラメータを削除して、モーションシンクで動かしたいパラメータを追加します。
   
4. ［マッピング設定］で各音声の要素のパラメータの値を設定します。
   ［適用］［確認］ボタンを活用すると効率的に設定できます。
   
5. ［音声をロード］をクリックして、モーションを再生します。
   振動を緩和したい場合や特定の音声の要素の強調をしたい場合は、［音声の要素］や［パラメータ］で詳細の設定を行ってください。