모션 싱크
업데이트： 2023/10/17
모션 싱크 기능을 활용함으로써 음성에 맞춘 리얼한 입의 움직임을 실현할 수 있습니다.
지정한 음성 데이터를 시간 순 Viseme 정보로 변환하고 미리 설정한 각 Viseme의 대응 형상을 혼합하여 입 모션을 자동 생성합니다.
※모션 싱크를 취급한 샘플 모델 「케이」를 배포하고 있으므로 이용해 주십시오.
설정 대화 상자 표시
[파라미터] 팔레트의 팔레트 메뉴 → [모션 싱크 설정]을 클릭합니다.
또는 [모델링] 메뉴 → [파라미터] → [모션 싱크 설정]에서 대화 상자를 표시할 수 있습니다.
모션 싱크 설정 정보
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 메뉴 | 다양한 메뉴가 표시됩니다. 자세한 내용은 이 페이지의 「메뉴 상세」에서 설명합니다. |
| ② | 음성 로드 | 오디오 파일(.wav)을 불러옵니다. |
| ③ | 맨 앞으로 이동 | 오디오를 맨 앞으로 되감습니다. |
| ④ | 재생/정지 | 모션 싱크 설정에 따라 뷰에 배치한 모델의 입을 움직이면서 오디오를 재생/정지합니다. |
| ⑤ | 반복 | 반복 재생을 켜고 끕니다. |
| ⑥ | 모션 싱크 설정 | 모델에 연결하는 모션 싱크 설정을 추가, 편집할 수 있습니다. |
| ⑦ | 샘플 레이트 | 초당 음성 요소를 샘플링할 수를 설정합니다. 값이 클수록 분석 결과가 보다 자세해지지만, 진동이나 분석 오차도 커집니다. 예를 들어, 빠른 음성의 경우 60 정도로 올리면 보다 음성에 맞는 모션이 됩니다. |
| ⑧ | 블렌드 비율 | 음성 요소를 혼합하는 정도를 설정할 수 있습니다. 값이 작을수록 가중치가 가장 높은 음성 요소를 메인으로 하여 모양이 결정됩니다. 값이 클수록 모든 음성 요소가 가중치에 따라 혼합된 모양이 됩니다. |
| ⑨ | 스무딩 | 음성 분석된 결과를 스무딩하여 진동을 완화하는 설정입니다. 값이 클수록 움직임이 부드러워집니다. |
| ⑩ | 음성 분석 타입 | 음성 분석할 라이브러리를 선택합니다. ※현재는 [립싱크(CRI LipSync)]만 선택할 수 있습니다. 립싱크(CRI LipSync): 모든 플랫폼을 지원합니다. |
| ⑪ | 프리셋 | [매핑 설정] [음성 요소] [파라미터]가 미리 설정되어 있는 프리셋입니다. [추가]에서 직접 프리셋을 추가할 수도 있습니다. |
| ⑫ | 매핑 설정 | 각 음성 요소에 대해 파라미터의 값을 설정합니다. |
| ⑬ | 음성 요소 | 음성 데이터에서 분석된 요소에 대해 설정할 수 있습니다. |
| ⑭ | 파라미터 | 모션을 제어하는 파라미터를 설정할 수 있습니다. |
오디오 파일 정보
Tips
오디오 파일은 [WAV 형식]만 불러올 수 있습니다.
[WAV 형식]이라도 일부 지원되지 않는 형식이 있어 경고가 표시되고 로드할 수 없는 경우가 있습니다.
그 경우에는 대응하는 [WAV 형식(16bit, 44100Hz)]으로 인코딩하면 읽어들일 수 있을 가능성이 있습니다.
주의사항
분석 시에 음성을 모노로 변환하는 처리를 하고 있으므로, 스테레오 음성은 정확도가 떨어질 가능성이 있습니다.
또한 음량이 작은 오디오가 제대로 인식되지 않을 수 있으므로, 이 경우 미리 오디오 파일의 음량을 조정하십시오.
샘플 레이트
초당 음성 요소를 샘플링할 수를 설정합니다.
값이 클수록 분석 결과가 보다 자세해지지만, 진동이나 분석 오차도 커집니다.
| [샘플 레이트] 값 | 15 | 100 |
| 동작 변화 | 느릿함 | 격함 |
| 이미지 |  |  |
블렌드 비율
음성 요소를 혼합하는 정도를 설정할 수 있습니다.
값이 작을수록 가중치가 가장 높은 음성 요소를 메인으로 하여 모양이 결정됩니다.
값이 클수록 모든 음성 요소가 가중치에 따라 혼합된 모양이 됩니다.
| [블렌드 비율] 값 | 0.0 | 1.0 |
| 동작 변화 | 시원시원함 | 부드러움 |
| 이미지 |  |  |
또한 아래 그림은 「입 개폐」의 그래프를 비교한 그림입니다.
녹색: 블렌드 비율 = 0.0
적색: 블렌드 비율 = 1.0
스무딩
음성 분석된 결과를 스무딩하여 진동을 완화하는 설정입니다.
값이 클수록 움직임이 부드러워집니다.
| [스무딩] 값 | 1 | 100 |
| 동작 변화 | 격함 | 부드러움 |
| 이미지 |  |  |
또한 아래 그림은 「입 개폐」의 그래프를 비교한 그림입니다.
녹색: 스무딩 = 1
적색: 스무딩 = 100
주의사항
샘플 레이트, 블렌드 비율 및 스무딩은 프리셋에 포함되지 않습니다.
메뉴 상세
| 항목 | 상세 |
|---|---|
| 편집 | 실행 취소: 마지막으로 수행한 작업 직전의 상태로 되돌립니다. 단축키 [Ctrl]+[Z] 다시 실행: [실행 취소]로 한 단계 돌아가기 전에 수행한 작업을 실행합니다. 단축키 [Ctrl]+[Y] |
| 모션 싱크 | 모션 싱크 내보내기: .motionsync3.json을 내보냅니다. 내보낸 데이터는 「임베디드용 데이터」를 참조하십시오. 모션 싱크 불러오기: .motionsync3.json을 불러옵니다. 프리셋 초기화: 프리셋을 초기화합니다. 작성한 프리셋도 지워지므로 주의해 주십시오. |
| 도움말 | 모션 싱크 설정 정보: 모션 싱크 페이지를 엽니다. |
모션 싱크 설정
[음성 분석 타입] [매핑 설정] [음성 요소] [파라미터]가 저장된 설정입니다.
이 설정은 모델 데이터(.cmo3)에 연결됩니다.
또한 .motionsync3.json 형식으로 내보내고 불러올 수 있습니다.
설정 선택, 추가, 편집
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 설정 | 모션 싱크 설정을 선택합니다. |
| ② | 추가 | 새 모션 싱크 설정을 만들고 추가합니다. |
| ③ | 편집 | [모션 싱크 설정 목록] 대화 상자가 열리고 각 설정을 편집합니다. |
모션 싱크 설정 목록
[모션 싱크 설정 목록] 대화 상자에서는 모션 싱크 설정의 복제, 이름 변경 등을 할 수 있습니다.
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 복제 | 선택한 모션 싱크 설정을 복제합니다. |
| ② | 이름 변경 | 선택한 모션 싱크 설정의 이름을 바꿉니다. |
| ③ | 삭제 | 선택한 모션 싱크 설정을 삭제합니다. |
프리셋
[매핑 설정] [음성 요소] [파라미터]가 미리 설정되어 있는 프리셋입니다.
프리셋을 사용하면 모션 싱크 설정을 쉽게 설정할 수 있습니다.
프리셋을 직접 추가할 수도 있습니다.
프리셋 선택, 추가, 편집
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 프리셋 선택 | 디폴트 프리셋 또는 직접 추가한 프리셋을 선택합니다. |
| ② | 추가 | 새 프리셋을 만들고 추가합니다. |
| ③ | 편집 | [프리셋 목록] 대화 상자가 열리고 각 설정을 편집합니다. |
프리셋 목록
[프리셋 목록] 대화 상자에서는 프리셋을 복제하거나 이름 변경 등을 할 수 있습니다.
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 복제 | 선택한 프리셋을 복제합니다. |
| ② | 이름 변경 | 선택한 프리셋의 이름을 바꿉니다. |
| ③ | 삭제 | 선택한 프리셋을 삭제합니다. ※디폴트 프리셋은 삭제할 수 없습니다. |
디폴트 프리셋 목록
모션 싱크 설정에는 2가지 디폴트 프리셋이 있습니다.
| 번호 | 프리셋 이름 | 상세 |
|---|---|---|
| ① | 기본 | 「입 변형」과 「입 개폐」의 2개 파라미터로 만들어진 기본적인 모델에서 사용할 수 있습니다. 이 프리셋에서는 「입 변형」과 「입 개폐」의 2축상에서 아래 그림과 같이 작성하는 것을 상정하고 있습니다.  다음은 설정의 기준입니다. ①: 아 ②: 이 ③: 오 ④: 우 |
| ③ | 모음 한정(블렌드 셰이프) | Viseme마다 파라미터를 작성하는 경우에는 이 프리셋을 추천합니다. |
매핑 설정
매핑 설정에서는 각 음성 요소에 대응하는 양식을 설정합니다.
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 음성 요소 | [음성 요소]의 [유효]에 체크되어 있는 것이 표시됩니다. 콤보 박스에서 전환하여 각 음성 요소에 대한 값을 설정할 수 있습니다. 각 음성 요소의 모양은 아래에 표시된 이미지를 참조하십시오. |
| ② | 적용 | 매핑 설정의 값을 현재 [파라미터] 팔레트의 값으로 업데이트합니다. |
| ③ | 확인 | [파라미터] 팔레트의 값을 매핑 설정의 값으로 업데이트하고 캔버스에서 양식을 확인할 수 있습니다. |
| ④ | 파라미터 이름 | 모션을 제어하는 파라미터입니다. ※[파라미터] 리스트의 파라미터 ID, 최소값, 최대값과 일치하는 파라미터가 모델에 존재하지 않을 경우 빨간 글씨로 표시됩니다. ※또한 빨간 글씨로 표시된 파라미터의 설정값은 무시됩니다. |
| ⑤ | 값 | 각 음성 요소에 대응하는 양식의 파라미터 값을 설정합니다. |
매핑 설정 예
예로서 [A]의 매핑 설정을 설명합니다.
매핑 설정의 [음성 요소]에서 [A]를 선택하고 오른쪽에서 파라미터별로 값을 설정합니다.
[파라미터] 팔레트에서 슬라이더를 움직여 모양을 결정한 후 [모션 싱크 설정] 대화 상자에서 [적용] 버튼을 누르면 쉽게 설정할 수 있습니다.
설정이 끝나면 다른 음성 요소도 설정합니다.
필요한 음성 요소 설정이 모두 끝나면 매핑 설정이 완료됩니다.
Point
프리셋에는 미리 매핑 설정이 설정되어 있습니다.
프리셋을 그대로 사용하고 싶은 경우 특별히 설정을 변경하지 않아도 사용할 수 있습니다.
매핑 설정을 변경하려면 위의 설정 예를 참고로 설정해 보십시오.
음성 요소
음성 데이터에서 분석된 요소에 대해 설정합니다.
각 설정을 조정하여 모션을 조정할 수 있습니다.
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 유효 | 음성 분석을 활성화/비활성화합니다. 사용하지 않도록 설정한 항목은 음성 분석에서 제외되고 매핑 설정의 [음성 요소]에서도 제외됩니다. |
| ② | Viseme | 매핑을 하는 음성 요소의 종류입니다. Silence: 무음 A, I, U, E, O: 모음 |
| ③ | 배율 | 각 Viseme의 계산된 값에 곱하는 값입니다. 이 값이 클수록 대상의 Viseme이 강조됩니다. |
배율
각 Viseme의 계산된 값에 곱하는 값입니다.
이 값이 클수록 Viseme이 강조됩니다.
| A의 [배율] 값 | 1.0 | 10.0 |
| 동작 변화 | ー | 조정된 Viseme을 강조 |
| 이미지 |  |  |
또한 아래 그림은 「아/A」의 그래프를 비교한 그림입니다.
녹색: 배율 = 1.0
적색: 배율 = 10.0
파라미터
모션을 제어하는 파라미터를 설정합니다.
| 번호 | 항목 | 상세 |
|---|---|---|
| ① | 추가 | 모션을 제어하는 파라미터를 추가합니다. |
| ② | 삭제 | 모션을 제어하는 파라미터를 삭제합니다. |
| ③ | 이름 | 모션을 제어하는 파라미터입니다. ※이 리스트의 파라미터 ID, 최소값, 최대값과 일치하는 파라미터가 모델에 존재하지 않을 경우 빨간 글씨로 표시됩니다. ※또한 빨간 글씨로 표시된 파라미터의 설정값은 무시됩니다. |
| ④ | ID | 파라미터의 ID입니다. |
| ⑤ | 임계 값 | 세세한 진동을 완화하는 설정입니다. 값이 클수록 진동을 완화하는 효과가 높습니다. |
| ⑥⑦ | 최소값 최대값 | 파라미터의 최소값, 최대값입니다. |
임계 값
세세한 진동을 완화하는 설정입니다.
값이 클수록 진동을 완화하는 효과가 높습니다.
| [임계 값] 값 | 0.0 | 0.1 |
| 동작 변화 | ー | 진동을 완화 |
| 이미지 |  |  |
또한 아래 그림은 「입 개폐」의 그래프를 비교한 그림입니다.
녹색: 임계 값 = 0.0
적색: 임계 값 = 0.1
모션 싱크 설정 순서
모션 싱크를 설정하는 순서를 설명합니다.
- [파라미터] 팔레트의 팔레트 메뉴에서 [모션 싱크 설정]을 클릭하여 대화 상자를 엽니다.
- 모션 싱크 설정에서 [추가]를 클릭하여 모션 싱크 설정을 추가합니다. 설정 이름을 입력하고 음성 분석 타입 및 설정 프리셋을 선택합니다.
- 프리셋에 원하는 파라미터가 없을 경우 [파라미터] 탭에서 필요 없는 파라미터를 제거하고 모션 싱크로 움직일 파라미터를 추가합니다.
- [매핑 설정]에서 각 음성 요소의 파라미터 값을 설정합니다.
[적용] [확인] 버튼을 활용하면 효율적으로 설정할 수 있습니다.
- [음성 로드]를 클릭하여 모션을 재생합니다.
진동을 완화하고 싶거나 특정 음성 요소를 강조하고 싶은 경우 [음성 요소]나 [파라미터]에서 상세한 설정을 실시해 주십시오.