CubismJavaFramework를 직접 이용하는 방법

업데이트： 2022/10/06

Cubism SDK for Java와 함께 제공되는 샘플 프로젝트는 CubismJavaFramework(SDK 패키지의 /Framework/ 이하)를 사용하여 Cubism 모델을 처리합니다.
Cubism 모델을 취급하는 프로젝트를 작성하는 경우는 샘플 프로젝트를 기초로 이용하는 것이 좋다고 생각하지만, 기존 애플리케이션이나 사용자의 독자적인 엔진 등에 구현할 때는 CubismJavaFramework의 API를 직접 취급하고 싶은 경우가 있을 것입니다.
그러나 포함된 샘플 프로젝트는 고기능이기 때문에, 이를 참고로 하는 것만으로는 구조의 이해와 분리가 쉽지 않습니다.

아래에서는 위와 같은 사용자를 대상으로 CubismFramework를 직접 호출하여 모델을 취급하는 최소 스니펫을 소개합니다.

CubismFramework 사이클

CubismFramework를 다루는 절차는 다음과 같습니다.

1. CubismFramework 초기화
2. 모델 파일의 패스 가져오기
3. 모델 불러오기
4. 업데이트 처리
5. 모델 파기
6. CubismFramework 종료 처리

1.CubismFramework 초기화

CubismFramework의 초기화 처리는 다음과 같습니다.

CubismFramework는 CubismFramework.startUp()을 사용하여 초기화를 수행합니다.
Cubism SDK for Native에서는 첫 번째 인수에 할당자(ICubismAllocator)를 사용했지만 Cubism SDK for Java에서는 사용하지 않습니다. 

public class LAppDelegate{
    public void onSurfaceCreated() {
        ...
        // Initialize Cubism SDK framework
        CubismFramework.initialize();

        // 셰이더 초기화
        _view.initializeShader();
    }

    private LAppDelegate() {
        ...
        // 로그 출력 레벨을 설정. LogLevel.VERBOSE의 경우는 상세 로그를 출력시킨다.
        _cubismOption = new CubismFramework.Option();
        _cubismOption.logFunction = new LAppPal.PrintLogFunction();
        _cubismOption.loggingLevel = LAppDefine.cubismLoggingLevel;

        CubismFramework.cleanUp();
        // CubismJavaFramework 초기화에 필요한 파라미터를 설정한다.
        CubismFramework.startUp(_cubismOption);
    }
  
    private CubismFramework.Option _cubismOption;
}

2. 모델 파일의 패스 가져오기

Cubism의 임베디드용 데이터 세트는 .model3.json에 각각의 상대 패스가 기술되어 있습니다.
MOC3 파일이나 텍스쳐 등을 직접 지정해 읽어도 괜찮지만, 기본적으로는 .model3.json으로부터 패스를 취득해 읽어들이는 것을 추천합니다.

.model3.json의 투시는 CubismFramework의 CubismModelSettingJson 클래스를 사용합니다.

public class LAppModel{
    ...
    private static byte[] createBuffer(final String path) {
        if (LAppDefine.DEBUG_LOG_ENABLE) {
            LAppPal.printLog("create buffer: " + path);
        }
        return LAppPal.loadFileAsBytes(path);
    }
}

// model3.json 불러오기
final String modelSettingJsonPath = _modelHomeDir + modelSettingJsonName;
byte[] buffer = createBuffer(modelSettingJsonPath);
ICubismModelSetting setting = new CubismModelSettingJson(buffer);

// model3.json에 기술된 모델의 패스를 취득
String moc3Path = _modelSetting.getModelFileName();
moc3Path = _modelHomeDir + moc3Path;

3. 모델 불러오기

모델을 로드하려면 CubismModel 인터페이스를 사용합니다.

CubismModel의 인스턴스는 CubismJavaFramework에서는 CubismUserModel._model을 보유하고 있습니다.
이쪽을 이용하는 경우 CubismUserModel을 상속한 클래스로 취급하는 것을 추천하고 있습니다.
또 텍스쳐나 모션, 표정 모션 등의 리소스 관리는 외부에서 실시하는 것도 가능합니다.

이 예에서는 CubismUserModel을 상속한 CubismUserModelExtend를 사용하여 설명합니다.

// 모델의 인스턴스를 생성
CubismUserModelExtend userModel = new CubismUserModelExtend();

// moc3 파일 불러오기
buffer = CreateBuffer(moc3Path);
userModel.loadModel(mocBuffer);

로드할 MOC3 파일의 패스는 위와 같이 .model3.json에서 얻을 수 있는데, 마찬가지로 .model3.json에서 표정, 물리 연산, 포즈, 눈 깜빡임, 립싱크, 사용자 데이터, 모션 패스도 얻을 수 있습니다.
SDK의 샘플에서는 모델의 로드와 동시에 이러한 로드도 실시하고 있습니다.
각각의 로드 방법에 대해서는 이하를 참고해 주세요.

• 표정 모션에 대해서
• 물리 연산
• 포즈에 대해
• 자동 눈 깜빡임
• 립싱크
• 유저 데이터 정보
• 모션에 대해

4. 업데이트 처리

Cubism 모델의 업데이트 처리는 모델의 초기화와 같이 CubismModel의 인터페이스인 CubismModel.update()를 호출하여 실시합니다.
CubismModel.update()를 호출하면 Cubism Core의 업데이트 처리가 이루어지고, 그때까지 설정된 파라미터나 파츠의 값으로부터 정점 정보를 갱신합니다.

public class CubismUserModelExtend{
    public void update() {
        // 파라미터 조작
        _model.setParameterValue(CubismFramework.getIdManager().getId("ParamAngleX"), value);

        // 파츠 불투명도 조작
        _model.setPartOpacity(CubismFramework.getIdManager().getId("PartArmL"), opacity);

        // 모델 정점 정보 업데이트
        _model.update();
    }
}

업데이트 처리에서는 반드시 update() 이전에 시선 추종이나 물리 연산, 모션 재생 등을 실시합니다.

CubismModel.update()보다 나중에 파라미터의 값을 조작해도 반영되지 않습니다.
그 후에 다시 CubismModel.update()를 호출하면 반영되지만, 이 처리는 부하가 높기 때문에 하나로 정리하는 것을 추천합니다.

// 정점에 반영됨
_model.setParameterValue(CubismFramework.getIdManager().getId("ParamAngleX"), value);

// 모델 정점 정보 업데이트
_model.update();

// 정점에 반영되지 않음
_model.setParameterValue(CubismFramework.getIdManager().getId("ParamAngleX"), value);

모션을 재생하는 CubismMotionManager.updateMotion()은 재생하는 모션에 사용되는 ID의 파라미터값을 모두 덮어쓰기합니다.
그 때문에, 이 처리 이전에 파라미터의 값을 조작해도 모두 CubismMotionManager.updateMotion()에 의해 덮어쓰기되어 버립니다.
시선 추종 등의 값 조작이나 물리 연산 등은 먼저 모션의 재생 처리를 실시한 후에 실시하는 것을 추천합니다.

// 재생 중인 모션을 모델에 반영
_motionManager.updateMotion(_model, deltaTimeSeconds);

// 시선 추종 등의 값 조작이나 물리 연산 처리

// 모델 정점 정보 업데이트
_model.update();

또한 재생하는 모션에 모든 파라미터가 사용되고 있지 않은 경우나 모션의 재생이 정지하고 있는 등의 이유로 파라미터의 값을 조작하지 않는 경우 이전 프레임에서 실시한 값 조작의 결과가 남아 있는 상태가 됩니다.
그러므로 나중에 수행하는 상대적인 파라미터의 값 조작 결과가 의도하지 않은 것이 될 가능성이 있습니다.
이것은 모션을 모델에 반영시키는 처리의 전후에 CubismModel.loadParameter(), CubismModel.saveParameters()를 호출함으로써 그 후에 실시하는 상대적인 값 조작을 리셋할 수 있습니다.

// 모든 파라미터의 값을 저장 시 상태로 복원
_model.loadParameters();

// 재생 중인 모션을 모델에 반영
_motionManager.updateMotion(_model, deltaTimeSeconds);

// 모든 파라미터의 값을 저장
_model.saveParameters();

// 상대적인 값 조작 처리

// 모델 정점 정보 업데이트
_model.update();

시선 추종이나 물리 연산, 모션의 재생 등의 처리 자체에 대해서는 각각의 문서를 참조해 주세요.

• 표정 모션에 대해서
• 물리 연산
• 포즈에 대해
• 자동 눈 깜빡임
• 립싱크
• 유저 데이터 정보
• 모션에 대해

물리 연산이나 _model.update 함수로 업데이트된 정점 정보 등을 렌더러에 전달하면, Cubism 모델을 화면에 그릴 수 있습니다.

5. 모델 파기

Cubism SDK for Java에서는 기본적으로는 리소스의 해방을 가비지 콜렉션에 맡기고 있지만, 모델 생성에 있어서는 Java Native Interface(JNI)를 사용해 Native 함수에 액세스하는 것으로 실현했습니다.
따라서 이 부분에 관해서는 delete 처리를 실행할 필요가 있습니다.

// 모델 데이터 파기
userModel.delete();

6.Cubism Framework 종료 처리

CubismFramework가 확보한 공통 부분의 리소스를 해제하려면 CubismFramework.dispose()를 호출합니다.
CubismFramework.dispose()는 CubismFramework.initialize()를 호출하기 전에 호출하지 마십시오.

// CubismFramework 파기
CubismFramework.dispose();