VR기기없이 핸드트래킹/풀트래킹 VSeeFace+TDPT로 해결해보자

 

VR없이 3D 바디 풀트래킹 하는 방법이 있다?Three D Pose Tracker

새벽에 VR기기 없이 바디 트래킹 하는 방법에 대해서 글을 하나 썼는데... 하다 보니 욕심이 좀 나서 얼굴도 붙여보려고 VUP을 이용했었습니다. 여기서 문제가 발생했는데 VUP은 옆/뒷모습을 제대로 보여주질 못하더라고요. 그래서 이거 저거 뒤져보다가 이게 더 괜찮겠다 싶은걸 하나 물어왔습니다.

 

 

ThreeDPoseTracker에서 얼굴을 제외한 트래킹 정보를 가져와서 VSeeFace의 얼굴 트래킹 정보와 합쳐 사용하는 방법이기 때문에 ThreeDPoseTracker관련해서는 위에 글을 읽고 미리 세팅해주시면 되겠습니다.

 

 

 

VSeeFace

VSeeFace입니다. 현재 무료로 사용 가능하며 언어에서 한글 지원도 합니다!!

 

 

압축파일을 풀어주면 딱히 설치는 필요없었습니다. VSeeFace.exe를 실행해 주시면 되겠습니다. 오래간만에 윈도우 보호 메시지 없이 실행이 되네요;;

 

 

 

처음에 실행하면 튜토리얼부터 나오니 냅다 스킵 누르는 분들도 계실텐데 좌측 하단에 잘 보시면 언어 선택이 가능합니다. 한국어로 바꿔주겠습니다.

 

 

 

다른 내용은 크게 쓸모는 없어 보이지만 한번 보시면 그래도 도움이 좀 될 것 같고... 카메라 무빙 관련 키는 알아두시는 게 좋을 것 같아서 하나 더 첨부해둡니다.

 

 

 

 

VRoid Studio!! 모델링 지식 없이 3D 버츄얼 캐릭터 만들기!!

화면 한가운데 커다란+아바타추가 버튼을 눌러줍니다. 미리 만들어둔 모델링(VRM) 파일이 있다면 불러와 주시면 되겠습니다. 전 VRoid Studio에서 미리 만들어둔 캐릭터를 불러왔습니다.

 

 

 

화면 가운데에 캐릭터를 한번 더 클릭해주면 우측에 설정창이 등장합니다.

카메라 : 웹캠선택(저는 드로이드캠을 써서 진행했습니다)

카메라 설정 : 저는 하나밖에 안뜨던데;; 아마 해상도 선택이지 싶습니다

카메라 프레임 속도 : 30 FPS 정도면 문제없이 진행 가능할 것 같습니다

트래킹 품질 : 고품질(윙크 지원)이 가장 높은 설정이던데... 전 캠 성능이 나빠서 윙크 인식률이 상당히 낮습니다 ㄷㄷ

마이크 : 따로 마이크는 사용하지 않았습니다.

 

 

 

 

VR없이 3D 바디 풀트래킹 하는 방법이 있다?Three D Pose Tracker

위 링크에서 VUP대신 VSeeFace를 이용하기 때문에 위 링크에서 VUP 이전 단계까지는 진행이 되어있어야 합니다.

이제 캐릭터가 캠과 연결되어 상반신/목/머리/눈/입이 움직일텐데 손이나 하반신을 사용하지 못할 겁니다. 다른 부분도 움직이기 위해서 ThreeDPoseTracker의 트래킹 정보를 가져오겠습니다. 가장 우측 위에 설정->일반설정으로 들어가시면 옵션 내역이 잔뜩 있는 작은 창이 하나 등장합니다.

 

 

 

쭉 내리다 보면 OSC/VMC에서 데이터 받기(트래킹 비활성화) 옵션에 체크해주세요. 얼굴 표정은 VSeeFace를 사용할꺼니까 아래에 VSeeFace 트래킹 수신도 체크해줍니다. 그리고 그중에 표정 수신, 얼굴 트래킹(하부 포함)에도 체크해줍니다. 이제 얼굴은 VSeeFace에서, 얼굴을 제외한 부분은 ThreeDPoseTracker에서 트래킹 하게 되었습니다.

 

 

 

좌측 바디 트래킹 / 우측 페이스 트래킹

VUP이나 VMagicMirror에서는 잘 표현이 안되었던 손등, 옆모습, 등뒤까지 표현이 잘되네요. 뭐 사실 옆모습이나 등 뒤는 카메라 각도를 변경시켜 보여주는 방법도 있지만 아무래도 이게 자연스러워 보이네요. 캠이 성능이 좋지 못해 인식률이 좀 떨어짐에도 불구하고 꽤 준수한 결과물을 보여줬다고 생각합니다. 움짤 찍기 귀찮아서 따로 못 올렸지만 전신도 꽤나 깔끔하게 적용되었습니다. 일단 ThreeDPoseTracker에서 잡힌 트래킹 정보는 완벽하게 전송되어 적용된다고 보면 될 것 같습니다.

 

 

 

VSeeFace는 수신된 트래킹 신호중 어떤걸 사용할지 부위별로 선택할 수 있어서 좋았습니다. 다만 손을 제외한 얼굴만을 보았을 때 범위나 감도 등의 세부 설정이 VUP에 비해 직관적이지 못하고 약간 미흡한 부분도 보여 아쉬웠습니다. 그래도 현재까지 테스트해본 스마트폰+무료 프로그램 조합에서는 ThreeDPoseTracker+VSeeFace가 가장 훌륭한 결과물을 보여주었습니다.