VR없이 3D 바디 풀트래킹 하는 방법이 있다?Three D Pose Tracker

포스팅에서 프로그램 테스트 결과물을 움짤(WebP)로 여러 개 첨부해서 로딩에 상당히 시간이 걸릴 수 있습니다. 이미지가 보이지 않는다면 잠시 기다려주시거나 새로고침 해주세요.

웹서핑을 하던 도중에 VR이 없어도 풀트래킹을 할 수 있는 데다가 현재 무료로 프로그램을 다운로드하여 볼 수 있어서 냅다 진행을 해봤습니다. 이번 글에서는 얼굴은 제외 몸만 우선 인식되는지 돌려보겠습니다!

 

오늘 알아볼 프로그램은 TDPT(Three D Pose Tracker)입니다. 웹캠으로 인식한 24개의 트래커를 통해서 인식되며, 상반신/전신 모드의 변경이 가능하고, 모션 데이터의 기록까지 가능하고 합니다!! 일단 VR기기값과 프로그램에 들어갈 돈이 굳기 때문에 당장 테스트를 해보겠습니다 ㄷㄷ

 

 

 

준비물

• 웹캠(혹은 스마트폰)
• 트래킹 프로그램 - TDPT(Three D Pose Tracker)
• 3D모델링 파일 - VRM파일

 

 

 

다운로드

TDPT(Windows版) - デジスタSHOP - BOOTH

부스에서 현재 0원에 다운로드가 가능해서 부스 주소를 첨부해둡니다. 무료니까 냉큼 받아서 테스트했는데 대머리 되는 건 아닌지...

 

 

링크에 가보시면 위와 같은 사이트가 뜨는데 우측에 Free Download 버튼으로 다운받으시면 되겠습니다. 후원도 가능하긴 한데 일단 무료로 받아서 사용해보겠습니다. 다운로드 받으시려면 픽시브아이디로 부스에 가입되어있어야 합니다.

 

 

 

설치 및 실행

압축파일이 하나 다운 받아졌을텐데 압축 풀고 나면 우측과 같은 파일들이 보입니다. 그중에서 ThreeDPoseTracker.exe를 실행해주세요.

 

 

어휴... 윈도우 비인가 프로그램답게 당연하다는 듯이 파란 창이 떠주네요;;; 추가정보->실행을 눌러주면 프로그램이 실행되는 것을 확인할 수 있습니다.

 

 

 

아바타 불러오기(VRM로드)

Add Avatar 버튼을 클릭해주면 반투명한 창이 하나 나타납니다. 거기서 다시 File 버튼을 클릭 해줍니다.

 

 

원하는 경로로 이동해서 모델링 파일(VRM파일)을 불러오기 해주고 ADD버튼을 클릭해주면 잠시 아바타를 불러오는 로딩 시간이 걸립니다.

 

 

 

미리 만들어둔 아바타가 잘 불러와졌네요!!! 저처럼 아바타를 미리 준비하신 분들은 괜찮겠지만 아닌 분들은 따로 구매하거나 제작을 하셔야겠죠?? 퀄리티 높은 모델링을 원하시면 역시 제작을 의뢰하시거나 구매하시는 것이 좋다고 생각합니다. 저는 최대한 비용을 줄여서 진행하는 방법, 무료 혹은 0원에 가깝게 진행 가능한 방법을 찾고 있고 딱히 디자인이나 3D 등을 공부한 사람은 아니라서 VRoid Studio로 만든 캐릭터를 사용했습니다.

 

 

 

 

VRoid Studio!! 모델링 지식 없이 3D 버츄얼 캐릭터 만들기!!

지금까지 버츄얼+트래킹 테스트하면서 VRM파일로 저장 가능한 간단한 3D 모델링 제작 툴이라서 여기저기 제일 잘 써먹고 있는 게 VRoid Studio 였습니다. 생각보다 어렵지 않으니까 도전해보시면 될 것 같습니다. 인형 옷 입히기 하듯이 수정 가능하니까요 ㅎㅎ 다만 세세한 표현이나 이런 건 상당히 난이도가 높고 시간이 많이 필요합니다.

 

 

 

캠 연결

Source Device에서 자신의 캠을 선택해 주시면 되겠습니다. 저는 스마트폰에 드로이드 캠을 연결해서 사용했습니다!(드로이드캠 연결 시 DroidCam Source2, DroidCam Source3 등 여러 개가 생성되는 경우가 있는데 저는 3번에서 소스가 잡혔습니다.

 

 

 

핸드폰 웹캠/핸드폰을 캠으로 방송하기

스마트폰을 캠 대용으로 활용하실 분들은 드로이드캠 설치해서 사용하시면 되겠습니다. 뭐 화질이 높은 건 아니지만 그래도 트래킹을 잡는데 크게 문제는 안됐습니다.

 

 

 

옵션변경

Configuration 버튼을 클릭하면 반투명 창이 뜨는데 여러 가지 옵션을 변경할 수 있습니다. 전체를 다 설명하기에는 너무 긴 시간이 필요하니 제가 사용했던 것들만 몇 가지 설명을 하겠습니다.

 

 

Images 탭에서는 현재 화면에 보이는 것들을 바꿀 수 있었습니다.

Show Source image : 배경에 내 캠 화면이 보여줍니다

Mosaic : 배경에 내 캠 화면을 모자이크 처리합니다

Show Input Image : 좌측 상단에 작게 내 캠 화면을 보여줍니다

Mirror Mode : 거울 모드로 좌우 반전을 해줍니다

Show Background : 선택한 배경 이미지를 보여줍니다.(미사용시 초록색 크로마키)

 

 

 

UpperMode 탭에서는 상반신 모드, 핸드 트래킹 관련 설정을 할 수 있었습니다.

Use Upper Mode : 상반신 모드 사용 여부(미사용시 전신)

Use HandTracking : 손가락 트래킹 여부

 

 

 

바디 트래킹 결과물

상반신 모드 + 핸드 트래킹

상반신 모드에서 핸드 트래킹을 사용해보니 빠르지는 않지만 손가락이 다 인식되는 걸 확인할 수 있었습니다. 제방이 약간 갈색톤이라 피부색이랑 흡사한지 정확히 못 잡는 기분인데.... 배경과 피부색 차이가 뚜렷하면 더 정확하게 잡힐 것 같습니다.

 

 

 

전신모드 + 핸드트래킹

전신 모드에서 핸드 트래킹을 사용했습니다. 제방이 좀 좁은 데다 카메라 화각이 안 나와서 종아리 부분부터 잘리다 보니 트래킹에 좀 에러가 있긴 했지만 상당히 잘 잡아주는 모습을 보였습니다. 좌측, 우측, 뒷모습까지 인지하는 걸 보면 일단 전신이 화면에 다 담기기만 하면 문제없이 트래킹 되는 걸로 확인됩니다.

 

 

 

얼굴도 연결해보자

VUP과 스마트폰으로 나도 버튜버!!

저는 기존에 VUP이라는 프로그램을 사용하고 있었습니다. 스마트폰을 제외한 장비가 없었기 때문에 핸드 트래킹, 바디 트래킹, 핸드 트래킹이 불가능한 상태로 상반신 몸, 머리, 얼굴 표정 정도만 가능한 상태였습니다. TDPT(Three D Pose Tracker) + VUP을 사용해서 전신 트래킹 + 얼굴 표정(눈/입)까지 사용해보겠습니다. 혹시 다른 프로그램을 사용하시더라도 VMC Protocol을 지원하면 사용 가능한 방법입니다.

 

 

 

ThreeDPoseTracker에서  Configuration -> Others -> Send VMC Protocol 체크, Rot 체크 해준 뒤에 Port 번호를 기억합니다. 이건 ThreeDPoseTracker에서 트래킹 정보를 외부로 보내는 기능입니다.

 

 

 

VUP을 실행해서 Broadcast -> Body Capture -> VR motion capture (VMC protocol)을 on으로 변경 Port에 아까 기억한 번호가 기재되어있는지 확인합니다. Bone position synchronization에 체크해줍니다. 이건 외부에서 보낸 트래킹 정보를 받아 모델링에 적용하는 기능입니다.

 

 

 

바디 트래킹+페이스 트래킹

다시 말씀드리지만 저는 스마트폰 하나에 드로이드캠을 설치해서 진행했습니다. 그러다 보니 상반신 모드의 경우 캠이 가까워서 얼굴 표정도 꽤나 정밀하게 인식된 반면에... 전신 모드는 얼굴 표정이 약간 자기 멋대로네요;;; 2개의 캠을 설치하고 바디와 페이스에 각각 활용하면 훨씬 좋은 결과물이 나올 것 같습니다.

 

추가적으로 TDPT에서는 자연스럽게 옆, 뒤 모습을 볼 수 있는데 VUP에서는 옆이나 뒷모습이 잘 안 되었습니다;;; 상반신 결과물은 꽤나 만족스러운데 전신으로 진행하려면 다른 프로그램을 조금 더 찾아봐야 할 것 같습니다.