[Kalidoface]웹캠 1대로 버츄얼 풀트래킹/핸드트래킹 하는방법!!

VR기기없이 핸드트래킹/풀트래킹 VSeeFace+TDPT로 해결해보자

일전에 VSeeFace와 TDPT를 연동해서 캠한대(혹은 두대)로 풀트래킹 하는 방법을 적어봤는데 여기서 발생하는 가장 큰 문제가 캠 하나를 프로그램 두 개에서 동시에 인식을 못하는 부분이었습니다. 설정 난이도가 상당했던 부분도 문제였고요;;;

이런 문제를 한방에 해결해 줄 사이트를 하나 들고 와봤습니다! 설치도 필요 없고 버츄얼 모델+웹캠만 준비하시면 됩니다.

 

 

 

준비물

1. 모델링파일

2. 웹캠(혹은 스마트폰)

 

 

 

방법

 

Kalidoface 3D - Face & Full Body Tracking

오늘 여러 문제를 해결해 줄 Kalidoface3D라는 사이트입니다!! 설치도 필요 없이 웹에서 바로 구동 가능한 버츄얼이라니 기술의 발전이 무섭습니다 ㄷㄷㄷ 오늘은 Kalidoface 사용법하고 얼마나 잘되는지를 살짝 살펴볼까 합니다.

 

 

 

처음에 들어가면 보이는 모습입니다!!! 웹에서 구동을 해서 그런지 처음 들어갈 때, 파일을 불러올 때, 장치를 연동할 때 살짝 시간이 좀 걸리는 경우도 있었습니다. 어디서 많이 본 익숙한 인터페이스라 개발자가 같을 거라는 생각이 들지만 확인할 정도로 부지런하지 않아 넘어가겠습니다.ㅋㅋㅋ

 

기본메뉴는 우측하단에 나와있고 누르면 좌측에 사이드메뉴가 펼쳐져서 활용할 수 있는 방식입니다. 우클릭드래그, 좌클릭드래그로 카메라 위치나 카메라 각도를 변경할 수 있습니다.

 

 

 

사람모양의 아이콘(Characters)을 누르고 좌측 맨 상단의 업로드를 눌러주면 모델링 파일을 불러올 수 있습니다. 그냥 모델링 파일을 드래그해서 화면에 드롭해도 불러와집니다!! 채신기술 갱장해!!

 

 

 

백그라운드도 변경할 수 있고 모델링과 마찬가지로 이미지파일을 드래그&드롭하는 것으로 바꿀수도 있습니다. 저는 녹색 크로마키를 원하니 녹색으로 변경했습니다.

 

 

 

 

VRoid Studio!! 모델링 지식 없이 3D 버츄얼 캐릭터 만들기!!

저는 VRoid스튜디오로 만들어둔 VRM파일을 활용하겠습니다.

 

 

테스트할 때마다 등장해 주는 빨간 후드티입니다. 드래그&드롭으로 잘 불러와진 걸 확인했습니다. 

 

 

 

웹캠을 연결해 준 뒤에 카메라 아이콘(Start Face Tracking)을 눌러줍니다. 설정에 따라 브라우저에서 카메라권한에 대한 허가를 요청할 수 있습니다. 우측상단 톱니바퀴를 누르면 상반신/풀트래킹 설정이 가능하고 맨 아래에서 카메라 소스를 선택해 줄 수 있습니다. 

 

 

 

핸드폰 웹캠/핸드폰을 캠으로 방송하기

웹캠이 없는 분들은 위에 글 참조하셔서 스마트폰으로 진행하셔도 가능합니다. 안드로이드라면 위에 드로이드캠 링크 참조해 주시면 되겠습니다.

 

 

 

결과물

부분 부분 보기 위해서 풀트래킹으로 설정해 둔 상태에서 상반신과 핸드트래킹만 활용하는 것부터 테스트해봤습니다.

 

머리+눈+입은 생각보다 꽤 부드러웠습니다. 가끔 눈알 휙휙 돌아가는 게 좀 무섭긴 하지만... 무설치에 이 정도면 꽤 준수하다고 생각됩니다. 카메라 화각에서 벗어나지 않으면 얼굴 관련 트래킹은 상당히 만족스러웠습니다. 

 

 

 

핸드트래킹은 손가락까지 잘 인식되는 건 좋았으나 화면에 보이는 것보다 훠~~얼씬 크게 모션을 해야 했습니다. 트래킹 자체는 준수했으나 자세한 설정을 할 수 없다 보니 일단 손이 움직이는 것에 만족을 한다 수준에 가까웠습니다.

손은 지금 저게 얼굴높이 가까이 들고 있는 건데도 어깨보다 낮게 올라가네요;; 저런 부분 포지션을 지정해 줄 수 있었으면 훨씬 좋았을 거라 생각됩니다.

 

 

 

테스트환경상 캠화면에 발끝까지 나오지 않아 어색한 부분이 더 심한 건 양해를 좀 부탁드립니다 ㅎㅎ;; 환경이 좋으면 더 좋은 결과물이 나올 수 있을 것 같습니다.

 

 

팔다리 트래킹도 캠하나로 가능했습니다. 어색한 부분이 없는 건 아니지만 캠화각 안에 있는 트래킹점은 잘 잡아내고 있었습니다. 심지어 한 바퀴 도는 것도 인식해 주니 꽤 만족스러운 결과물이었습니다. 상반신만 캠 안에 잡혔을 때보다 전신이 잡혔을 때가 팔모션이 훨씬 자연스러웠습니다.

 

 

 

결론

눈동자 제한이나 팔 위치등의 세밀한 옵션이 없다 보니 만점을 주긴 어렵겠지만 무설치, 캠하나로 구동가능하다는 점을 생각하면 별 4개 정도는 주고 싶은 사이트였습니다. 특히 딱히 특별한 설정이나 준비 필요 없이 모델링만 준비하면 웹캠하나로 바로 시작해 볼 수 있다는 게 가장 큰 장점이 아니었나 싶습니다.

 

기존에는 여러 프로그램을 짜 맞추거나 좀 억지스럽게 캠하나로 풀트래킹을 했었다면 이제 진짜 버츄얼 장비가 없어도, 복잡한 설정 과정을 거치지 않아도 캠하나로 편하게 버츄얼 캐릭터를 구동하는 기술들이 무료로 나오고 있네요!!!