AI 노래 커버 만드는 방법(간단한사이트이용/AI학습이용)

요즘 AI로 유명인 목소리로 노래를 커버한 영상을 종종 접하게 되는데요. 이젠 들을 수 없는 옛날 사람들의 목소리라던지, 내가 좋아하는 가수의 목소리로 원하는 노래를 커버한다던지 하는 게 가능하더라고요!! 그래서 이 싱기방기한 기술을 어떻게 하는 건지 한번 알아봤습니다.

 

준비물

1. 목소리파일

2. 음원에서 목소리/MR을 분리한 파일

3. 구글계정

4. 시간

 

 

 

Musicfy를 이용한 방법

 

Musicfy

일단 쉬운것 부터 가보려고 합니다. Musicfy라는 사이드입니다.

 

1. 구글로 로그인하시거나 이메일로 계정을 만들어서 로그인합니다

2. 원하는 노래파일을 소스에 넣거나, 녹음을 하거나, 유튜브 링크를 가져옵니다

3. 아웃풋에서 목소리를 선택해 줍니다

4. Remix를 누릅니다

 

 

간단한 과정으로 노래에 선택한 목소리가 입혀지는 걸 확인할 수 있습니다. 목소리를 학습시키는 것도 가능한데 어느 정도 공부가 좀 필요해 보이네요! 결과물은 MR이 제거된 상태로 나오니까 MR을 다시 합쳐주는 과정이 필요하고 듀엣곡을 한 가지 목소리로 커버하거나 할 경우 생각보다 음질이 많이 깨지는 걸 볼 수 있습니다.

 

 

 

코랩을 이용한 모델 파일 만드는 방법(RVC) 

4 Steps RVC (rejekts) - rarely mantained

데이터셋을 준비하고 내 구글드라이브에 데이터셋을 업로드한 후에 상당의 colab링크로 들어가 구글계정을 연동하고 학습시킨 후 모델을 저장한 후 코랩에서 내가 저장한 모델파일로 목소리를 커버하는 방법입니다.

 

1. 구글 colab 웹실행, 혹은 로컬 설치

웹상에서 실행하면 일정시간마다 작업해주지 않으면 연결이 끊어진다고 하네요. 로컬로 진행하는 건 따로 해보지 못했습니다.

 

2. AI에게 학습시킬 목소리 파일을 준비합니다

MR, 에코, 리버브, 코러스 등이 없는 잡음 없는 깨끗한 목소리 데이터를 다량 준비합니다. 확장자는 WAV로 하셔야 합니다.

 

3. 데이터 파일을 mydataset.zip으로 압축해 줍니다.

학습하기 좋은 파일 길이등이 가이드에 나와있으니 참고해서 준비한 파일을 모두 모아 파일명 mydataset.zip으로 압축합니다.

 

4. dataset폴더에 mydataset.zip파일 복사

colab을 웹에서 실행하신다면 코랩에 연동할 계정 구글드라이브에 dataset폴더를 만드시면 됩니다.

 

5. 학습 진행

step2부터 순서대로 진행합니다. done이라는 녹색 글자가 나온다면 데이터셋이 제대로 불러와진 겁니다.

 

step3을 진행하고 기다리면 Running on public URL 이 나타납니다. 해당 링크로 이동하면 이제 본격적인 AI학습이 시작됩니다. 여기서 상당히 시간이 오래 걸리고 그러다 보면 웹으로 실행한 colab이 연결이 끊어지는 경우가 발생합니다. 그러면 지금까지 학습한 게 다 허사가 돼버리니 주기적으로 코랩을 눌러줘야 합니다;;;

 

step4로 왔다면 MODELNAME과 MODELEPOCH를 찾아서 적어줘야 합니다. 웹에서 실행하셨다면 맨 좌측에 폴더모양 아이콘을 누르고 Retrieval-based-Voice-Conversion-WebUI 폴더 안에 logs 폴더를 들어가면 모델 이름으로 된 폴더가 있으니 MODELNAME을 적어주고, 그 안에 데이터가 있으니 그중에 숫자가 가장 큰 폴더를 찾아 숫자만 MODELEPOCH에 적어줍니다.

 

여기까지 진행하셨다면 구글드라이브에 RVC폴더가 생성되고 내부에 학습된 모델 파일이 들어있는 것을 확인할 수 있습니다.

 

 

 

RVC v2 AI Cover Guide (by kalomaze)

영어로 되어있긴 하지만 튜토리얼과 가이드도 제공하고 있으니 참고하시면 조금 더 수월하게 진행하실 수 있습니다.

 

 

음원목소리에 학습된 목소리 덮기

4 Steps RVC (rejekts) - rarely mantained

이제 다시 코랩으로 돌아가서 목소리를 덮는 작업을 합니다.

step2에서 아까 생성한 모델명을 적어주고 url에 구글드라이브에 생성된 모델파일 주소를 적어줍니다.

step3의 easy_inferance 체크 후 실행해서 Running on public URL이 나타나면 링크로 이동해 줍니다.

처음과 조금 다른 인터페이스를 보여줄 텐데 여기서 중간에 파일 올리는 곳에 음원(목소리) 파일을 업로드해줍니다.

피치라던지 강약 조절등을 해준 뒤에 Convert를 누르면 보컬파일에 학습된 목소리가 씌워집니다.

 

모델 파일 만드는 데까지가 험난한 과정이었지 이후에는 크게 어려운 부분은 없으니 다행입니다!!

 

 

 

저작권은...

음원은 작사, 작곡, 가수, 연주 등에 대한 권리가  각각 존재하고 이 권리를 누가 소유하고 주장하는가는 또 다른 문제이기 때문에 저작권을 쉽게 이야기하기 어렵습니다. 내 목소리가 들어갔다고 해서 음원에 대한 저작권이 자유로워지는 건 아닙니다. 개인이 재미나 취미로 만들어 볼 순 있겠지만 이를 상업적으로 이용한다거나 하시면 아니되옵니다!