오늘은 주말인데도 아침부터 집중이 잘 되었다. (이런 날이 흔치 않은데..)
아침에 데이터사이언스 강의를 연달아서 3~4강은 들은것같다.
아직 파이썬 복습을 하는 부분인데 내가 배운 파이썬은 대학교와서 1학년 1학기때 프로그래밍 첫 수업으로 듣고 교양으로 수업을 들었던게 다였기 때문에 지금까지는 그냥 필요한 부분들을 찾아서 독학으로 했었다.
그리고 텐서플로우로 주피터 노트북 설치 후에도 그냥 나혼자 랩실 인턴하면서 만져본게 다여서 이번 파이썬 강의를 주피터 노트북으로 배우면서 단축키나 별거아니지만 코드를 빨리 작성할 수 있는 방법들을 많이 배우게 되는것같다.
magic command도 처음 써보고 단축키도 처음 알게 되었고, 강사님이 복잡도를 줄이면서 코딩하는 쪽으로 이것저것 많이 알려주셔서 지금까지 내가 삽질하고 있었다는 생각이 들 정도로 복습다운 복습이자 새로운 걸 배우고 있는 느낌이 든다.
그렇게 해서 오늘까지 강의 진도율은 6.1%이다.
이번주까지 졸업프로젝트에서 쓸 모델과 알고리즘을 확정짓기로 했다.(멘토님이 이 단계가 우리 프로젝트에서는 매우 중요하다고 하셨다)
지난번에 마젠타프로젝트에서 모델을 만들었었는데 그 모델로 돌렸을 때 결과가 동요라기에는 너무 기괴했다.
모델 수정은 어려울것같아 데이터셋을 다시 정리해보았다.
원래 midi가 135곡 밖에 안되고 일일이 직접 midi를 다 듣고 정리를 한뒤, 쓸만한 midi 109곡만 정리해서 모델에 훈련시키기로 했다.
마젠타는 학습시키기위해 100개이상의 데이터가 필요한데 지금 우리 데이터가 너무 작다 보니 validation이나 test data까지 생각하면 많이 부족하긴하다.
데이터를 더 추가해야 할것같아서 구글에서 동요 음원을 받아 mp3를 midi로 변환했는데 악기를 여러개로 반주한 파일이나 노래가 같이 섞여있으면 midi로 변환했을 때 깔끔하게 나오질 않는다.
차라리 악보를 pdf로 받아 midi로 변환해주는게 더 깔끔한것같다.
마젠타에서 데모로 보여주는 곡은 퀄리티가 좋았는데 전문가가 피아노로 1400개의 미디를 입력했고, 그 미디들을 30초단위로 자르고 major third로 pitch를 조정했다고 한다.
데이터셋을 만들고 전처리하는데는 아직 전문가의 손이 많이 필요한것같다.
음악을 전공하지도 않았고 잘 모르는 우리 팀에게 데이터변환과 전처리란 너무 힘든것같다ㅠㅠ
109개의 데이터셋으로 수정해서 다시 훈련시켜 모델을 생성했다.
log-likelihood가 로그 가능도라고 하는데 -1800 정도라니,,, (pre-trained 모델을 사용했을 때는 -100안팎이었다.)
이게 3번째 시도로 훈련을 시킨 모델이다.
"batch_size=128,rnn_layer_sizes=[128,128]" 원래의 default값으로 돌려보았다.
결과물은 크게 달라진것같진 않다.
그래도 매우 조금? 괜찮아 진것 같긴한데 아직 동요와는 너무 거리가 멀다,,,ㅋㅋㅋㅋ
그리고 문제점 하나 더. 마젠타로 학습을 시키고 midi 결과물을 한번 생성하고 나면 다시 midi가 만들어지지 않는다.
그래서 다시 학습을 시키고 결과물을 만들어 내야한다는거,,
지금은 그래도 속도가 오래 걸리지는 않은데 (gpu를 쓰고 안쓰고는 진짜 차이가 큰것같다!) 나중에 서비스 제공차원에서 매번 학습을 시켜야한다면 너무 비효율적이다.
5번째 시도까지 해봤는데 결과물에 별 차이가 없다ㅠㅠ
☆ Magenta 해결해야 할것
-데이터셋(적어도 200+a)
-전처리(30초씩 끊는다던가 속도조절?)
-매번 학습시키지않고 결과물 midi 출력
-곡의 속도 조절방법(동요라기에 한 마디에 짧은 음들이 너무 많음)
-Validation 알고리즘 찾기, 적용(이건 어느정도 괜찮은 결과물 나왔을때)
댓글