인공신경망 기법을 이용한 자동작곡시스템 개발에 대한 연구

Abstract

본 논문에서는 인공신경망 기법을 사용해서 음악적 흐름을 학습하고 이를 통해 새로운 곡을 작곡할 수 있는 작곡 시스템에 대한 연구를 진행하였다. 자동 작곡 시스템은 인간의 음악 창작활동을 모사하기 위해서 기본적으로 음악 데이터의 구조에 대한 생성 모델(Generative model)을 필요로 한다. 이를 위해 오랫동안 Markov Chain 기법, 유전 알고리즘, 인공 신경망, 셀룰라 오토마타 등 다양한 기법들을 이용한 연구들이 이루어져 왔다. 본 연구는 이 모델을 인공신경망 학습을 통해 구현하는 것을 목표로 진행되었다. 먼저 멜로디와 코드진행으로 이루어진 음악 데이터(MIDI)를 화성학적 의미를 지니는 텍스트 형태로 변환한 후, 인공신경망 기법 중 순차적 데이터 분석에 효과적인 LSTM RNN(Long Short-term Memory Recurrent Neural Network)기법으로 학습하도록 하였다. 학습된 인공신경망이 어떤 논리구조를 통해 음악의 순차적 정보를 해석하는지 확인하기 위해, 학습이 완료된 RNN의 은닉층(hidden layer)을 시각화해서 확인하였다. 또한 특정 느낌의 음악을 생성하기 위해서 곡의 느낌에 따라 분류된 미디 데이터로 seed 데이터를 준비한 후, 이를 RNN의 인풋으로 활용하여 비슷한 느낌의 곡을 작곡하도록 하여 결과를 확인하였다. 이를 통해 RNN이 실제로 음악의 흐름을 어떻게 학습하고 생성하는지 유추하고 향후 개선 가능성까지 가늠해 볼 수 있었다. 추가적으로, 같은 곡을 모티브로 한 여러 번의 작곡 결과물들 사이의 차별성을 높이기 위해 autoencoder기법을 사용해서 seed 데이터를 생성하도록 하였으며, 최종 음원의 퀄리티를 높이기 위한 후처리 작업과 오디오 렌더링 작업을 담당하는 모듈을 구현하였다. 또한 사용자가 웹사이트를 통해서 음원 생성을 요청하고 전달받을 수 있도록 웹서비스 형태로 최종 구현하였다.