확장된 이산 행동 영역에 적용한 강화학습 기반의 행동 특화된 전문가 모델 앙상블 트레이딩 시스템

Abstract

객관적이고 비교적 정확한 데이터가 넘쳐나는 금융 영역에서 기계학습을 이용한 연구가 활발히 진행되고 있으며 다양한 방법으로 시도되고 있다. 지도학습과 비지도학습을 활용한 많은 연구가 진행되지만 본 연구에서는 기본적으로 강화학습을 이용한 트레이딩 시스템을 연구하고 앙상블을 하여 성능을 높인다. 본 연구는 강화학습 기반의 트레이딩 시스템의 성능을 높이는 제안으로 첫째, 같은 데이터셋을 다양한 모델로 분석하여 이를 앙상블하거나 데이터셋을 다르게 하여 분석 후 앙상블하는 기존의 방식과 달리 차별화된 접근 방법으로 새로운 행동 특화된 전문가 앙상블 방법을 제안하여 일반 앙상블 방법보다 효과적인 결과를 실험으로 보였다. 행동 특화된 전문가 모델은 각각 매수, 보류, 매도에 특화된 모델이며 특정한 상황에서 각 행동에 대한 보상을 다르게 하여 전문가 모델을 구성하였다. 둘째, 기존 연구들에서 행동 영역을 연속적으로 접근하여 비중을 구하거나 매수, 보류, 매도의 3개의 이산 행동 영역으로 연구되던 방법들과 달리 차별화된 접근 방법으로 확장된 이산 행동 영역으로 접근하여 시장 상황을 스스로 분석하고 트레이딩 시스템의 수량을 스스로 조절하는 학습을 진행하였다. 기존의 거래 가능한 수량인 1개에서 최대 5개, 10개로 확장될 경우 강화학습 시스템이 잘 학습할 수 있는지, 어떠한 결과가 나타나는지 알아보았다. 이러한 제안된 방법들을 실험적으로 검증하기 위해서 S&P500, 항셍지수, Eurostoxx50의 3가지 데이터를 사용하였으며 20년간의 학습 기간, 11년간의 테스트 기간으로 동일하게 진행하였다. 그리고 보상 함수로 수익률, 샤프 지수, 소르티노 지수 3가지를 사용하여 비교해보았으며, 최종적으로 트레이딩 시스템 연구에서 자주 사용되는 보상 함수인 수익률과 변동성을 고려한 소르티노 지수를 사용하여 실험 결과를 도출하였다. 행동 특화된 전문가 앙상블은 평균적으로 39.1%의 상승효과를 보이며 일반 앙상블의 14.6%에 대비하여 효과적이었다. 행동 영역 확장의 경우 3-액션을 11-액션, 21-액션으로 확장하였고 각각 427.2%, 856.7%의 증가율을 보였다.