학습관성을 활용한 신경망 연결가중치 제거 방법

Abstract

본 연구에서는 인공 신경망 학습에 유효한 연결가중치를 보존하고, 그렇지 못한 연결 가중치를 제거하는 regularization 방법을 제안하고자 한다. 제안 방법론은 Dropout과 Dropconnect의 가중치 제거 방식을 개선하여 무작위로 가중치를 제거하는 방식이 아닌 학습이 잘되는 가중치를 보존하고 학습이 부진한 연결가중치를 제거한다. 제안 방법론은 학습이 잘 이루어지는 연결가중치가 계속해서 학습이 잘되고, 그렇지 못한 연결 가중치들은 학습이 계속 부진한 현상을 관찰함을 비롯되었다. 이러한 현상을 학습관성이라고 정의하였고, 이를 활용한 신경망 연결가중치 제거 방법을 제안한다. 신경망 모델의 가중치 중 계속해서 값이 업데이트 되는 가중치를 활성 가중치, 학습이 계속 부진한 가중치를 비활성 가중치라고 정의하였다. 제안 방법론은 연결 가중치의 값 분포를 통해 비활성 가중치를 식별하여 이를 학습에서 제외하여 regularization을 수행한다. 실험을 통해 제안 방법론이 regularization 성능을 있음을 확인했고, 기존 방법론에 비해 학습 속도가 약 30% 빠름을 확인했다. 또한, 대부분의 벤치마크 데이터에서 기존 방법론에 비해 높은 분류 성능을 보이는 것을 검증했다.