결측치 추정을 위한 상관 그래프 기반 준지도학습

Abstract

데이터의 레코드 중에 하나 이상의 속성값이 없는 경우는 비일비재하다. 의외로 많은 경우에 있어서 데이터의 수 대비 결측치가 없는 완전레코드의 수의 비율이 적다. 이에 대하여 평균값, 최빈값, 그리고 중앙값 등으로 대체하는 통계적 방법이 가장 보편적으로 쓰이고 있다. 또한, 기계학습에서도 K-최근접이웃 탐색이나 의사결정나무 등을 활용한 결측치 추정방법들이 자주 활용된다. 전자는 각 속성의 대표값으로 대체하는 전역적인 방법인데 반해 후자는 해당 레코드의 유사한 레코드들의 속성값으로 대체하는 지역적인 방법이라 할 수 있다. 그러나 한 속성의 값이 대부분 결측된 경우라면 두 방법 모두 한계가 있어 활용하기에 적절치 않다. 이러한 한계를 극복하기 위하여 본 연구에서는 결측치의 속성과 상관성이 큰 이웃 속성들로부터 값을 추정하는 방법을 제안한다. 제안 방법은 속성 간 상관성을 기반으로 하기 때문에 한 속성의 대부분의 값이 결측이 되더라도 활용할 수 있다. 방법론으로는 속성들 간의 상관계수로 이루어진 상관 그래프를 만들고 그래프 기반 준지도학습을 적용한다. 결측치는 다른 속성들로부터 상관계수에 비례하여 전파되어 추정된다. 비교 실험 결과, 제안 방법이 기존 방법들보다 우수함을 보였다.