분산 처리 알고리즘을 이용한 대용량 데이터의 로지스틱 회귀분석

Abstract

일반적으로 로지스틱 회귀분석(Logistic regression)과 같은 전통적인 통계분석 방법은 한 기관의 데이터를 이용하도록 설계되어 있다. 기존의 통계 방법론을 분산 연구망(Distributed research network, DRN)에 적용하면, 다기관의 데이터를 활용한 연구가 가능하다. 이전의 연구를 통해 다기관의 데이터를 활용하는 방법은 알려져 있으나, 대용량을 가진 다기관의 데이터를 분석하기에는 적절하지 않다. 본 연구에서는 대용량 데이터를 보유한 다기관의 데이터를 분석할 수 있는 로지스틱 회귀방법을 제시하는 것을 목적으로 한다. 이 방법을 bigLR이라 명명하였다. bigLR은 다기관의 대용량 데이터를 활용한 로지스틱 회귀분석 방법이다. 로지스틱 회귀분석은 뉴턴-랩슨 방법(Newton-Raphson method)을 이용한 최대우도추정법(maximum likelihood estimation, MLE)에 따라 회귀계수를 추정한다. 이 과정에 R에서 대용량 데이터 처리에 활용하는 데이터 덩어리(Chunk) 개념을 적용하여 bigLR-single 방법을 제시하였다. 이 방법을 기존의 다기관의 데이터를 이용한 로지스틱 회귀분석 방법에 적용하여, bigLR-dist 방법을 제시하고 다기관의 데이터를 이용한 로지스틱 회귀방법에 대용량 데이터를 처리할 수 있도록 하였다. 전통적인 방법과 비교하였을 때, 추정된 계수의 차이를 보이지 않았다. 이를 통해 동일한 잘 알려진 수학적인 방식으로 동작하기 때문에 결과에 차이가 없음을 확인하였다. bigLR은 공통 데이터 모델을 기반으로 하는 분산 연구망에 적용 가능하다. 각 기관별 결과가 아니라, 통합된 데이터로 분석하는 결과와 동일한 하나의 회귀모형을 도출할 수 있다. 이를 통해 다양한 국내외 공동연구 수행에 기여할 수 있을 것이라 기대한다.