하둡-Spark 기반 Top-K 콘텐츠 추천 기법 설계

Abstract

추천시스템 설계 시에, 모든 아이템에 대한 추천 정확도를 높이기보다는 Top-K(최상위)아이템 추천 리스트가 실제 “유저에 적합한 아이템인지?”여부 가 더 중요하다. 이에 본 논문에서는 이러한 Top-K 콘텐츠의 추천 정확도를 높이고자, 심리학적 개념인 편승효과(Bandwagon Effect)를 반영한 추천시스템을 설계하였다. 또한 대용량 데이터 분산 저장 및 고속 연산을 위하여 하둡과 분산 인 메모리 데이터 연산 프레임워크인 Spark를 통하여 제안된 추천시스템을 개발하였다. 왜냐하면, 과거의 선호도를 바탕으로 아이템을 추천하는 추천시스템에서는 대용량 데이터를 처리해서 개인의 취향을 파악하는 것이 필요하기 때문이다. 성능 평가에서는 MovieLens Dataset을 사용하여, 대표적인 예측 정확도 평가 지표인 RMSE(Root Mean Square Error)와 Precision@K를 통하여, 추천 모델의 성능을 분석하였으며, RMSE는 약 10% 개선되었으며, Precision@K는 최상위 추천 리스트인 Top-2~4에서 기존 모델에 비해 더 나은 결과를 보여주었다.