MapReduce 프레임워크를 위한 JobTracker 결함허용 메커니즘

Abstract

최근 IT업계의 최대 이슈 가운데 하나로 클라우드 컴퓨팅을 들 수 있다. 클라우드 컴퓨팅 서비스는 이미 우리 주변에서 다양한 방법으로 활용되고 있으며, 향후 IT 산업의 기반 기술로 각광받으리라 예상이 된다. 클라우드 컴퓨팅 서비스를 제공하기 위해서는 클라우드 컴퓨팅에 적합한 데이터의 분산 저장 및 병렬 처리가 가능한 IT 인프라 구축이 필수적이다. 이를 위해서 분산 파일 시스템 중 하나인 HDFS(Hadoop File System)와 병렬 데이터 처리를 지원하기 위한 MapReduce 프레임워크 관련 연구가 각광 받고 있다. MapReduce 프레임워크는 저비용으로 고효율의 분산 데이터 병렬 처리 시스템을 구축하는데 효과적이지만, MapReduce 프레임워크를 구성하는 핵심 노드 가운데 하나인 JobTracker 노드는 MapReduce 프레임워크의 SPoF(Single Point of Failure)이기 때문에, 작업 도중 JobTracker 노드에 결함이 발생하게 되면 전체 작업이 실패하게 된다. 위와 같은 문제를 해결하기 위해서 본 논문에서는 MapReduce 프레임워크의 JobTracker 노드 결함 발생에 대처할 수 있는 결함허용 메커니즘을 제안하고 성능 평가를 실시하였다. 기존의 MapReduce는 JobTracker에 결함이 발생하는 경우 진행 중이던 작업을 처음부터 다시 시작하여야 했기 때문에, 최악의 경우 약 2배에 가까운 작업 시간이 소요되는데 반해, 본 논문이 제안하는 결함 허용 메커니즘은 JobTracker 결함 발생시에 대기하고 있던 JobTracker가 이를 대체하여 진행 중이던 작업을 완료시킨다. 구축된 테스트베드 상에서 실시한 실험을 통해서 결함 발생 시 약 41%의 작업 완료 시간 단축 효과를 확인하였으며, 본 논문에서 제안된 JobTracker 결함 허용 메커니즘이 적용된 MapReduce 응용에 활용도가 높다는 것을 확인했다.