빅데이터 및 인공지능 기술을 이용한 가상화 인텔리전스 시스템 구축

Abstract

오늘날 인터넷의 환경에 방대한 자료가 정형(Formal Data), 비정형(웹문서, 이메일, 소셜데이터등)의 형식의 데이터가 급속도록 증가하고 있다. 따라서 기존의 방식으로는 수집된 데이터을 저장, 관리, 분석이 어려울 정도로 데이터가 커지고 관리하기 힘든 상황이다. 그에 따른 정보 손실이 적고 효율적인 빅데이터 저장처리 연구가 필요한 실정이다. 최근 다크웹을 이용한 범죄 및 개인정보 유출 등 사회적 이슈가 증가됨에 따라 다크웹에 대한 정보를 수집・분석 소요가 증가되는 실정이며, 그에 따른 빅데이터 및 인공지능을 활용한 연구가 활발히 진행되고 있다. 본 논문에서는 최적화된 기술을 제안하고자 하고, Surface Web 및 Dark Web에서 정보를 효율적으로 수집하기 위해 단일 서버에 수집체계를 구성하는 방법과 가상화 솔루션을 이용하여 수집하는 것을 실험하였으며, 실험을 통해 가상화 솔류션을 비교한 결과 하이퍼바이저 가상화(Hypervisor Virtualization) 및 컨테이너 가상화(Container Virtualization)을 효율적으로 구성하여 구축하는 것이 성능이 높은 것을 확인하였다.