4차산업이후 인터넷의 사용이 폭발적으로 증가하면서 사이버보안의 위협 또한 증가하였고 기존에 없던 새로운 위협을 탐지하고 대응할 필요성이 대두되었다. 이상탐지(Anomaly Detection)는 새로운 위협을 탐지하는 방법 중의 하나로 정상적이지 않은 이벤트를 공격으로 예측한다. 하지만 기존의 침입탐지시스템(IDS)은 오탐(정상이벤트를 비정상이벤트로 잘못 탐지)율이 높아 이를 사람들이 직접 확인해야하는 어려움이 있었다. 또한 기존 시그니처, 롤 기반의 탐지를 벗어나 사이버 위협이 진화하면서 새로운 공격을 탐지하지 못하는 미탐 문제가 발생하고 있다. 따라서 기계학습 및 딥러닝을 이용하여 이를 해결하기 위한 다양한 연구가 이루어졌다.
본 연구는 IDS에서 활용하는 시스템콜(System call)의 시퀀스(Sequence)에서 시스템콜간의 유의미한 상관관계를 찾아 새로운 방법으로 임베딩(Embedding)하여 기계학습을 통해 이상탐지를 하는데 오탐율을 낮추고 새로운 공격에 대한 미탐을 제거하여 성능을 높이는 방법에 대한 연구이다. 시스템콜은 현대 컴퓨터 시스템을 잘 반영하는 ADFA데이터를 사용하여 실험하였다. 시스템콜 시퀀스를 빈도기반통계모델(Frequency-based Statistical Model)과 패턴기반모델(Pattern-based Model)로 임베딩하고 딥러닝 분류기법인 GRU모델을 통해서 분류하여 성능을 비교하였다. 시스템콜 시퀀스에 빈도확률기반의 임베딩 기법과 패턴기반의 임베딩 기법 모두 공격데이터를 찾는데 높은 성능을 보여주었으며, 이상탐지에 충분히 활용 가능한 성능을 확인할 수 있었다.