Deep Deterministic Policy Gradient 기반 SDN 네트워크 부하 분산 방법

Abstract

소프트웨어 정의 네트워킹(Software-Defined Networking, SDN)은 기존 네트워크 장비와 달리 컨트롤 플레인과 데이터 플레인을 분리하여 중앙 컨트롤러의 소프트웨어를 통해 네트워크를 제어할 수 있는 기술이다. 최근 딥 러닝을 비롯하여 기계학습(Machine Learning)을 이용한 기법이 발전함에 따라 SDN에 기계학습을 접목하여 지능적으로 네트워크를 관리하고자 하는 연구들이 수행되고 있다. 한편, 네트워크 트래픽을 관리하여 병목 현상(bottleneck)을 완화하고 부하를 분산시키는 것은 네트워크 분야의 오랜 연구 주제이다. 이에 따라 SDN 환경에서 기계학습 기법 중 하나인 심층 강화 학습(Deep Reinforcement Learning)을 활용하여 부하 분산을 수행하고자 하는 연구들이 있었다. 그러나 기존 연구들은 실험용의 작은 토폴로지에서만 유효하다는 문제점이 있었다. 또한 심층 강화 학습의 학습 결과에 중요한 영향을 미칠 수 있는 보상함수 설계에 대해 자세히 기술되지 않았다. 더하여 심층 강화 학습의 특성상, 학습을 함과 동시에 네트워크 라우팅 경로가 지속적으로 변화한다. 이로 인해 네트워크 루핑 발생 가능성이 있으며, 학습 중 우수하지 못한 케이스의 파라미터가 실제 네트워크에 수 없이 적용되는 문제점이 야기될 수 있다. 따라서, 본 논문에서는 SDN 환경에서 보다 실제적인 부하 분산을 위해 심층 강화 학습 알고리즘 중 Deep Deterministic Policy Gradient(DDPG)을 활용하면서 동시에 최적의 부하 분산 파라미터를 추출하여 실제 네트워크에 적용하는 방법을 제안한다.