Deep Deterministic Policy Gradient 기반 SDN 네트워크 부하 분산 방법

Alternative Title
Deep Deterministic Policy Gradient-based Network Load Balancing Method for SDN
Author(s)
정윤환
Alternative Author(s)
Yunhwan Jeong
Advisor
노병희
Department
일반대학원 컴퓨터공학과
Publisher
The Graduate School, Ajou University
Publication Year
2020-08
Language
kor
Keyword
DDPGDeep Reinforcement LearningLoad BalancingMachine LearningNetwork Control소프트웨어 정의 네트워킹
Abstract
소프트웨어 정의 네트워킹(Software-Defined Networking, SDN)은 기존 네트워크 장비와 달리 컨트롤 플레인과 데이터 플레인을 분리하여 중앙 컨트롤러의 소프트웨어를 통해 네트워크를 제어할 수 있는 기술이다. 최근 딥 러닝을 비롯하여 기계학습(Machine Learning)을 이용한 기법이 발전함에 따라 SDN에 기계학습을 접목하여 지능적으로 네트워크를 관리하고자 하는 연구들이 수행되고 있다. 한편, 네트워크 트래픽을 관리하여 병목 현상(bottleneck)을 완화하고 부하를 분산시키는 것은 네트워크 분야의 오랜 연구 주제이다. 이에 따라 SDN 환경에서 기계학습 기법 중 하나인 심층 강화 학습(Deep Reinforcement Learning)을 활용하여 부하 분산을 수행하고자 하는 연구들이 있었다. 그러나 기존 연구들은 실험용의 작은 토폴로지에서만 유효하다는 문제점이 있었다. 또한 심층 강화 학습의 학습 결과에 중요한 영향을 미칠 수 있는 보상함수 설계에 대해 자세히 기술되지 않았다. 더하여 심층 강화 학습의 특성상, 학습을 함과 동시에 네트워크 라우팅 경로가 지속적으로 변화한다. 이로 인해 네트워크 루핑 발생 가능성이 있으며, 학습 중 우수하지 못한 케이스의 파라미터가 실제 네트워크에 수 없이 적용되는 문제점이 야기될 수 있다. 따라서, 본 논문에서는 SDN 환경에서 보다 실제적인 부하 분산을 위해 심층 강화 학습 알고리즘 중 Deep Deterministic Policy Gradient(DDPG)을 활용하면서 동시에 최적의 부하 분산 파라미터를 추출하여 실제 네트워크에 적용하는 방법을 제안한다.
Alternative Abstract
Software-Defined Networking (SDN) is a technology that can control the network through the software of the central controller by separating the control plane and the data plane unlike the existing network equipment. Recently, with the improvement of techniques using machine learning, including deep learning, studies have been conducted to intelligently manage networks by grafting machine learning to SDN. Meanwhile, managing network traffic to alleviate bottlenecks and distribute load is a long-standing research topic in the network field. Accordingly, there have been studies that attempt to perform load balancing by using Deep Reinforcement Learning, one of the machine learning techniques in the SDN environment. However, existing studies have a problem that they are effective only in small topologies for experiments. In addition, the design of the compensation function, which can have a significant effect on the learning outcome of deep reinforcement learning, has not been described in detail. Moreover, due to the nature of deep reinforcement learning, network routing path changes continuously while training. This is likely to lead to network looping, and can cause problems where parameters of poor cases during training are applied countless times to the real network. Therefore, for more practical load balancing in SDN environments, this paper proposes a method to extract optimal load balancing parameters and apply them to the real networks while utilizing Deep Deterministic Policy Gradient(DDPG) among deep reinforcement learning algorithms.
URI
https://dspace.ajou.ac.kr/handle/2018.oak/19795
Fulltext

Appears in Collections:
Graduate School of Ajou University > Department of Computer Engineering > 3. Theses(Master)
Files in This Item:
There are no files associated with this item.
Export
RIS (EndNote)
XLS (Excel)
XML

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse