Q-learning based Light-weight Routing Protocol in UAV Relay Networks

Abstract

FANETs은 네트워크를 구성하고 있는 UAVs의 빠른 이동성으로 인해 네트워크 토폴로지가 급변한다는 성질을 가지고 있다. 기존 연구들은 네트워크의 안정성을 높이기 위해 최적의 라우팅 메트릭을 설정하는 방법을 사용하거나 노드의 위치 예측 기술을 적용하여 토폴로지 변화를 예측하는 방법을 사용하여 네트워크 성능을 향상시켜왔다. 하지만 기존의 방법들은 최적 경로를 유지하기위해 발생하는 네트워크 제어 오버헤드가 발생한다. 제어 오버헤드는 네트워크 성능을 저하시킬뿐만 아니라 한정적인 자원을 가진 UAVs의 자원 소모를 높이기 때문에 네트워크 수명이 줄어드는 문제가 발생한다. 이 문제는 UAV 중계 네트워크에서 실시간 데이터의 QoS 저하로 이어질 수 있다. 본 논문은 낮은 오버헤드를 발생시키며 네트워크 성능을 높이는 Q learning 기반의 경량화된 라우팅 프로토콜을 제안한다. Q-learning 기법은 학습에 필요한 자원이 적게 필요한 강화 학습 기법중 하나이며, 동적인 상황에 적응할 수 있기 때문에 최적의 경로를 찾는데 사용된다. 본 논문에서 제안하는 라우팅 프로토콜은 1) 경량화된 라우팅 메트릭을 사용하여 Q-learning 기반 라우팅을 수행하고, 2) 실시간 데이터의 QoS를 보장하기 위해 네트워크 상황이 불안정할 때 비실시간 데이터를 캐싱한다. 또한, 제안하는 라우팅 프로토콜은 제어 오버 헤드를 낮추기 위해 네트워크 상황에 따라 hello 메시지의 주기를 조정한다. 결과적으로 Q learning 기반의 라우팅 프로토콜은 낮은 오버헤드로 인해 네트워크 성능이 향상되고, 실시간 데이터의 딜레이가 줄어드는 장점을 갖는다.