강화학습 기반의 최적 Pub/Sub 메커니즘 설계

Abstract

MQTT는 Publish/Subscribe 기반의 경량 메시지 프로토콜로, IoT 환경에서 주로 사용되고 있다. 기존의 MQTT 시스템은 subscriber가 subscribe 요청을 하면 지속적인 연결을 통해 요청받은 특정 토픽에 관한 메시지를 받을 때 실시간으로 전달해주는 구조를 가진다. 이 때문에 메시지들이 끊임없이 publish되는 IoT 환경에서는 불필요한 통신이 많이 생기게 되며 이로 인한 전력 소모도 발생하게 된다. 따라서 본 논문에서는 메시지의 중요도에 따라 subscribe 주기를 조절하여 주기에 맞춰 메시지를 한 번에 전송하는 구조를 제안함으로써 비효율적인 통신 구조를 개선하였다. 중요한 메시지가 자주 오면 주기를 줄이고, 중요하지 않은 메시지가 대부분의 통신을 차지하면 주기를 늘리는 것을 강화학습을 적용해 설계하였다. 강화학습 방법으로는 value-based learning을 대표하는 Q-learning과 policy-based learning을 대표하는 policy gradient learning 두 가지 학습방법을 비교하며 실험을 진행하였다. 그 결과 보상이 증가함을 확인할 수 있었고, 전력 소모량 또한 기존 MQTT 시스템과 비교했을 때 약 40-50% 가까이 감소함을 보였다.