Resource Efficient and Model Converged Federated Learning With Pareto Optimality

Abstract

본 논문은 분산 학습의 하나인 연합 학습 환경에서 글로벌 모델의 수렴성과 자원의 효율 적인 소모에 대한 방법에 대해 제안하였다. 기존의 클라이언트와 서버가 직접 통신하며 모델 파라미터를 주고 받던 방식에서, 클라이언트의 위치 기반 클러스터링을 통해 D2D 통신망을 구축하였다. 구축된 클러스터를 통해 통신 거리 기반, 중앙에 위치한 클라이언트를 리더 클 라이언트로 지정함으로써 자원의 소모가 경감되는 계층적 구조의 연합 학습 프레임워크를 구축하였다. 또한, 기존 연합 학습에서 참여 클라이언트가 무작위 선출됨에 따라 발생하는 모델의 수렴성 저하와 서버의 병목현상 유발을 클라이언트의 학습 손실 값을 기준으로 참여 시킴으로써 문제점을 개선한다. 마지막으로, 연합 학습에서 모델의 수렴성과 자원의 소모는 trade-off 딜레마를 클라이언트의 자원과 손실 값을 통해 타원 함수 형태의 파레토 최적화 계산을 통해 합리적인 클라이언트 선택하는 효율적인 방안을 제시한다.