예측된 심층 특징점 정보를 이용하는 얼굴 흐릿함 제거 기법

Abstract

최근 얼굴 흐릿함 제거 방법들은 얼굴 랜드 마크 및 얼굴의 의미론적 영역 분할 지도와 같은 얼굴의 구조적인 정보를 활용하는 것에 초점이 맞추어져 있다. 하지만 이러한 사전 정보들은 얼굴의 구조적인 정보를 효과적으로 제공 할 수 있지만, 얼굴 흐릿함 제거 문제를 해결하는데 중요한 단서가 되는 국부적인 질감 세부 정보를 제공하기에는 충분하지 않다. 이와 같은 문제를 해결하기 위하여, 우리는 선명한 얼굴 영상에 대하여 풍부한 정보를 담고 있는 얼굴 인식 목적으로 사전에 학습된 네트워크의 심층 특징점들(deep features)을 얼굴 흐릿함 제거를 위한 사전정보로 정의한다. 따라서, 본 논문은 적대적 생성 신경망(Generative Adversarial Network, GAN)의 도움을 받아 흐릿한 얼굴 영상에서 심층 특징점을 예측 및 예측된 심층 특징점을 사전정보로 활용하여 얼굴의 세부적인 정보를 복원하는 사전 심층 특징점 지도 네트워크인 DFPGnet(Deep Feature Guided network)을 제안한다. 구체적으로, 생성자(generator)는 사전 정보 예측을 목표로 하는 스트림과 예측된 사전 정보를 활용하여 디블러링을 수행하는 스트림, 총 두 가지 스트림으로 이루어져 있다. 사전 정보를 예측을 위한 스트림을 통해서 나온 예측된 심층 특징점들은 얼굴 흐릿함 제거가 아닌 얼굴 인식을 위한 특징점들을 닮도록 학습되었기 때문에, 두개의 스트림 사이에 특징점의 분포 차이를 완화해야 한다. 따라서, 우리는 두 스트림이 연결된 지점에 특징점 변환 모듈을 배치할 것을 제안한다. 뿐만 아니라, 우리는 채널 집중 특징점 식별자(channel-attention feature discriminator)를 제안한다. 이는 생성자(generator)가 학습 과정 동안 사전 심층 특징점 사이에 흐릿함 제거에 있어서 더 중요한 채널에 집중하도록 도와준다. 다양한 데이터셋 및 평가지표를 통하여 평가한 결과, 제안하는 기법이 질적 및 양적으로 기존기법보다 우수한 성능을 달성한다는 것을 알 수 있다.