상관관계를 이용한 영상의 가려진 영역 검출 및 복원

Abstract

최근에 많은 감시카메라들은 범죄자의 신원을 얻기 위해 사용된다. 그러나 대부분의 범죄자들은 선글라스나 마스크를 착용하기 때문에 얼굴인식 기술을 이용하여 범죄자의 신원을 확인하는 것은 매우 어렵다. 그러므로 얼굴 영상의 가려진 부분들을 검출하고 복원하는 문제는 시급히 해결해야 할 중요한 과제이다. 본 논문에서는 픽셀들 간의 상관계수를 바탕으로 얼굴 영상의 가려진 부분을 검출하고 복원하는 방법을 제안한다. 먼저, 영상의 가려진 부분을 찾기 위해 픽셀 xi를 제외한 모든 픽셀들의 값은 이미 알고 있다고 가정한다. 그 다음, 픽셀 xi값과 상관관계가 높은 픽셀값들을 이용하여 픽셀 xi의 픽셀값을 예측한다. 여기서 만일 xi의 원래 픽셀값과 예측된 픽셀값과의 차이가 일정 경계값보다 크다면, 픽셀 xi는 무언가에 의해 가려진 부분이라고 간주한다. 영상의 가려진 부분을 검출한 후, 그 영역을 복원해야 한다. 앞서 영상의 가려진 부분을 찾는 과정에서 이미 모든 픽셀값들을 예측된 값들로 채웠다 해도 픽셀 xi값이 다른 가려진 픽셀값들에 의해 예측되는 경우도 있기 때문에 가려진 부분을 검출하고 난뒤, 그 부분에 해당하는 픽셀값들을 추정해야 한다. 즉, 복원 과정에서 가려진 픽셀값들을 예측하기 위해서는 가려져 있지 않은 픽셀값들을 이용해야 한다. 마지막으로 본 논문에서 제안한 방법과 기존의 PCA를 이용하는 방법의 성능을 비교하였다. 결론적으로 제안한 방법이 기존의 PCA 방법보다 오차값이 더 작게 나오는 것을 확인할 수 있다.