단색 배경에서의 합성곱 신경망을 이용한 작은 패치 기반 매팅

Abstract

본 논문은 단색 배경 이미지에 대해 합성곱 신경망을 이용한 작은 패치 기반 매팅 방법을 제안한다. 매팅은 이미지의 전경을 구분하고 그 투명도를 추정하는 것으로, 주로 이미지 편집 작업의 전처리 과정에서 사용한다. 사용자 상호 작용을 통해 전경/배경 영역을 지정하면 나머지 미지 영역의 알파 매트를 이 제약 조건과의 색 관계를 이용하여 계산한다. 딥 러닝 기반 매팅의 경우, 한 패치에 전경/배경 제약을 모두 포함시켜야만 한다. 패치의 크기가 작지만 트라이 맵을 직접 사용하는 경우, 트라이 맵에서 패치를 그냥 추출하게 되면 대부분의 패치에는 전경/배경 제약이 모두 포함되지 않는다. 따라서 가우시안 피라미드를 이용하여 이미지/트라이 맵을 저해상도로 줄여서 작은 패치 안에 전경/배경 제약이 모두 포함될 수 있게 만들고 알파 매트를 예측한다. 그리고 저해상도의 예측 알파 매트와 고해상도의 이미지를 이용하여 고해상도 알파 매트를 구한다. 가우시안 피라미드에서 최상위 계층은 이미지와 트라이 맵을 직접 이용하는 매팅 네트워크를 거쳐 알파 매트를 예측하고 다른 계층들은 그 계층의 이미지와 상위 계층의 알파 매트를 입력으로 하는 하강 네트워크를 통해 알파 매트를 예측한다. 실험을 통해 본 논문에서 제안하는 방법이 기존의 작은 패치를 이용하는 학습 기반의 매팅 방법보다 더 정교한 알파 매트를 생성 하는 것을 보였다. 또한 알파 매트에 아티팩트가 없어 다른 배경과 합성 시, 훨씬 자연스러운 결과를 내는 것을 확인하였다. 따라서 본 논문이 제안하는 방법은 크로마 키 배경에서 촬영한 이미지의 전경 알파 매트를 예측하는데 사용할 수 있다. 그리고 학습 기반 매팅 방법의 훈련에 이용할 전경-알파 매트 데이터 셋의 구축을 위해 활용할 수 있을 것이라고 예상한다.