순차적 특징 점 융합을 이용한 효율적인 스테레오 영상 정합 네트워크

Abstract

스테레오 정합(Stereo Matching) 문제는 딥러닝이 컴퓨터 비전 분야 연구에 쓰이기 이전부터 연구되어왔던 오래된 문제이다. 최신의 스테레오 정합 연구는 컴퓨터 비전 분야 유행을 따라서 딥러닝을 이용한 다양한 문제 해결을 연구하고 있다. 하지만 알고리즘의 기본적인 구조는 딥러닝 이전에 사용하던 4단계 구조에서 변화가 없이 지금까지 사용되어왔다. 최근 스테레오 정합 문제에서 가장 좋은 성능을 보이는 3차원 합성 곱을 이용한 스테레오 정합은 특징점 추출, 정합 비용 생성, 정합 비용 처리, 정합 결과 생성의 4단계 과정을 거쳐 진행된다. 이 중에서 정합 비용 생성과 정합 비용 처리 부분은 모든 시차 탐색 범위에 대해서 동시에 진행되기 때문에 비효율적으로 많은 하드웨어 성능을 요구한다. 본 논문에서는 이러한 3차원 합성 곱 기반의 딥러닝 알고리즘과 비교했을 때 성능 감소를 최소로 하고, 더 적은 컴퓨팅 자원을 필요로 하는 효율적인 네트워크를 제안한다. 제안하는 네트워크는 순차적 특징 점 융합 모듈을 이용하여 특징점 추출, 순차적 정합 비용 생성 및 처리, 정합결과 생성 구조의 3단계 과정을 거쳐 스테레오 정합을 진행한다. 우리가 제안하는 순차적 특징 점 융합을 이용한 스테레오 정합 네트워크는 성능 대비 컴퓨팅 자원을 효율적으로 사용한다. SceneFlow 데이터세트를 기준으로 같은 특징점 추출 방식을 사용하는 최고 성능의 네트워크와 비교했을 때 약 20% 정도 error가 크다. 하지만 실행 시간은 약 30%에 불과하다. 또한 KITTI 데이터세트를 기준으로 최신의 알고리즘들과 성능 대비 컴퓨팅 자원 소모의 효율성을 비교하면 다른 네트워크들과 비교하여 우위에 있음을 알 수 있다.