모바일 기기의 DSP를 활용한 영상처리 성능 최적화

Abstract

모바일 카메라를 통해 획득한 영상 데이터는 후처리 과정을 통해 다양하게 활용되고 있으나, 최근 해상도가 비약적으로 커져서 처리해야 할 데이터의 양도 매우 증가 되었다. 그래서 이를 단순히 Mobile AP(Application Processor)로 처리하기에는 부족하여 다양한 Coprocessor를 활용하는 연구가 이루어졌고, 그 대표적인 사례가 GPU를 활용하는 것이다. 하지만 최근 GPU는 고해상도 디스플레이, 게임 및 AI 기술의 발달로 그 사용처가 많아져 여러 작업이 동시에 GPU를 사용할 경우 응답이 느려져 오작동으로 처리될 수도 있다. 그래서 이를 개선하기 위한 연구가 필요한 시점이다. 본 연구에서는 여러 영상처리 알고리즘 중 왜곡된 영상을 평평하게 해주는 Warping 알고리즘을 대상으로, GPU가 아닌 Qualcomm HVX (Hexagon Vector eXtention) DSP를 활용하였다. HVX는 AP보다 하드웨어 사양은 부족하지만, 반복된 연산에 대해서 32 / 64bit 단위가 아닌 1024bit Vector 단위의 병렬연산이 가능하므로 이를 통해 1차 성능 개선하였으며, 더 나아가 DSP 처리 중에 AP 유휴 시간이 생기므로, 처리 해야 할 하나의 프레임을 적절히 분배하여 AP와 DSP가 분산처리 함으로써 추가로 성능을 개선하였다. 실험 결과 단순히 AP만 사용하였을 때보다 DSP를 사용하였을 때 연산 속도는 10.1배 향상되었으며, 추가로 AP와 DSP를 분산처리하였을 경우 약 10.8배 향상된 결과를 확인할 수 있었다. 이로써 기존 연구와 달리 GPU 외에 다른 Coprocessor(HVX)로 영상처리 성능을 개선하였고, 더 나아가 분산처리를 추가하여 더욱더 향상된 성능을 구현하였다.