머리연동 헤드폰 재생환경에서 재생 지연시간이 수평면 가상음상 재현에 미치는 영향

Abstract

본 논문에서는 헤드폰/이어폰 가상청취환경에서 사람의 머리 움직임 속도(회전각도)와 Processing Delay와의 상관관계를 주관평가(Listening Test)의 관점에서 살펴보고, HMD 청취환경에서 3차원 음상 공간감을 유지하기 위한 최소한의 Delay가 몇 ms 이하로 유지되어야 하는지 실험하였다. 실험 순서는 정면을 바라보며 정면(0도)에 대한 음상 Rendering 결과를 헤드폰으로 재생한다. 음원이 재생이 되면 정면 동영상의 붉은 공의 속도에 따라 얼굴을 좌/우로 돌린다. 실험에서 머리를 움직이지 않고 눈만 돌려 붉은 공을 쫓아가는 경우를 방지하기 위해 실험 전 사용자에게 눈을 움직이지 않도록 가이드를 주었다. 20초 음원에 대한 1회 테스트가 끝나면, 실험 음원과 음원 사이를 구분 해줄 Tonal Signal을 5초 동안 틀어주어 1회가 끝났음을 피실험자에게 전달하였다. 피실험자는 머리를 회전하는 동안 헤드폰에서 나오는 소리가 Stationary Sound Source처럼 들리면 O로 표기, Moving Sound Source처럼 들리면 X로 표기 하도록 하였다. 한 회의 실험이 끝난 후에는 다시 정면을 응시토록 하고 피실험자는 같은 테스트를 90회까지 반복하였다. 실험에 사용한 음원은 20초 길이의 백색잡음(Broadband white noise, 0~24kHz까지)을 사용하였다. 피실험자는 머리를 회전하는 동안 헤드폰에서 나오는 소리가 Stationary Sound Source처럼 들리면 O로 표기, Moving Sound Source처럼 들리면 X로 표기 하도록 하였다. 피실험자들은 머리회전속도가 빨라질수록 Delay 증가분에 따른 부자연스러움을 좀 더 명확하게 느꼈다. 1도 간격의 HRTF를 사용하는 구현 환경에서, 머리움직임 속도가 20deg/s일 때 전체 소프트웨어와 하드웨어 Processing Delay가 최소 정면(0도)에 대해서는 63ms 이하, 측면(90도)에 대해서는 40deg/s일 때 43ms 이하로 유지 되야 한다. 실제 스피커로 진행한 MAA(3)실험과 본 논문에서의 연구 목표였던, 헤드폰/이어폰을 통한 가상 청취 환경에서의 실험 결과와 Trend가 상당히 유사함을 알 수 있다. HMD에서 Latency는 머리움직임 속도와 상관관계가 있으며, Latency 기준이 아닌 MALA를 정의하여 한계치를 분석하였고, 이를 분석할 수 있는 청취평가 방법을 제안하였다.