멀티모달 인터페이스 개발을 위한 휴먼-컴퓨터 인터랙션 설계

Abstract

멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 멀티모달 인터페이스는 인간과 컴퓨터 인터랙션 과정에서 동시 여러 모달리티의 입출력을 허용하며 다수의 모달리티의 조합과 입력 신호 통합해석 등을 통해 상호 의사교환을 한다. 모달리티(Modality)란 인터랙션 과정에서 사용되는 커뮤니케이션 채널을 의미한다. 현재 시스템에서 휴먼-컴퓨터 인터랙션은 한 번에 한 가지 사용자 입력을 허용하기 때문에 하나의 오브젝트가 활성화되면 다른 오브젝트들은 모두 비활성화되어 두 개 이상의 오브젝트의 동시적 입력이 불가능하다. 그러나 멀티모달 인터페이스에서는 청각이나 촉각 등의 모달리티 입력은 동시 입력이 가능하여 여러 프로세스의 동시적 제어가 가능하다. 본 연구에서는 멀티모달 병렬입력을 효율적으로 설계하기 위해 Dual-Task 및 병렬 정보 처리와 관련한 인간의 주의(attention) 작용에 대해 살펴보고 생리학적, 인지학적, 심리학적 관점에서 고려해야 할 멀티모달 인터페이스 요구사항에 대해 살펴본다. 또한 W3C(월드와이드웹컨소시엄)와 ETSI(유럽표준화기구)에서 발표한 표준화 문서들을 바탕으로 멀티모달 인터랙션 프레임워크에서 고려되어야 할 시스템적 요구사항과 관련 기술들을 분석하고 입출력 모달리티들에 대한 특징들을 조사한다. 그리고 표준화 내용을 바탕으로 멀티모달 인터페이스와 관련한 모달리티 결합방법과 입력문법, 동기화 방법, 멀티모달 메타포, 화면 출력 형식 등을 설계한다. 멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술이다. 멀티모달 인터페이스는 인간과 컴퓨터 인터랙션 과정에서 동시 여러 모달리티의 입출력을 허용하며 다수의 모달리티의 조합과 입력 신호 통합해석 등을 통해 상호 의사교환을 한다. 모달리티(Modality)란 인터랙션 과정에서 사용되는 커뮤니케이션 채널을 의미한다. 현재 시스템에서 휴먼-컴퓨터 인터랙션은 한 번에 한 가지 사용자 입력을 허용하기 때문에 하나의 오브젝트가 활성화되면 다른 오브젝트들은 모두 비활성화되어 두 개 이상의 오브젝트의 동시적 입력이 불가능하다. 그러나 멀티모달 인터페이스에서는 청각이나 촉각 등의 모달리티 입력은 동시 입력이 가능하여 여러 프로세스의 동시적 제어가 가능하다. 본 연구에서는 멀티모달 병렬입력을 효율적으로 설계하기 위해 Dual-Task 및 병렬 정보 처리와 관련한 인간의 주의(attention) 작용에 대해 살펴보고 생리학적, 인지학적, 심리학적 관점에서 고려해야 할 멀티모달 인터페이스 요구사항에 대해 살펴본다. 또한 W3C(월드와이드웹컨소시엄)와 ETSI(유럽표준화기구)에서 발표한 표준화 문서들을 바탕으로 멀티모달 인터랙션 프레임워크에서 고려되어야 할 시스템적 요구사항과 관련 기술들을 분석하고 입출력 모달리티들에 대한 특징들을 조사한다. 그리고 표준화 내용을 바탕으로 멀티모달 인터페이스와 관련한 모달리티 결합방법과 입력문법, 동기화 방법, 멀티모달 메타포, 화면 출력 형식 등을 설계한다.