활성화 기반 및 오류 분포 기반의 신경망 분석 방법

Abstract

신경망은 하드웨어의 발전과 함께 신경망 구조의 발전으로 인해 다양한 분야에 적용되며 높은 성능을 보이고 있다. 신경망은 다양한 분야의 시스템에서 사용되며 다양한 실패 상황에 직면하게 된다. 이러한 실패 상황에서 문제 원인을 모르는 것은 시스템에 대한 신뢰성을 떨어뜨리게 만든다. 문제 원인을 모르는 상황을 해결하기 위해서는 문제 발생의 근본 원인을 식별해야 한다. 또는 판단 결과에 대한 신뢰도를 제공하여 실패 상황에 대해서는 낮은 신뢰도를 제공해야 한다. 하지만 신경망의 블랙박스 성질로 인해 신경망의 내부 기능을 설명하거나 이해하는 것은 어려운 작업이다. 이러한 문제를 완화하기 위해서 신경망의 판단 결과에 대한 원인을 분석하는 방법, 신경망의 판단 결과에 대한 신뢰도를 분석하는 방법에 대한 연구가 진행되고 있다. 본 학위 논문에서는 신경망을 사용한 분류 시스템, 회귀 시스템과 함께 신경망 시스템에 대한 원인 분석 방법과 신뢰도 분석 방법을 다루고 있다. 첫 번째로, 본 논문은 신경망을 사용한 분류 시스템에 대해서 다룬다. 분류 시스템의 경우 노면 분류 시스템을 다룬다. 차량이 주행 중인 노면 상태를 분류하는 문제는 운전자에게 최적화된 주행 솔루션을 제공하기 위해서 필요하다. 이 문제에 대한 해답으로는 노면 분류 시스템이 있다. 노면 분류 시스템은 차량의 내부 센서를 입력으로 하여 현재 주행 중인 노면을 일반 노면, 눈길, 진흙길, 모랫길 중 하나로 분류한다. 노면 분류 시스템은 목적에 적합한 입력 정보와 모델을 선택하여 개발된다. 개발된 노면 분류 시스템은 다양한 환경에서 강인하게 동작함을 보여주었다. 특히 노면 분류 시스템의 개발 성과물은 실제 차량의 오토 터레인 모드(auto-terrain mode)에 적용되어 상용화되었다. 두 번째로, 본 논문은 회귀 시스템에 대해서 다룬다. 회귀 시스템의 경우 휠 너트 느슨함을 예측하는 시스템에 대해서 다룬다. 차량의 휠 너트가 느슨한 상태에서 운전을 하게 되면 운전자의 안전에 큰 위협이 된다. 따라서 휠 너트의 느슨한 정도에 따른 위험도를 운전자에게 정량적인 수치로 제공함으로써 운전자에게 주행 안전성을 제공해야 한다. 이를 위해서 휠 너트 느슨함 예측 시스템은 차량에 장착된 기본적인 센서를 사용하여 휠 너트의 느슨함을 정량적인 수치로 출력한다. 휠 너트 느슨함 예측 시스템은 다양한 휠 너트 풀림 개수와 차속을 고려해서 개발된다. 개발된 예측 시스템은 다양한 차속 환경에서 강인하게 동작함을 보여주었다. 세 번째로, 본 논문은 센서 신호를 입력으로 하는 신경망 시스템에 대한 활성화 기반의 원인 분석 방법을 제안한다. 신경망은 다양한 실패 상황에 직면하며 이러한 문제를 해결하기 위해서는 문제의 근본 원인을 파악해야 한다. 이미지를 입력으로 하는 경우 육안으로 센서 고장을 파악할 수 있다. 또한 이미지의 경우 다양한 원인 분석 방법들에 대한 연구가 진행되고 있다. 하지만 이미지와 달리 센서 신호는 육안으로 고장을 진단하기 어렵고 문제 상황을 해결하기 위해서는 개인의 경험에 의존하게 된다. 또한 센서 신호를 타겟으로 하는 원인 분석 방법은 매우 제한적이다. 이러한 문제를 완화하기 위해 현재 결정에 대한 입력 요소별 기여도를 계산하는 방법을 제안한다. 구체적으로 뉴런 활성화의 물리적 의미에 초점을 맞추고 현재 결정을 지원하는 부분 활성화를 찾는 최적화 문제로 공식화한다. 해당 문제의 최적화를 통해 찾은 부분 활성화를 역방향으로 누적하여 현재 결정에 대한 입력 원소 별 기여도를 평가한다. 실험 결과를 통해 제안된 방법이 다양한 고장 시나리오에 대해서 문제 원인의 지역화 측면에서 기존 방법을 능가하는 것을 보여주었다. 마지막으로, 본 논문은 회귀 출력 결과에 대한 신뢰도를 제공하는 오류 분포 기반의 방법을 제안한다. 최근 판단 결과에 대한 신뢰도 값을 제공하는 다양한 방법들이 연구가 진행되고 있다. 기존의 신뢰도 예측 방법들은 분류 문제에 초점을 맞추고 소프트맥스(softmax) 레이어의 속성을 활용한다. 하지만 회귀 문제에서는 소프트맥스 레이어를 사용할 수 없고 판단 결과에 대한 신뢰도에 대한 참 값을 결정하는데 어려움이 있다. 이러한 문제를 해결하기 위해서 학습 회귀 오류를 고려한 매핑 과정을 통해 회귀 문제에서 신뢰도의 참 값을 결정하는 방법을 제안한다. 구체적으로 제안하는 방법은 먼저 회귀 모델을 학습한다. 그리고 회귀 오류를 0과 1사이의 신뢰도 점수로 변환하는 매핑 과정을 통해 신뢰도 네트워크를 학습한다. 매핑 과정에는 회귀 모델의 학습 오류 분포를 고려한다. 제안하는 방법은 기존 방법보다 회귀 문제에서 신뢰도와 평가 오류 사이의 강한 음의 상관관계를 보여주었고 시각적으로도 좋은 결과를 보여주었다.