본 논문에서는 시인성 악화로 발생하는 야간의 교통약자 대상 안전성 제고를 위한 열화상 이미지 데이터셋을 소개한다. 기존 연구에서는 딥러닝 기반 객체 인지 알고리즘 학습용 데이터셋 구축시 시계열 주행데이터 혹은 무작위로 이미지를 선정하여 학습 데이터셋을 구축하였다. 하지만 본 논문에서는 학습데이터셋 구축시 이미지 선정 기준을 객체 검출에 실패한 이미지에 대해서 이미지 대비 특징 또는 주행 시나리오 관점으로 통계 분석하여 선정한다. 이미지 대비에 대한 평가방법으로는 gray level의 표준편차 값과 엔트로피를 통한 이미지 평가 방법을 수행한다. 도로 주행시 자차량 주변 객체의 maneuver가 변경된 시점을 event라고 정의하며 획득한 시계열 데이터에 대한 event indexing을 수행한다. 구축한 판교 야간데이터셋을 통해 학습한 딥러닝 기반 객체 검출 알고리즘이 오검출한 경우를 데이터베이스에서 이미지 대조비와 도로 주행시 발생한 event 관점으로 검색하고 통계 분석을 통해 학습데이터셋을 재구성하여 인식 성능을 높인다.