입력 값 생성 패턴을 이용한 구조적 테스트 케이스 생성 성능 향상

Abstract

목적하는 테스트 케이스를 자동으로 생성하기 위하여 매우 많은 테스트 케이스를 시도하게 된다. 이처럼 많은 시도는 테스트 케이스 생성 시간을 요구하게 되고, 생성된 테스트 케이스 분석에도 많은 노력과 시간이 필요하다. 따라서 불필요 한 부분은 줄이고 필요한 부분을 많이 생성시키는 등 테스트 케이스 생성 작업의 효율화가 필요하다. 이에 테스트 본 연구에서는 state coverage 기준으로 최대한 고르게 state를 순회할 수 있도록 입력 값의 생성 확률을 패턴으로 조절하는 방법을 사용하여 적은 개수의 테스트 케이스로 최대한 많은 수의 커버리지를 달성하는 방법을 제안한다. 이 패턴들을 이용하면 각 state로 transition하는 확률을 의도적으로 조절 할 수 있고, 이를 통해 각 state 에 고르게 test case 가 순회하도록 유도 할 수 있다.특정 상황에서는 일반적인 알고리즘을 적용해 패턴을 설정하면 안정적으로 생성이 가능하며, 알고리즘을 적용 할 수 없는 상황에서도 테스트 수행자가 모델의 특성을 제대로 파악하고 있다면 최적화를 충분히 시킬 수 있다. 패턴을 적용한 실험 결과 매우 적은 시도로 state machine에서 state coverage 나 transition coverage 를 위한 테스트 케이스가 짧은 시간에 매우 효과적으로 생성됨을 확인하였다.