랜덤 테스트(RT)는 가능한 입력 도메인에서 임의의 입력 값을 선택하여 테스트 케이스를 생성하고 테스트를 수행하는 기본적인 블랙 박스 테스트 기법이다. 랜덤 테스트의 성능을 향상 시키기 위해서 오류 패턴을 고려한 다양한 Adaptive Random Testing (ART) 알고리즘들이 제안되어 왔다. 그 중 Distance-Based ART (D-ART), Restricted Random Testing (RRT)이 좋은 성능을 보이고 있지만, 수행 시간이 너무 느리다는 단점이 있어, 이를 대체할 수 있는 여러 ART 방법들이 제안되고 있다. 그 중, Adaptive Random Testing through Iterative Partitioning (IP-ART)가 가장 좋은 성능과 빠른 수행시간을 보인다.
반면, IP-ART도 D-ART와 RRT와 비슷하게 입력 도메인 내부에서 선택되는 테스트 케이스가 편중되는 현상을 보인다. 또한, Block Pattern의 경우는 좋은 효율을 보이지만, 오류 패턴이 Block Pattern을 벗어날수록 효율성이 크게 떨어지는 단점을 보인다. 본 논문에서는 위와 같은 IP-ART의 단점을 극복하고, 효율성을 더욱 향상시킬 수 있는 방법을 제안하고, 시뮬레이션을 통하여 향상된 성능을 평가해 보았다
Alternative Abstract
Random Testing (RT) is a fundamental block-box software testing technique to automatic test case selection. It simply selects test cases from the entire input domain randomly and independently. Test cases are chosen randomly until a stopping condition is met.
Various adaptive random testing techniques (ART) has been proposed to improve the effectiveness of pure RT. ART is based on the observation that failure-causing inputs form different failure patterns. Distance-Based ART (D-ART) and Restricted Random Testing (RRT) are performing best in terms of F-Measure but, the runtime of those methods is too high. Presently, additional ART methods have been proposed to reduce runtime.
Adaptive Random Testing through Iterative Partitioning is one of those additional ART techniques and it has significantly lower runtime and has analogous effectiveness compared with D-ART and RRT.
However, selected test cases that results from IP-ART method exhibited disproportionate distribution on the input domain's view, similar to both of D-ART and RRT. In this paper, we proposed new approach to improve performance of IP-ART method by decreasing those symptoms. As a result, the effectiveness of IP-ART has been improved in terms of F-Measure.