평가센터의 신뢰도 및 타당도 검증

Abstract

심각한 취업난으로 인해 자신의 적성과 목표를 무시한 채 무작정 지원하는 사람이 늘어나고 있다. 기업 입장에서도 그러한 수많은 지원자 중에서 조직에 적합한 인재를 선별해 내는데 어려움을 겪고 있으며, 직무 간 경계선이 점점 더 모호해짐에 따라 변화하는 직무에서의 성공을 위한 잠재능력을 측정할 수 있는 도구가 요구되고 있는 가운데 평가센터(Assessment Center)의 활용이 점차 확대되고 있다. 최근에는 평가센터 개발과 운영에 소요되는 비용과 시간적 제약을 극복하기 위해, 평가과제(exercise) 마다 고유의 평가차원(dimension)을 평가하도록 설계(nested design)하는 식으로 간단한 형태의 시뮬레이션을 개발하여 신입사원 선발에 활용하는 기업이 증가하는 추세이다. 하지만, 평가차원이 특정 평가과제에만 국한되어 평가될 경우, 평가과제 효과의 영향으로 평가센터 연구의 오랜 숙제인 ‘취약한 구성타당도’가 더욱 약해 질 수 있으며, 따라서 이와 같은 내재설계 평가센터가 활용되는데 있어 신뢰성과 타당도 검증이 수반될 필요가 있다. 또한, 최근에는 대학 신입생 선발에서도 지식위주의 기존의 평가방식에서 벗어나 ‘입학사정관제’와 같이 학생들의 잠재력에 기반 한 평가를 도입하고 있으며, 이에 대입장면에서도 기존 지필검사의 대안으로서 미래의 잠재력을 측정할 수 있는 평가센터 방식의 적용가능성을 검토해 볼 필요성이 있다. 본 연구는 기업 평가센터 자료를 분석한 연구 1과 대학 평가센터 자료를 분석한 연구 2로 구성되어 있다. 연구 1은 신입사원 선발에 평가센터 방식을 적용한 A기업의 2006년(1,249명)과 2007년(2,349명)의 인사선발 자료와 재직자(관리자 105명, 일반사원 200명)를 대상으로 실시한 평가센터 자료를 이용하였다. 연구 1의 평가센터는 3명의 평가자가 구조화 면접(SI)을 통해 3개의 평가차원(책임감, 적극성, 혁신성)을 평가하고, 2명의 평가자가 프레젠테이션(PT)과 그룹토의(GD)에서 각각 2개의 평가차원을 평가하도록 설계되어 있었다. 연구 2는 대입선발을 위해 개발한 평가센터를 2009년 대입지원자(60명)에게 실시한 모의전형 자료와 이들에 대한 사후 준거조사자료(48명) 및 대학 재학생(168명)을 대상으로 한 설문자료를 이용하였다. 연구 2에서 이용한 평가센터 도구는 연구 1의 평가센터와 동일한 과제(구조화 면접, 프레젠테이션, 그룹토의)로 설계되었으며, 각 평가과제를 통해 동일한 3명의 평가자가 10개 평가차원(15개 세부행동)을 평가하도록 되어있다. 연구 1과 2의 결과에서, 내재설계 평가센터의 신뢰도는 평가자간 내적합치도 계수와 결정연구(D study) 결과 모두에서 양호한 신뢰도를 보여주었다. 구성타당도 검증을 위해 실시한 요인분석과 일반화연구(G study), MTMM 상관관계 분석의 결과에서 평가자의 영향(rater effect)은 거의 나타나지 않았으며, 평가과제 효과(exercise effect) 뿐 아니라 평가차원의 변별성도 나타나, 평가센터의 구성타당도를 확인할 수 있었다. 평가센터 점수와 준거와의 상관관계 분석 결과에서는 각 평가과제 내재되어 있는 평가차원들이 어느 정도 차별적인 준거예측력을 보여주었으며, 전반적으로 구조화 면접에 속한 평가차원이 가장 포괄적인 준거관련성을 지녔고, 프레젠테이션에 속한 평가차원이 준거와 가장 관련성이 적었다. 본 연구는 내재설계 평가센터의 신뢰도 및 타당도를 검증함으로써 향후 이와 같은 평가센터가 활용될 수 있는 심리측정학적 근거를 마련하고, 다양한 접근법을 통해 평가차원의 변별성을 확인함으로써 상대적으로 취약했던 구성타당도 근거를 제시했으며, 평가센터의 신뢰도를 확보하기 위한 평가국면들의 수준을 제시함으로써 평가센터의 측정절차를 설계하는 과정에서 마주치는 실용적 제한점에 대한 판단의 기준을 제공한데서 시사점을 찾을 수 있다. 또한, 기업에서 활용되고 있는 평가센터를 대입선발 장면에 적용하였다는 점에서 의미가 있다 하겠다.