근무성적평정 편차 시정에 관한 사례 연구*

｢지방정부연구｣ 제10권 제1호(2006 봄) : 71～89

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

A Case Study on Balancing the Variation of Performance Rating

* 이 논문은 2005년도 한성대학교 교내연구비 지원에 의해 수행되었음.

이 종 수(한성대학교 행정학과)

이 연구는 근무성적평정 편차 조정에 관한 사례 연구이다. 사례분석 대상 기관의 근무성적평정 결과를 상관관계분석 및 분산분석을 통해 그 특성을 밝히고, 분석결과 드러난 평정편차의 통계적 조정방안을 모색하는데 이 연구의 목적이 있다.

상관관계분석 결과는 기관장 평정과 하급자 평정간의 상관관계가 아주 낮은 것을 나타내고 있다. 그러나 기관장, 부서장, 팀장 등 상급자 평정간의 상관관계는 중간정도인 것으로 나타나, Mount 등 기존의 다른 연구결과를 부분적으로 뒷받침하는 것으로 밝혀졌다. 그리고 분산분석 결과는 평정집단별 평균평점의 차이가 큰 것을 나타냈다.

근무성적평정의 평정편차 시정 방안은 사전적 조치와 사후적 조정으로 나눌 수 있다. 편차 시정을 위한 사전적 조치로는 평정요소와 평가기준의 체계화를 통한 평정도구의 합리화, 평정자에 대한 교육훈련의 강화 그리고 강제배분법의 도입 등이 처방된다. 사후적 조정의 방법으로는 조정자를 통한 조정과 통계적 조정을 들 수 있다.

분석대상 기관에서는 평정편차가 두드러지게 나타나고 있는 부서장 평정점만을 균형화시키기 위한 통계적 조정방법을 2004년부터 도입하여 시행하고 있다. 그러나 이러한 조정방법은 표준편차의 차이 등으로 인한 평정편차의 문제점을 시정하지 못하는 한계를 지닌다. 분석결과는 부서장 평정점을 부분적으로 조정한 점수가 피평정자가 받은 원점수와 크게 차이가 없음을 나타냈다.

이 연구에서는 사후조정 방안으로 부서간 평정평균점은 물론 표준편차까지를 반영하는 표준값(standard value) 방식이 제시되었다. 조정효과에 대한 표본 분석의 결과, 이 연구에서 제시한 표준값 방식이 부서간은 물론 부서 내에서도 폭넓은 조정 효과를 나타내는 것을 확인하였다.

주제어 : 근무성적평정, 평정편차, 표준값, 평정 원천, 다면평가

Ⅰ. 서  언

근무성적평정 제도의 궁극적 목적은 피평정자의 동기유발을 통하여 조직 전체의 생산성을 높이고자 하는데 있다. 이러한 근무성적평정에서는 객관성과 공정성이 중요한 가치기준이 된다. 그러나 현실 속에서의 근무성적평정은 평정자와 평정자 집단의 특성에 따라 크고 적은 편차를 나타내기 마련이다. 인지된 평정편차가 수용할 수 있는 범위를 벗어날 경우, 근무성적 평정 결과에 대한 불신과 불만은 팽배하게 되며 나아가 조직성과 향상 수단으로서의 근무성적 평정의 기능은 상실된다. 특히 객관성과 공정성을 상실한 평정결과가 유일한 보상기준으로 작용할 경우, 조직구성원들의 불신과 불만은 더욱 커지게 된다.

최근 들어 한국의 공사(公私)기관에서는 다면평가제를 앞 다투어 도입하고 있다. 상급자와 동료 그리고 부하와 같은 상이한 평정자 집단의 평정결과는 개인 및 집단의 특성에 따라 더욱 큰 편차를 나타내기 쉽다. 이와 같이 상이한 평정자 집단에 의한 평정(multisource performance ratings)의 측정등가성(measurement equivalence) 문제를 다룬 연구들이 응용심리학회지 등에 다수 발표되고 있으나(Conway & Huffcutt, 1997; Harris & Schaubroeck, 1988; Mabe & West, 1982; Viswesvaran, Ones, & Schmidt, 1996; Woehr et al., 2005), 이들 연구의 대부분은 현실 속의 평정결과를 분석한 것이 아니라 순수한 연구 목적에서 특별하게 수행한 ‘가상적 평정 결과’를 분석의 대상으로 하고 있다는 한계를 지닌다.

근무성적평정 편차 시정에 관한 사례 연구

｢지방정부연구｣ 제10권 제1호(2006 봄)

어떻든 현실조직에서는 평정자 집단 및 평정자 개인의 특성에 기인하는 평정편차의 문제가 발생하게 마련이며, 이러한 평정편차를 교정하기 위한 다양한 사전적․사후적 방안들이 강구되고 있다. 그러나 평정편차의 조정을 위한 사전적 처방에 관한 논의는 무성하나, 평정편차의 사후적 조정에 관한 구체적 논의와 사례연구는 드문 편이다.

이 논문에서는 현재 다면평가제를 도입․시행하고 있는 우리나라의 한 공공 연구기관의 실제적 근무성적평정 결과를 분석해 보고, 그러한 분석결과에 기반하여 평정편차의 사후적 조정 방안을 모색해 보고자 한다.

Ⅱ. 근무성적평정 편차와 관련된 이론적 논의

근무성적평정의 평정편차를 야기하는 요인은 다양하다. 다면평가에서 평정집단의 측정등가성 문제를 다루는 학자들은, 평정결과는 평정 원천(rating source) 및 실적 차원(performance dimension)의 직접적 함수라는 연구결과를 제시한다. 즉 이들은 근무성적평정의 평정결과는 누가 평정하는가 하는 평정 원천과 무엇을 평정하는가 하는 업적 차원의 두 요소에 달려 있다고 주장한다(Woehr et al. 2005: 592).

근무성적평정은 어떠한 실적 요소를 평정대상으로 하는가 하는 업적 차원에 따라 평정결과가 상이할 것이다. 평정자들의 평정요소에 대한 인식이 상이할 경우 평정결과는 상이하게 나타날 수밖에 없다. 예를 들어 ‘리더십’이라는 평정요소에 대해 상급자와 하급자의 인식과 기대 내용이 다를 경우, 평정편차가 나타나게 마련이다. 일부 실증적 연구들은 평정자들이 실적(performance)의 개념을 서로 다르게 인식하고 있다는 연구결과를 밝히고 있다(Ashford, 1989; Harris & Schaubroeck, 1988). 이러한 업적 차원의 문제는 특히 평정요소가 세분화 되지 않은 경우 더욱 두드러지게 된다. 사례 분석의 대상으로 삼은 공공기관의 경우가 여기에 속한다.

평정결과는 또한 평정 원천에 따라 차이를 나타낸다. 평정 원천에 따른 평정편차는 평정자 집단별로 평정 요소에 대한 인식이 다르기 때문에 발생하는 문제로 볼 수도 있을 것이다. 어떻든 상이한 평정자 집단에 의한 평정 결과를 메타분석(meta-analysis)해 보면, 평정자 집단별 평정결과의 상관관계가 서로 다르게 나타나고 있음을 볼 수 있다. 어떤 연구는 자기평정과 상급자평정의 일치성(r=.35 for self-supervisor agreement) 및 자기평정과 동료평정의 일치성(r=.36 for self-peer agreement)이 중간 정도의 상관관계를 나타내며, 동료평정과 상급자평정의 상관관계는 꽤 높은(r=.62) 것으로 밝히고 있다(Harris & Schaubroeck, 1988). Mount(1984)도, 이와 유사하게, 상급자평정과 하급자평정 그리고 하급자평정과 자기평정의 상관관계가 각각 r=.24 및 r=.19로 나타나고 있음을 밝히고 있다. 그리고 Conway와 Huffcutt(1997)는 자기평정, 동료평정, 상급자평정, 하급자평정간의 상관관계가 r=.79(상급자평정과 동료평정)에서 r=.14(하급자평정과 자기평정)의 범위를 갖는다고 밝히고 있다. 비교적 최근에 발표된 연구들도 이러한 분석결과를 뒷받침하고 있으며, 또한 동일한 평정대상자에 대한 상급자 평정간의 상관관계가 동료평정간의 상관관계보다 높다는 점을 밝히고 있다( Woehr et al, 2005; Mount, Judge, Scullen, Sytsma, & Hezlett, 1998; Viswesvaran et al., 1996).

상이한 평정집단의 평정결과의 평균치도 또한 다르게 나타난다. Thornton(1980: 265)은 자기평정의 점수가 다른 평정집단에 의한 평정점수보다 높다는 점을 많은 연구들이 밝히고 있음을 지적한다. Mount(1984) 또한 자기평정 점수가 상급자평정 점수보다 높은 경향이 있으며, 아울러 하급자평정 점수보다도 높게 나타난다고 주장한다.

평정집단별 평정점수의 차이가 나타나는 현상에 대해 여러 학자들은 다양한 원인을 제시한다. Campbell과 Lee(1988)는 무엇이 효과적인 업적인지 대해 각 평정집단별 개념정의가 다르기 때문이라고 주장한다. 그리고 Murphy와 Cleveland(1995)는 피평정자의 업무수행에 대한 관찰기회가 평정집단별로 상이하기 때문이라고 주장한다. 그리고 평정집단별로 상이한 평정도구가 사용될 경우에도 평정점수간의 차이를 유발할 수 있을 것이다. 평정도구의 질문항목이 평정집단별로 다를 수도 있을 것이나, 직무성과의 차원에 대한 개념이 평정집단별로 상이하게 받아들여질 수도 있을 것이다. 또한 비록 직무성과에 대해 공통된 인식을 갖고 있다 하더라도 평정도구에 포함된 항목들이 성과 개념의 근원적인 이론구성(underlying performance constructs)과 상이하게 연결될 수도 있을 것이다.

그러나 평정편차는 다면평정시의 평정 원천의 차이 때문에 발생하는 것만은 아니다. 즉 전통적인 상급자 평정(supervisory ratings)만으로 이루어진다 하더라도 평정편차의 문제는 여전히 남는다. 지난 수십 년간 수행된 일련의 연구들은 상급자평정이 연쇄효과, 관대화 경향, 의도적 조작, 인종․성(性)․연령의 편견과 같은 일단의 잠재적 문제에 의해 자주 오염된다는 사실을 밝히고 있다(Cardy & Dobbins, 1994; Cascio, 1991; Landy & Farr, 1980).

근무성적평정에서는 평정자의 다양한 개인적 특성이 평정에 영향을 미치게 마련이다. 특정 평정자는 ‘모든 거위를 백조로 보는’ 관대화 경향을 나타내며, 다른 평정자는 ‘모든 백조를 거위로 보는’ 엄격화 경향을 나타낼 수도 있다. 이러한 차이는 평정의 공통기준이 결여되고 평점부여의 기준점이 각기 다르기 때문에 발생한다(Fisher, 1995: 140).

복수의 평정자가 동일한 피평정자들을 평가할 경우, 각 평정자의 평정기준이 다르고 평정분포 또한 다르게 나타난다는 사실은 여러 경험적 연구들이 밝히고 있다. 예를 들어 특정한 평정자는 집중화 경향을 보이는가 하면, 다른 평정자는 표준편차가 큰 평정점을 부여할 수도 있다. 표준편차가 큰 평정점을 부여하는 평정자는 분산폭이 좁은 평정자보다 큰 영향력을 행사한다. 일반적으로 순간적 판단에 의존하는 평정자들의 점수분포는 신중한 평정자의 경우보다 분산폭이 크게 마련이다. 그리고 분산폭이 큰 평정자는 사물을 극단적으로 판단하는 즉, 회색의 그늘보다는 흑백으로 보는 경향이 있는 것으로 경험적 연구들은 밝히고 있다.

평정과정에서 피평정자의 업적을 과대평가하거나 과소평가하는 연쇄효과(halo effect) 및 뿔효과(horns effect)는 산파 요소(散播要因, spread factor)와 연관되어 있다. 연쇄효과는 과거의 훌륭한 업적 또는 개인적 친분으로 인해 성과가 악화되는 현상을 보지 못하거나, 평정자가 자신과 신념 또는 사회적 배경이 유사한 피평정자에 대해 보상하려는 심리적 성향 등으로 인해 감독자들이 과대평가하는 것을 말한다. 그리고 ‘뿔효과’는 감독자가 설정한 높은 업무수행 기준을 피평정자가 충족시키지 못하거나, 피평정자가 감독자와는 다른 방식으로 업무를 수행하거나 또는 한 영역에서의 실패가 장래의 평가에 영향을 미침으로써 감독자들이 피평정자를 과소평가하는 것을 말한다(Cadwell, 1994).

근무성적평정상의 오류에는 그 밖에도 잘 알려진 집중화 경향(central tendency), 관대화 경향(tendency of leniency) 및 엄격화 경향(tendency of strictness or severity), 선입견에 의한 오류(personal bias) 등이 있으며, 또한 근무연한이 긴 선임자에 대해 후한 평가를 하고자 하는 근속연한 오류(length of service), 전체 기간의 근무성적을 평가하기보다는 초기의 업적에 영향을 크게 받는 첫머리효과(primacy effect) 등을 들 수 있다. 또한 첫머리효과와는 정반대로 최근의 실적이나 능력을 중심으로 평가하는 경향을 일컫는 막바지효과(recency effect)도 있을 수 있으며, 이러한 두 경향을 시간적 오류라고 한다.

근무성적평정에 있어서는 무엇보다 객관성, 타당성, 신뢰성, 일관성을 확보하는 것이 중요하다. 조직관리자들은 개인적․집단적 특성에 기인하는 다양한 평정편차를 시정, 근무성적평정의 객관성을 확보하기 위해 다양한 조치들을 강구하고 있다.

다음에서는 이 연구에서 사례분석의 대상으로 삼은 공공기관의 근무성적평정 편차의 특징을 분석해 보고, 그러한 평정편차를 시정하기 위한 통계적 조정의 구체적 방법을 고찰해 보고자 한다.

Ⅲ. 근무성적평정 결과의 통계적 특성 분석

1. 사례분석 대상 조직의 현황 및 근무성적평정 제도상의 특징

이 논문에서 사례분석 대상으로 삼은 공공기관은 서울 소재 국책연구기관으로 2005년 1월 현재 평정대상 구성원은 151명, 조직은 2처․4본부․1국․1센터로 구성되어 있다.

2004년 하반기 근무성적평정 대상자는 정원 151명 중 140명(연구직 80명-일반직 60명)임,

평정대상자는 연구직과 일반직으로 크게 구분되며, 연구직의 경우 평정요소는 직무수행평정(80점), 연구성과평정(15점), 원내․외활동평정(5점)의 세 가지로 구성되어 있고, 일반직에 대해서는 ‘직무수행평정(100점)’만 시행되고 있다. 그리고 직무수행평정의 경우 평정요소는 세분화되지 않고 단일지표로만 구성되어 있으며, 연구성과평정의 경우에는 평정요소가 양평정과 질평정으로 구성되어 있다.

이 기관에서는 다면평가 제도를 도입하고 있는 바, 평정자는 기관장-상위자-하위자-관련직원으로 구성되며, 피평정자 집단별 평정집단의 구성은 <표 3-1-1>과 같다. 그리고 연구성과 평정의 질평정에서는 관련 분야의 원내외 전문가가 평정을 담당하고 있다.

관련직원 평정자는 피평정자가 소속된 부서와 업무성격이 유사한 3개 부서 그룹에서 각 1명씩 3명을 무작위로 추출하여 선정함.

<표 3-1-1> 피평정자 집단별 평정자 구성

	구분	피평정자
		연구직 팀장	연구직 팀원	일반직(비보직자)
평 정 자	1차상위자	o	o	o
	2차상위자		o
	하 위 자	o
	관 련 직 원			o
	기 관 장	o	o	o

평정방법은 절대평가 방식을 채택하고 있으며, 절대평가로 인한 평정편차의 문제점을 시정하기 위하여 이 기관에서는 2004년부터 통계적 조정방법을 부분적으로 도입하고 있다. 즉 평정편차가 지나치게 크게 나타나는 부서장 평정점만을 사후적으로 조정하기 위해 다음과 같은 산식을 통해 각 부서장이 부여한 평정 평균점수를 동일하게 조정하고 있다.

[조정된 부서장 평정 점수 = 해당 부서장의 실제 평정 점수-(해당 부서장 평정점수의 평균 - 전체 부서장 평정점수의 평균)]

이 기관에서는 근무성적평정의 결과를 승진후보자명부 작성․성과연봉 책정․능률성과급 지급 등의 자료로 활용하고 있다.

사례분석 대상 기관의 근무성적평정 제도는 몇 가지 차원에서 문제점을 지니고 있다. 우선 근무실적의 개념이 분명하게 정의되지 못하고 있으며, 평정요소와 평가 기준이 논리적 체계성을 결여하고 있다는 문제점을 지적할 수 있다. 일반적인 근무성적평정의 기본 요소는 근무실적․직무수행능력․태도의 세 가지로 구성되어 있으며, 최근 강조되고 있는 목표관리(MBO)와 같은 성과지향적 평정에서는 근무실적만을 평정대상으로 삼는다.

사례분석 대상 기관의 직무수행평정에서 평정요소는 ‘직무수행’이라는 단일 요소로 구성되어 있어 객관적 평정을 어렵게 하고 있다. 즉, ‘직무수행’이라는 평정요소 속에 실적․능력․태도의 세 요소가 다 같이 포함된 것인지 아니면 ‘실적’만을 평정대상으로 하는지 등에 대한 평정지침이 제시되지 않고 있으며, 또한 평정등급을 탁월․우수․보통․미흡 등으로 나누어 상대평가를 하지 않고 절대점수를 부여할 수 있게 함으로써 평정자별 평균평점 및 표준편차가 천차만별로 나타나는 문제점을 드러내고 있다. 그밖에 피평정자를 제대로 파악할 수 없는 위치에 있는 기관장평정과 관련자평정의 문제점도 지적할 수 있을 것이다.

다음에서는 직무수행평정의 실제적 평정결과를 통계적으로 분석해 보고자 한다.

2. 평정 집단별 평정점수의 상관관계 분석

사례분석 대상기관의 근무성적평정은 <표 3-1-1>에서와 같이 피평정자 집단별로 평정집단의 구성이 상이하다. 따라서 연구직 팀장, 연구직 팀원, 일반직(비보직자) 등 피평정자 집단을 기준으로 하여, 2004년도 하반기 근무성적평정의 각 평정 집단별 평정점수의 상관관계를 살펴보고자 한다.

1) 연구직 팀장에 대한 평정자집단별 평정점의 상관관계

연구직 팀장을 대상으로 한 근무성적평정 결과의 기술통계량은 <표 3-2-1>와 같다. 이 표에 의하면 기관장평정의 평균점이 81.2로 가장 낮고 표준편차도 13.01로 가장 큰 것을 볼 수 있다.

<표 3-2-1> 연구직 팀장 평정시의 근무성적평정 결과

	평균	표 준 편 차	N
상위자평정	93.53	5.05	25
하위자평정	94.80	2.93	25
기관장평정	81.2	13.01	25

다음 <표 3-2-2>는 연구직 팀장에 대한 평정자집단별 평정점수의 상관계수를 나타낸 것이다. 이 표에 의하면 상위자평정-하위자평정의 상관계수는 r=.301, 상위자평정-기관장평정의 상관계수는 r=.080, 하위자평정-기관장평정의 상관계수는 r=-.035로, 앞서 살펴본 Mount(1984)의 연구와 대비된다. 즉 상급자평정-하급자평정의 상관계수는 Mount(r=.24)의 경우와 유사하게 나타나고 있으나, 기관장평정과 다른 평정집단의 평정점수는 상관관계가 아주 낮거나 마이너스로 나타나고 있다. 이것은 기관장평정과 다른 평정집단의 평정결과 크게 다르다는 것을 의미한다.

<표 3-2-2> 연구직 팀장에 대한 평정자집단별 평정점수의 상관계수

구분	상위자평정	하위자평정	기관장평정
상위자평정	1.000
하위자평정	.301	1.000
기관장평정	.080	-.035	1.000

2) 연구직 팀원에 대한 평정점의 상관관계

<표 3-2-3>은 연구직 팀원에 대한 근무성적평정 결과의 기술통계량을 나타낸 것이다. 이 표에서도 기관장평정의 평균점이 79.62로 가장 낮고 표준편차도 13.71로 가장 큰 것을 볼 수 있다. 이러한 평정결과는 피평정자(특히 하급직 구성원)의 근무상황을 제대로 관찰할 수 없는 입장에 있는 기관장평정의 영향력이 지나치게 크다는 구성원들의 불만의 원인이 된 것으로 판단된다.

<표 3-2-3> 연구직 팀원에 대한 근무성적평정 결과

	평균	표준편차	N
팀장(1차상위자)	92.88	3.39	52
부서장(2차상위자)	90.77	4.97	52
기관장	79.62	13.71	52

다음의 <표 3-2-4>는 연구직 팀원에 대한 평정자집단별 평정점수의 상관계수를 나타낸 것이다. 이 표에서 기관장평정과 1차상위자 및 2차상위자 평정의 상관관계가 r=.448, r=.264로 중간정도의 상관관계를 나타내고 있다. 그리고 1차상위자 및 2차상위자 평정의 상관관계도 r=.303으로 나타나고 있다. 기관장, 부서장, 팀장이 모두 피평정자보다 상위자라는 점에서, 이러한 분석 결과는 상급자 평정간의 상관관계가 비교적 높게 나타난다는 다른 연구들(Mount, Judge, Scullen, Sytsma, & Hezlett, 1998; Viswesvaran et al., 1996; Woehr et al, 2005)의 분석결과를 부분적으로 지지한다고 할 수 있을 것이다.

<표 3-2-4> 연구직 팀원에 대한 평정자집단별 평정점수의 상관계수

	팀장(1차상위자)	부서장(2차상위자)	기관장
팀장(1차상위자)	1.000
부서장(2차상위자)	.303*	1.000
기관장	.448**	.264	1.000

* p<.05  ** p<.01

3) 일반직(비보직자)에 대한 평정점의 상관관계

<표 3-2-5>는 일반직(비보직자)에 대한 근무성적평정 결과의 기술통계량을 나타낸 것이다. 이 표에서도 기관장평정의 평균점이 80.67로 가장 낮고 표준편차도 14.36으로 가장 큰 것을 볼 수 있다. 기관장평정의 표준편차가 14.36으로 다른 평정집단의 표준편차보다 4배 정도 크다는 것은 결국 이 기관의 근무성적평정에서 기관장평정의 실질적 영향력이 그만큼 큰 것을 나타낸다고 하겠다.

<표 3-2-5> 일반직(비보직자)에 대한 평정자집단별 근무성적평정 결과

	평균	표준편차	N
상위자평정	94.55	4.74	60
관련직원평정	94.46	3.24	60
기관장평정	80.67	14.36	60

<표 3-2-6>은 일반직(비보직자)에 대한 평정자집단별 평정점수의 상관계수를 나타낸 것이다. 이 표에서 상위자평정과 관련직원평정의 상관계수는 r=.204로 약간의 상관관계를 나타내고 있다. 평정집단으로서의 관련직원 속에는 상당수의 상위자도 포함된다는 점에서 이러한 분석결과는 타당성을 지닌다고 하겠다. 그러나 기관장과 상위자 및 관련집단간의 상관계수는 r=-.055 및 r=-.101로 마이너스의 상관관계를 나타내고 있다.

<표 3-2-6> 일반직(비보직자)에 대한 평정자집단별 평정점수의 상관계수

	상위자평정	관련직원평정	기관장평정
상위자평정	1.000
관련직원평정	.204	1.000
기관장평정	-.055	-.101	1.000

3. 평정결과의 분산분석

다음에서는 각 평정자집단별 평정점수 평균의 동질성 여부를 알아보기 위해 분산분석(ANOVA: analysis of variance)을 수행하였다. 분산분석에 사용된 자료도 II-2 [평정자집단별 평정점수의 상관관계 분석]에서 사용한 것과 동일한 2004년도 하반기 평정자료이나, II-2의 분석에서는 통일성이 결여된 일부 평정을 제외하였다는 점에서, 약간의 차이가 있다.

<표 3-3-1>은 기술통계량을 나타낸 것이다. 이 표에서 우리는 기관장평정의 평균이 80.94로 가장 낮으며, 표준편차는 13.982로 가장 큰 것을 확인할 수 있다.

<표 3-3-1> 2004년도 하반기 근무성적평정의 기술통계량(평정점수)

	N	평균	표준편차	표준오차	평균에 대한 95% 신뢰구간		최소값	최대값
					하한값	상한값
기관장	139	80.94	13.982	1.186	78.59	83.28	60	100
상위자	325	92.62	4.969	.276	92.08	93.16	74	100
하위자	308	94.17	6.038	.344	93.49	94.85	62	100
관련직원	207	94.44	5.180	.360	93.73	95.15	68	100
합계	979	91.83	8.550	.273	91.30	92.37	60	100

<표 3-3-2>는 분산분석표이다. 이 표에 의하면, 집단간 유의확률이 .000으로 매우 유의함을 나타낸다. 이러한 분석 결과는 평정자집단별 평정점 평균이 크게 차이가 있다는 것을 의미한다.

<표 3-3-2> 분산분석(평정점수)

	제곱합	자유도	평균제곱	F	유의확률
집단간	19801.995	3	6600.665	124.492	.000
집단내	51695.198	975	53.021
합계	71497.193	978

다음의 <표 3-3-3>은 각 평정자집단별 평균의 차이를 나타내는 다중비교의 결과이다. 이 표에서 *가 표시된 셀은 관련 평정자집단 사이의 평균의 차이가 크다는 것을 나타낸다. 즉, 기관장-상위자, 기관장-하위자, 기관장-관련직원의 평정점수 평균의 차이가 아주 크다는 것을 의미한다. 상위자-관련직원의 평균차이도 또한 큰 것을 볼 수 있다. 그러나 상위자-하위자, 관련직원-하위자간의 평균은 차이가 없는 것으로 판단할 수 있다.

<표 3-3-3> 다중비교(종속변수: 평정점수) Scheffe

(I) 평정자	(J) 평정자	평균차 (I-J)	표준오차	유의확률	95% 신뢰구간
					하한값	상한값
기관장	상위자	-11.69*	.738	.000	-13.75	-9.62
	하위자	-13.23*	.744	.000	-15.32	-11.15
	관련직원	-13.51*	.798	.000	-15.75	-11.27
상위자	기관장	11.69*	.738	.000	9.62	13.75
	하위자	-1.55	.579	.068	-3.17	.07
	관련직원	-1.82*	.648	.048	-3.64	-.01
하위자	기관장	13.23*	.744	.000	11.15	15.32
	상위자	1.55	.579	.068	-.07	3.17
	관련직원	-.28	.654	.981	-2.11	1.56
관련직원	기관장	13.51*	.798	.000	11.27	15.75
	상위자	1.82*	.648	.048	.01	3.64
	하위자	.28	.654	.981	-1.56	2.11

* p<.05

4. 기타 평정결과의 분석

사례분석 대상 기관 구성원들의 두드러진 불만 가운데 하나는 부서장의 정실평정에 따른 줄서기 문화의 확산이다. 또한 특정부서의 부서이기주의적 평정 행태 등으로 인한 부서간 불평등에 대한 불만도 적지 않다. 이러한 평정행태상의 문제점은 대부분 불완전한 평정도구와 표준화되지 않은 절대평가에 기인하는 것으로 판단된다.

다음에서는 상관관계 분석과 분석분석에서 시도하지 않은, 피평정자를 중심으로 한 부서별 평정편차와 부서장평정 및 부서내 평정의 문제점 등을 고찰하고자 한다.

1) 피평정자 부서별 평정 결과의 분석

<표 3-4-1> 2003년 피평정자 부서별 평정 결과의 분석

	A	B	C	D	E	F	G	H	I	J	K	전체
평균	94.08	93.00	93.56	95.33	92.17	91.96	92.81	93.53	96.05	93.43	94.54	93.07
최소	84	86	86	92	62	78	72	64	78	78	72	62
최대	100	98	100	98	100	100	100	100	100	100	100	100
표준편차	4.52	4.45	4.67	2.73	5.65	5.17	5.39	4.98	3.73	4.85	5.01	5.23

<표 3-4-1>의 2003년도 피평정자 부서별 평정결과의 분석에 의하면, 각 부서별 평균평점이 91.96점 ~ 96.05점 사이에 분포되어 있는 것을 볼 수 있다. 표준편차의 경우에는 가장 작은 2.73에서부터 가장 큰 5.65까지의 분포를 나타내고 있다. 특히 D 부서의 경우에는 평균평점 95.33, 최소 92점, 최고 98점, 표준편차 2.73으로 집중화 경향과 관대화 경향을 동시에 나타내고 있다. 이러한 편향된 평정결과는, 부서장의 직무수행평정 결과 분석에서 보았듯이, 각 부서원에 대한 부서장의 평정기준 및 행태가 가장 큰 요인으로 작용한 것으로 판단된다.

물론 부서별 평정편차의 차이는 [II. 근무성적평정 편차와 관련된 이론적 논의]에서 살펴본 다양한 요인이 복합적으로 작용한 결과로 판단할 수 있을 것이다.

<표 3-4-2> 2004년도 피평정자 부서별 평정 결과의 분석

	A	B	C	D	E	F	G	H	I	J	K	전체
평균	89.4	92.67	93.5	91.44	92.40	90.13	90.79	92.30	94.56	91.96	93.00	91.83
최소	60	86	60	60	60	60	60	60	60	60	60	60
최대	100	100	100	100	100	100	100	100	100	100	100	100
표준편차	12.58	4.84	11.22	10.71	8.70	8.67	8.72	7.24	7.80	7.80	7.77	8.55

2004년도 부서별 평정 결과를 보면, 2003년에 비해 평정평균점이 전체적으로 하향조정된 것을 볼 수 있으나, 최소 및 최대 평점의 경우에는 큰 차이가 없음을 알 수 있다. 부서별 평균평점은 최고 94.56점, 최저 89.4점으로 무려 5.16점이나 차이가 남으로써 이 절대평가 점수를 그대로 범부서적인 승진서열명부 작성에 사용함으로써 심각한 부서간 불균형이 초래되고 있다.

그리고 표준편차는 2003년의 5.23에서 2004년 8.55로 확대됨으로써 전체적으로 분산도가 높아진 것을 알 수 있다. 2003년의 표준편차 분포 2.73 ~ 5.65와 비교해 볼 때, 2004년도에 표준편차 분포가 4.84 ~ 12.58로 확대된 것은 그만큼 분산도가 커진 것을 나타낸다.

2) 단일 부서 내 단위조직별 평정 결과의 분석

<표 3-4-3>, <표 3-4-4>는 단일부서 내의 단위조직에 대한 평정결과를 분석한 것이다.

<표 3-4-3> 2003년 단일 부서(E) 내 단위조직별 평정 결과의 분석

	전체	E-I	E-II	E-III	E-IV
평균	92.17	94	91.45	91.04	95.03
최소	62	62	82	70	82
최대	100	100	100	100	100
표준편차	5.65	7.32	5.01	5.50	4.33

<표 3-4-3>의 2003년도 평정결과에 의하면, 특정한 단일부서(E) 내의 단위조직간에도 평정평균점이 91.04(E-II) ~ 95.03(E-IV)으로 큰 편차를 나타내고 있음을 알 수 있다. 일부 구성원들은 이와 같은 단위조직간의 편차는 승진예정자가 많이 포함된 특정 단위조직에 대해 후한 평점을 주는 부서이기주의적 담합평정 때문인 것으로 의심하고 있다.

<표 3-4-4> 2004년도 단일 부서(D) 내 단위조직별 평정 결과의 분석

	전체	D-I	D-II	D-III	D-IV
평균	91.44	96.29	91.05	90.00	90.00
최소	60	92	60	60	70
최대	100	100	100	100	100
표준편차	10.71	2.70	12.76	11.81	10.17

<표 3-4-4>는 2004년도 평정에서 단일부서(D) 내의 단위조직 D-I의 평균평점이 96.29로 다른 D-II, D-III, D-IV 등의 단위조직에 비해 현격하게 높은 것을 알 수 있다. 이러한 큰 편차는 특정 부서의 특정한 단위조직에 대한 다른 조직단위의 불만을 초래하게 되며, 나아가 근무성적평정 자체에 대한 불신의 원인이 된다.

3) 부서장 평정의 결과 분석

면접조사 등에서, 사례분석 대상 기관의 구성원들은 부서장평정의 평정편차가 심각한 수준이라고 주장하고 있다. 즉, 상당수의 구성원들은 일부 부서장의 정실평정의 횡포로 인해 부서간․개인간 심각한 불균형이 초래되고 있다는 불만을 표출하고 있다. 그러나 이 기관의 평정집단 가운데는 부서장으로 구성된 공식적 평정단위가 있는 것은 아니다. 부서장은 상위자 집단 및 관련집단의 일원으로 평정에 참여한다. 다음에서는 부서장 평정의 실태를 분석해 보고자 한다.

<표 3-4-5> 부서장의 직무수행평정 결과 분석

	구분	전체	A	B	C	D	E	F	G
2003 하반기	평균	90.13	90.55	88.50	88.35	89.63	92.00	97.33	90.77
	표준편차	4.91	5.66	4.02	3.82	4.63	4.47	1.03	5.97
2004 상반기	평균	91.27	90.67	89.00	98	91.00	96.00	93.54	92.53
	표준편차	5.081	4.85	7.07	0	4.24	2.83	6.74	5.43
2004 하반기	평균	93.82	90.07	90.11	91.88	94.11	97.00	93.69	92.21
	표준편차	5.62	5.95	3.23	3.28	3.85	1.85	7.65	5.28

<표 3-4-5>에서 보면, 부서장평정의 평균점과 표준편차가 모두 2003년 하반기, 2004년 상반기, 2004년 하반기로 가면서 점차 높아지고 있는 것을 알 수 있다. 부서장 평정에서 가장 평균평점이 높은 경우는 2004년 상반기 C부서장의 98점이며, 가장 낮은 평균평점은 2003년 하반기 C부서장의 88.35점이다. 2003년 하반기의 경우 가장 높은 평균평점 97.33점과 가장 낮은 평균평점 88.35점간에는 무려 8.98점이나 차이를 나타내고 있다. 도표를 통해 보면, 2003년 하반기에서 2004년 하반기까지 평균평점이 점차 평준화되고는 있으나, 2004년 하반기의 경우에도 최고점 97.00점과 최하점 90.07점 사이에는 6.93점의 차이를 나타내고 있다.

표준편차의 경우, 2003년 하반기에 최고 5.97과 최하 1.03으로 그 영향력의 차이가 무려 5.8배에 달함을 볼 수 있다. 2004년 하반기에는 최고 7.65, 최하 1.85로 영향력의 차이가 4배로 나타나고 있다. 이러한 분석결과는 부서장 평정의 평정편차가 너무나 커 통계적 조정의 필요성을 나타낸다고 할 수 있다.

<표 3-4-6>은 2004년도 하반기 연구직에 대한 부서장의 직무수행평정 결과를 분석한 것이다.

<표 3-4-6> 2004년도 하반기 연구직에 대한 부서장의 직무수행평정 결과

	A	B	C	D	E	`합계
평균	98.00	88.76	90.00	91.33	94.25	91.10
최소	96.00	76.00	86.00	86.00	84.00	76.00
최대	100.00	98.00	94.00	96.00	98.00	100.00
표준편차	2.83	6.37	2.92	2.99	3.92	4.93

<표 3-4-6>의 분석결과에 따르면, 연구직에 대한 부서장의 2004년도 하반기 직무수행평정 결과는 2003년도 하반기에 비해 분산도가 크게 나타나고 있다. 또한 A부서의 경우에는 평균평점 98점, 최소점 96점으로 관대화 경향과 아울러 집중화 경향을 보이고 있다. 부서별 평균평점은 최고 98점, 최저 88.76점으로 10점 가까운 차이를 나타냄으로써 2003년도 평점평균의 차이 4.37보다 훨씬 큰 차이를 나타내고 있음을 알 수 있다. 이와 같이 부서별 평균평점의 차이가 크게 나타날 경우, 부서장 개인의 평정기준의 편차에 의해 근무성적평정상의 불이익을 받게 되는 부서가 발생하게 되며, 이는 결국 근무성적평정 전체에 대한 신뢰를 떨어뜨리게 된다.

<표 3-4-7> 2004년도 하반기 일반직에 대한 부서장의 직무수행평정 결과

	A	B	C	D	E	F	G	합계
평균	92.89	93.11	91.00	96.00	93.00	97.00	93.69	93.96
최소	84	86	86	94	90	94	82	82
최대	100	98	96	98	96	100	100	100
표준편차	5.75	3.48	7.07	2.83	4.24	1.85	7.65	5.40

<표 3-4-7>의 분석결과에 따르면, 2004년도 하반기 부서장의 일반직에 대한 직무수행평정은 평균평점 93.96, 최소 82, 최대 100, 표준편차 5.40을 나타내고 있다. 부서장에 따른 편차는 최고 97.00, 최저 91.00으로 6점의 차이를 나타냄으로써 2003년도에 비해 편차의 폭이 다소 줄어든 것을 알 수 있다. 그러나 F부서는 평균평점 97.00, 표준편차 1.85로 관대화 경향과 집중화 경향을 동시에 나타내고 있는 바, 이러한 평정결과는 부서장의 평정기준의 차이에 따라 부서간에 큰 불평등이 초래되고 있음을 나타낸다고 하겠다.

5. 평정집단별 실질적 영향력의 비교․분석

다음에서는 해당 기관의 평정규칙 등에 규정된 각 평정자별 배점기준과 실질적인 영향력의 차이를 비교․분석해 보고자 한다. 평정자별 평점의 실제적 영향력은 환산점수의 표준편차로 판단할 수 있다. 예를 들어, 상위자 평정의 배점비중을 30%라 하고 하위자 평정의 배점비중이 40%라 할 때, <표 3-5-1>에 나타난 통계치를 기준으로 하면, 상위자 평정의 실질적 영향력은 [0.3 x 9.93 = 2.979]로 나타나며, 하위자 평정의 영향력은 [0.4 x 4.76 = 1.904]로 나타나, 명목상 배점비중이 높은 하위자 평정의 실질적 영향력이 상위자 평정의 2/3에 불과한 것으로 해석할 수 있다.

<표 3-5-1> 평정자집단별 환산점수의 표준편차

		기관장 평정	상위자 평정	하위자 평정	관련직원 평정
2003년	환산점수의 평균평점	15.69	24.83	22.61	22.08
	환산점수의 표준편차	7.64	9.93	4.76	5.98
2004년	환산점수의 평균평점	13.58	26.43	22.67	15.32
	환산점수의 표준편차	7.63	8.33	4.7	7.15

<표 3-5-1>의 분석 결과에 따르면, 2003년의 경우 상위자 평정(9.93), 기관장 평정(7.64), 관련직원 평정(5.98)의 순으로 실제적인 영향력을 나타내고 있으며, 상위자 평정(9.93)의 영향력은 하위자 평정(4.76)의 영향력보다 2배가 넘는 것으로 나타나고 있다. 2004년의 경우에도 실제적인 영향력의 순서는 바뀌지 않고 있으나, 관련직원 평정 환산점수의 표준편차가 2003년의 5.98에서 2004년 7.15로 크게 높아지고 있다. 이러한 분석결과에 의하면, 결국 이 기관의 근무성적평정에서 부서장 등이 포함된 상급자평정과 기관장평정의 실질적 영향력이 하급자 평정 및 관련직원 평정의 경우보다 훨씬 크다고 할 수 있다. 이러한 현상은 부서장과 기관장의 평정점의 분산폭이 다른 집단보다 훨씬 크기 때문에 야기된다고 할 수 있다.

Ⅳ. 평정편차 조정 방안의 모색

1. 평정편차 조정의 기본 방향

근무성적평정에 있어서는 평정도구의 결함과 평정자의 편견 등에 기인하는 크고 작은 평정편차가 발생하게 마련이다. 평정자의 편견에 의해 발생하는 편차는 복수 평정자의 상쇄효과에 의해 균형화되는 것으로 가정할 수 있으나, 평정편차가 구성원의 수용범위를 심각하게 벗어날 경우에는 편차를 인위적으로 조정할 필요가 있다.

평정편차의 조정은 기본적으로 사후적 조정을 의미하나, 또 다른 차원의 왜곡을 초래할 우려가 있는 사후 조정의 필요성을 줄이기 위해서는 사전적 조정수단이 중요성을 지닌다. 평정편차의 발생을 사전에 방지하기 위해서는 먼저 평정도구를 합리화할 필요가 있다. 즉, 주관적 편견의 개입을 최소화할 수 있도록 근무실적의 개념이 분명하게 정의되고, 평정요소와 평가 기준이 논리적 체계성을 갖춘 합리적인 평정 도구가 개발되어야 할 것이다. 특히 평정 요소의 개념이 명료하게 정의되고, 평정 척도가 표준화되어야 한다. 그리고 평정자가 객관적 평정을 할 수 있도록 평정관련 교육훈련을 강화하여 평정자의 자질을 개선할 필요가 있다.

근무성적평정에 있어서는 평정의 공정성과 객관성이 중요하다. 평정의 공정성과 객관성을 높이기 위해서는 타당성과 신뢰성이 확보되어야 한다. 평정의 타당성을 확보하기 위해서는 다음과 같은 점이 고려되어야 한다. 첫째, 성공적 직무 수행과 관련되는 피평정자의 특성 및 행동 등의 평정 요소가 세심한 직무조사를 토대로 하여 구체적인 직무와 연관되어 결정되어야 한다. 둘째, 평정자가 피평정자의 직무와 연관된 특성 및 행동을 관찰할 수 있는 충분한 시간과 기회를 가져야 한다. 통솔 범위가 넓다든가, 분권적인 경우, 또는 감독자가 예외적인 사항에만 관여하는 관리 체제 등에서는 이러한 관찰이 제약되기 쉬워 평정의 타당성이 감소된다(Siegel & Myrtle, 1985: 306; 이종수 외, 2005).

평정편차의 사전 조정 수단으로는 특히 강제배분법(forced distribution)이 중요성을 지닌다. 그리고 극단적인 평점을 부여할 때는 근거가 되는 중요 사건을 병기토록 하는 방법도 사용될 수 있을 것이다. 또한 동료평정, 하급자평정 등 다면평정제를 제도화하는 것도 한 방안이 될 수 있다.

강제배분법은 근무성적을 평정한 결과 피평정자들의 성적 분포가 과도히 집중되거나 관대화되는 것을 막기 위해 성적분포의 비율을 미리 정해 놓는 사전적 조정 방법을 말한다. 분포 비율을 정하는 방법은 여러 가지가 있으나, 각 등급별 분포가 종형(鐘型)인 정상 분포곡선(normal curve)이 되도록 배분하는 것이 일반적인 예이다 (Bellows, 1955: 399).

강제배분법은 피평정자가 많을 때는 관대화 경향에 따르는 평정 오차를 방지할 수 있는 이점이 있다. 그러나 강제배분법을 적용할 경우에는 평정자가 미리 강제배분 비율에 따라 평정 대상자를 각 등급에 분포시키고, 그 다음에 역으로 등급에 해당하는 점수를 부여하는 소위 역산식(逆算式) 평정을 할 가능성이 높으며, 또한 평정 대상자 전원이 무능하더라도 일정 비율의 인원이 우수하다는 평정을 받게 되거나, 반대로 전원이 우수한 경우에도 일정한 비율의 인원은 열등하다는 평정을 받게 되는 결함을 지닌다(이종수 외, 2005: 328-329).

강제배분법의 도입은 평정편차의 사후적 조정의 필요성을 현저하게 줄일 수 있는 강력한 수단이 된다.

평정편차의 사후 조정 방법으로는 조정자를 통한 부분적 조정의 방법과 획일적인 통계적 조정의 방법이 있다. 조정자를 통한 부분적 조정의 방법은 평정자와 구분되는 조정자를 두어 평정 결과가 확정되기 전에 평정 결과를 조정하는 것을 말한다. 이때 조정자의 임무는 평정 결과의 타당성을 검토하고, 집단내의 평점의 균형을 유지하는 데 필요한 조치를 취하는 것이다. 따라서 조정자는 피평정자를 관찰할 수 있는 위치에 있는 사람이어야 하며, 집단내의 평점의 균형을 유지하여야 하기 때문에 몇 개의 평정집단을 횡단적으로 관찰할 수 있는 위치에 있는 사람이 적합하다. 이러한 조정자는 평정자의 상급자 가운데 한 사람을 지정하는 경우와 복수인으로 구성되는 위원회를 두는 경우도 있다(이종수 외, 2005). 또한 평정편차의 통계적 조정 방법으로는 평정 점수를 평정단위 내의 백분비 등급으로 환산하거나 또는 표준편차를 산식에 반영하여 표준득점(standard score)으로 환산하는 방식 등이 있다.

2. 사례분석 대상기관의 부서장편차 조정 방식의 효과

사례분석 대상기관의 근무성적평정은, 앞서 살펴보았듯이, 부서장의 평정행태에 따라 부서별 평균평점의 편차가 크게 나타나고 있다. 심지어는 단일부서 내의 단위조직간에도 평균평점의 차이가 크게 나타남을 볼 수 있었다. 그리고 평정집단의 명목상 배점비율과는 달리 상위자평정과 기관장평정이 실제적으로 평정서열을 좌우하는 것을 보았다.

구성원을 대상으로 한 면접조사 결과에 의하면, 일부 구성원들은 이러한 부서간, 부서내 평정편차는 부분적으로 부서 이기주의에 의해 발생하는 것으로 인식하고 있었다. 심지어는 직무수행평정이 객관적 근거자료에 의존하기보다는 상위 직급자의 자의적 판단에 의해 이루어지며, 일부 정실평정과 담합평정이 이루어지는 것으로 의심하고 있었다.

이 기관의 근무성적평정의 가장 큰 과제는 부서별로 상이한 평정자군(different rating sources)이 절대평가를 통해 부여한 평정점수를 어떻게 균형화 시키느냐는 문제라고 할 것이다. 즉 비교적 큰 평정편차가 포함된 절대평가 점수를 기관 전체의 직급별 서열명부 작성에 그대로 반영함으로써 나타나는 평정자간, 부서간 편차를 조정하는 것이 당면한 과제라고 할 것이다.

근무성적평정상의 부서간, 개인간 불균형 문제를 시정하기 위해서는, 평정단위 별로 동일한 평정자군(群)이 평정하도록 평정단위를 재조정하거나 또는 평정자별 편차를 시정하기 위한 통계적 조정을 하여야 한다. 그러나 해당 기관에서 동일한 평정단위에 동일한 평정자군(群)을 설정하여 근무성적평정을 실시하는 것은 현실적으로 어려울 것으로 판단된다. 따라서 최종적인 평정서열명부 작성 이전에 평정자별-부서별 평정편차를 조정하는 작업이 불가피하다고 할 것이다.

다음에서는 2004년부터 이 기관에서 도입․시행하고 있는, 평균평점을 이용한 부서장 평정점의 통계적 조정의 효과를 분석해 보고자 한다. 앞서 밝혔듯이 이 기관에서는 부서장의 평정편차를 다음과 같은 방식으로 조정하고 있다.

[조정된 부서장 평정 점수 = 해당 부서장의 실제 평정 점수-(해당 부서장 평정점수의 평균 - 전체 부서장 평정점수의 평균)]

조정점수 산출의 기준은 [<표 3-4-6> 2004년도 하반기 연구직에 대한 부서장의 직무수행평정 결과]이다. 그리고 분석대상으로 삼은 표본자료는 2004년도 하반기 C,D,E 부서 소속원(연구직) 가운데서 뽑은 각 3명의 실제적인 근무성적평정 점수이다. 이와 같은 방식에 의해 조정된, 부서장 평정점의 통계적 조정효과는 <표 4-2-1>과 같다.

<표 4-2-1> 평균평점을 이용한 부서장 평정점의 통계적 조정 효과

	전부서장 평점	C 부서			D 부서			E 부서
평균	91.1	90.00			91.33			94.25
최소	76.0	86.00			86.00			84.00
최대	100.0	94.00			96.00			98.00
표준편차	4.64	2.92			2.99			3.92
원점수 (부서장)		84.3 (90)	85.7 (86)	92.4 (94)	82.5 (92)	90 (96)	94.3 (90)	89 (94)	92.8 (90)	96.3 (98)
조정점수 (부서장)		84.5 (91.1)	85.8 (87.1)	92.5 (95.1)	82.4 (91.8)	89.9 (95.8)	94.2 (89.8)	88.2 (90.9)	92.2 (86.9)	95.8 (94.9)

이 표에서 C부서의 첫 번째 구성원을 예로 들면, 부서장평정점(괄호 속의 점수)이 원점수 90점에서 91.1점으로 상향조정되어, 총평정점이 원점수 84.3점에서 84.5점으로 상향조정된 것을 볼 수 있다. E부서의 첫 번째 구성원을 보면, 부서장평정의 원점수 94점이 90.9점으로 하향조정되어, 총평정점이 원점수 89점에서 88.2점으로 하향조정된 것을 볼 수 있다. 그러나 전체적으로 조정된 총평정점이 원점수와 크게 차이가 나지 않음을 볼 수 있다. 부서장평정의 영향이 크다고는 하나, 다른 평정집단의 평정점수와 합산하는 과정에서 그 영향력이 상쇄되었기 때문일 것이다.

3. 표준값 방식에 의한 편차 조정

앞에서 살펴 본, 부서장평정점의 통계적 조정방식은 부서장에 기인한 평정 편차를 어느 정도 시정해 줄 수 있을 것이다. 그러나 부서이기주의에 의한 파행적 평정행태 등 다른 요인에 의한 편차의 문제는 그대로 남는다. 특히 그 중에서도 표준편차 크기의 차이에 따른 불균형 문제는 심각하다고 할 수 있다. <표 3-4-6>에서 보듯이, 표준편차가 큰 B부서장의 극단적인 평정평점 등으로 인한 편차는 조정되어야 할 또 다른 과제라 할 것이다.

표준편차에 기인하는 불균형 문제는 표준값(standard value)으로 환산하는 방법을 통해 해결할 수 있을 것이다. 표준값의 산출방식에는 여러 방식이 있을 수 있으나, 여기서는 다음의 방안을 제안하고자 한다.

표준값=전체평균+[(피평정자의 원평정점-소속부서의 평균 평점) x 전체의 표준편차 / 소속부서의 표준편차]

다음의 <표 4-2-2>는 표준값에 의한 통계적 조정 효과를 나타낸 것이다.

<표 4-2-2> 표준값에 의한 통계적 조정 효과

	전체의 통계치	C 부서			D 부서			E 부서
평균	91.83	90.00			91.33			94.25
최소	60	86.00			86.00			84.00
최대	100.0	94.00			96.00			98.00
표준편차	8.55	2.92			2.99			3.92
원점수		84.3	85.7	92.4	82.5	90	94.3	89	92.8	96.3
표준값 (조정점수)		75.1	79.2	98.9	66.6	88	100	80.4	88.7	96.3

이 표에 의하면, C부서 첫째 구성원의 원점수 84.3은 표준값 75.1로 크게 줄어들었는데 비해, 동일한 C부서 셋째 구성원의 원점수 92.4점은 98.9점으로 오히려 크게 늘어난 것을 볼 수 있다. 그리고 E부서의 경우에는 구성원 모두의 점수가 하향 조정되거나 동일한 것을 볼 수 있다. 이러한 분석결과는 표준값 방식에 의한 평정편차 조정의 효과가 부서간은 물론 부서 내에서도 광범하게 나타나고 있음을 보여준다.

다음의 <표 4-2-3>은 부서장 평정점의 통계적 조정 효과와 표준값에 의한 통계적 조정 효과를 비교한 것이다.

<표 4-2-3> 부서장 평정점의 통계적 조정 효과 및 표준값에 의한 통계적 조정 효과의 비교

	C 부서			D 부서			E 부서
평균	90.00			91.33			94.25
최소	86.00			86.00			84.00
최대	94.00			96.00			98.00
표준편차	2.92			2.99			3.92
원점수	84.3	85.7	92.4	82.5	90	94.3	89	92.8	96.3
부서장평정점만을 조정한 점수	84.5	85.8	92.5	82.4	89.9	94.2	88.2	92.2	95.8
표준값에 의한 조정점수	75.1	79.2	98.9	66.6	88	100	80.4	88.7	96.3

<표 4-2-3>에 의하면, 부서장평정점만을 조정할 경우 피평정자가 받은 원점수와 조정점수간의 차이가 크지 않으나, 표준값 방식에 의한 조정점수는 원점수와 현격한 차이를 나타내는 것을 볼 수 있다. C부서를 예로 들 경우, 부서장평정점의 조정 효과가 0.1-0.2로 작게 나타난데 비해, 표준값 방식의 조정 효과는 -9.2점에서 +6.5까지 점까지 무려 15.7점의 큰 조정 효과가 있는 것으로 나타나고 있다. 그리고 D부서의 경우에도 부서장평정점의 조정효과가 모두 0.1점의 차이밖에 나타내지 않은데 비해, 표준값 방식은 -8.6점에서 0점까지 8.6점의 조정효과가 있는 것을 볼 수 있다. 그만큼 표준값 방식의 조정이 평정도구의 결함 및 평정자의 편견 등에 기인하는 평정편차를 시정하는 효과가 크다고 하겠다.

이러한 분석결과는 표준값 방식으로 산출된 조정점수로 기관전체의 평정서열명부를 다시 작성할 경우, 부서장평정점의 조정점수만을 기준으로 작성된 기존의 평정서열이 크게 뒤바뀌게 된다는 것을 의미한다.

Ⅴ. 결  언

이 연구는 우리나라의 한 공공 연구기관의 근무성적평정 결과를 분석하고 평정편차의 시정방안을 다룬 것이다.

근무성적평정 결과를 평정자집단별, 피평정자집단별로 분산분석 및 상관관계 분석을 한 결과, 기관장․부서장․부장․팀장 등 상급자 평정집단간의 상관관계가 중간 정도로 나타나, Mount 등 기존의 연구결과를 부분적으로 뒷받침하는 것을 보았다. 그리고 기관장-하위자, 기관장-관련직원, 상위자-관련직원 등 평정집단간의 평정점수 평균의 차이가 아주 큰 것을 보았다. 또한 평정집단간 평균평점 뿐만 아니라 표준편차의 차이도 크게 나타난 것을 보았다.

사례분석 대상 기관에서는 특히 부서장 평정의 편차를 줄이기 위해, 2004년부터 부서장 평정의 평균점을 기준으로 한 통계적 조정 방안을 도입․시행하고 있다. 그러나 이러한 조정방식으로는 표준편차의 차이 등에 기인하는 편차문제를 해결할 수 없다. 분석결과도 부서장 평정점을 부분적으로 조정한 점수가 피평정자가 받은 원점수와 크게 차이가 없음을 나타냈다.

이 연구에서 필자는 평정평균점은 물론 표준편차까지를 반영하는 표준값 방식의 조정방안을 제시하였다. 이러한 표준값 방식은 부서간은 물론 부서 내에서도 폭넓은 조정 효과를 나타내는 것을 확인하였다.

어떠한 근무성적평정에서도 평정도구의 불완전성과 평정자의 편견에 기인하는 평정편차는 발생하게 마련이다. 평정편차의 문제를 해소하기 위해서는 사후적 조정뿐만 아니라 강제배분법의 도입과 같은 사전적 조치가 중요성을 지닌다. 그리고 평정과정에서 편견의 개입을 방지할 수 있도록 평정요소와 평가 기준을 체계적으로 설계하고, 평정자에 대한 교육훈련을 강화하여야 할 것이다.

참 고 문 헌

박찬국. (1996). ｢인력평가 시스템 개선방안에 관한 연구｣. 한국생산성본부.

안희탁. (1994). ｢능력주의 시대의 인사고과｣. 한국경영자총협회.

이종수 외. (2005). ｢새인사행정론｣. 대영문화사.

조보상 외. (2002). ｢현대 인적자원관리｣. 서울: 무역경영사.

하상묵. (1997). ｢공무원 근무성적평정 제도의 합리적 운영방안｣. 한국행정연구원 KIPA 연구보고 97-06.

Ashford, S. J. (1989). Self-assessment in organizations: A literature review and integrative model. in L. L. Cummings & B. M. Staw (eds.). Research in organizational behavior. vol. 11: 133-174. Greenwich, CT: JAI Press.

Bellows, R. M. (1955). Psychology of Personnel in Business and Industry. New York: Prentice-Hall.

Byars, Lloyd L., Leslie, W. Rue. (1984). Human Resource and Personnel Management. Homewood, Illinois: Richard D. Irwin, Inc.

Cadwell, Charles M. (1994). The Human Touch Performance Appraisal. American Media.

Campbell, D. J.,& Lee, C. (1988). Self-appraisal in performance evaluation: Development versus evaluation. Academy of Management Review, 13: 302-314.

Cardy, R. L., & Dobbins, G. H.. (1994). Performance appraisal: Alternative perspectives. Cincinnati. OH: South-Western Publishing Co.

Cascio, Wayne F. (2003). Managing Human Resources: Productivity, Quality of Work Life, Profits. 6th ed. N.Y.: McGraw-Hill.

________. (1991). Applied psychology in personnel management(4th ed.). Englewood Cliffs, NJ: Prentice-Hall.

Conway, J. M., & Huffcutt, A. I. (1997). Psychometric properties of Multisource ratings: A meta-analysis of subordinate, supervisor, peer, and self-ratings. Human Performance, 10. 331-360.

Facteau, Jeffrey D. and S. Bartholomew Craig. (2001). Are Performance Appraisal Ratings From Different Rating Sources Comparable ? Journal of Applied Psychology, 86(2):  215-227.

Fisher, M. (1995). Performance Appraisals. London: Kogan Page Limited.

Harris, M. M., & Schaubroeck. (1988). A meta-analysis of self-supervisor, self-peer, and peer-supervisor ratings. Personal Psychology, 41: 43-62.

Landy, F. J. & Farr, J. L. (1980). Performance rating. Psychological Bulletin, 87: 72-107.

Mabe, P. A., III & West, S. G. (1982). Validity of self-evaluation of ability: A review and meta-analysis. Journal of Applied Psychology, 67. 280-296.

Mount, M. K. (1984). Psychometric properties of subordinate ratings of managerial performance. Personnel Psychology, 37: 687-702.

Mount, M. K. Judge, T. A., Scullen, S. E., Sytsma, M. R., & Hezlett, S. A. (1998). Trait, rater, and level effects in 360-degree performance ratings. Personnel Psychology, 51: 557-576.

Murphy, K. R., & Cleveland, J. N. (1995). Understanding performance appraisal: Social, organizational, and goal based perspectives. Thousand Oaks, CA; Sage.

Siegel, Gilbert B. and Robert C. Myrtle. (1985). Public Personnel Administration: Concepts and Practices. Boston: Houghton Mifflin.

Thornton, G. C. III. (1980). Psychometric properties of self-appraisals of job performance. Personnel Psychology, 33: 263-271.

Viswesvaran, C., Ones, D. S., & Schmidt, F. L. (1996). Comparative analysis of the reliability of job performance ratings. Journal of Applied Psychology, 81: 557-574.

Woehr, David J., M. Kathleen Sheehan, Winston Bennett Jr. (2005). Assessing Measurement Equivalence Across Rating Sources: A Multitrait-Multirater Approach. Journal of Applied Psychology, 90(3): 592-600.

이종수(李鍾受): 서울대학교에서 행정학박사 학위를 취득하고 현재 한성대학교 행정학과 교수로 재직 중이다. 주요 관심분야는 인사행정, 정부 혁신, 행정 윤리 등이다. 최근의 연구실적으로는「정부혁신의 메커니즘과 전략」(2005),「일본의 행정개혁」(2002) 등이 있다.

<E-mail: jlee@hansung.ac.kr/논문접수일: 2006. 3. 24/ 심사완료일: 2006. 4. 27>