DEA/AHP모형을 통한 행정조직의 상대적 효율성 평가

□지방정부연구□ 제8권 제4호(2004 겨울) : 299~316

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

- 읍면을 중심으로 -

Measuring Relative Efficiency of Local Government's Field Administration, Eup and Myun, by Use of DEA/AHP Model

김 건 위(한국지방행정연구원)

이 혜 영(한국지방행정연구원)

박 해 육(한국지방행정연구원)

본 연구는 행정조직의 효율성 평가에서 적은 수의 평가대상이 있을 때 기존 모형에서 나타나는 판별력 부족을 해결하고 무제약의 가중치 조건이 지니는 한계점을 개선하고자 하는 두 가지 목적에서 출발하였다. 이러한 목적을 달성하기 위해서 평가대상 수가 적은 읍면의 상대적 효율성 평가가 가능하도록 기존의 DEA모형을 변형한 DEA/AHP모형으로 효율성 측정을 시도하였다.

* 본 연구에 많은 도움을 주신 고려대학교 경영대학 임호순 교수님께 감사드린다.

그 결과, 첫째로 기존 CCR모형에서는 여러 개의 읍면이 효율적으로 나타나서 판별력의 문제가 나타났지만 가중치 제약모형을 적용했을 때 판별력이 향상되고 있음을 볼 수 있었다. 둘째로 투입 및 산출변수에 대한 비합리적 가중치 문제, 즉 0이 나타나는 횟수가 제약모형에서는 줄어들었다. 이를 통해 등급화 및 개별적인 읍면에 대한 관리상의 개선점을 제시해 줄 수 있는 것으로 생각된다.

주제어 : 효율성 평가, 자료포락분석(DEA), 계층분석방법(AHP)

Ⅰ. 서  론

`공공부문이나 민간부문을 막론하고 조직의 운영과 성과관리에 있어 효율성은 중요한 기준의 하나로 인식되어 왔다. 특히, 경제위기 상황이나 재정적자가 심화되는 경우에 효율성은 조직관리의 기준으로써 더욱 큰 비중을 차지하게 되는 것을 볼 수 있으며, 우리나라의 경우도 IMF 경제위기 이후 행정부문의 효율성을 향상시키기 위해서 많은 노력을 기울여 왔다. 공공부문에서 그 동안 제시된 효율성 향상을 위한 방안들의 핵심은 공공부문 운영·관리의 중점을 기존의 □투입에 대한 통제 및 절차의 준수여부□로부터 □성과중심□으로 전환하는데 있다(김태일, 2000: 186). 앞으로 공공부문의 운영과 관리가 성과에 근거하여 이루어지고, 이에 따른 차별적인 보상이 이루어지는 성과관리를 정착시키기 위해서는 우선적으로 행정조직에 대한 성과비교 및 성과평가에 대한 기법이 개발되어 체계적인 평가가 이루어져야 한다.

2001년 1월 「정부업무등의평가에관한기본법」이 제정되면서 지방자치단체를 중심으로 자체평가가 실시되고 있으며, 이 제도의 시행으로 각 자치단체는 책임성 확보 및 효율성 향상을 도모하고자 노력하고 있다. 그러나 자체평가제도의 정착을 위해서는 제도적인 지원과 더불어 평가시행에 따른 문제점, 예를 들면 목표설정의 어려움, 평가대상과제 선정 및 지표개발의 어려움, 평가역량의 부족 등을 해결해야 한다(이혜영 외, 2004). 이러한 문제들을 해결하고, 지방자치단체 차원에서 체계적인 자체평가가 이루어지기 위해서는 다양한 방안들이 모색되어야 한다.

) 「정부업무등의평가에관한기본법」은 평가의 목적을 업무추진의 효율성을 높이고 책임성을 확보하여 정부업무 등에 대한 국민의 신뢰를 향상시키는 데에 있다(제1조)고 명시하고 있다.

) 자체평가의 발전 방안에 대해서는 라휘문(2003), 박해육(2004) 참조.

DEA/AHP모형을 통한 행정조직의 상대적 효율성 평가

□지방정부연구□ 제8권 제4호(2004 겨울)

본 연구에서는 평가과정상의 여러 가지 어려움에도 불구하고 행정조직의 효율성을 평가할 수 있는 모형이 필요하다는 관점에 근거하여 자료포락분석(Data Envelopment Analysis, 이하 DEA)과 AHP(Analytic Hierarchy Process)의 통합모형(Hybrid model)을 통한 읍면 평가의 가능성을 모색하고자 한다. 이러한 모델을 읍면에 적용하여 기존의 모델이 지니고 있는 한계를 극복하고, 자체평가제도의 시행으로 인하여 주요 이슈로 대두되고 있는 조직간 성과비교 및 평가를 위한 도구로 활용하고자 한다.

) 엄밀한 의미에서는 DEA-AR(Thompson et al., 1990)모형이라고 볼 수 있으나, 그 제약방법으로 AHP를 활용하는데서 DEA/AHP모형으로 지칭하고자 한다. 그 이유는 기존 경영학에선 이 모형을 Hybrid모형으로 지칭(임호순·유석천·김연성, 1999)하고 있으나, 행정학 분야에는 아직까지 확산 및 보급이 이루어지지 않은 상태라 DEA에 AHP를 결합했다는 의미를 전달하기 위해 DEA/AHP모형으로 지칭하기로 한다.

기초자치단체마다 자체평가의 대상기관으로 실·과·소뿐만 아니라 읍·면·동이 있지만 읍·면·동의 경우는 실·과·소와는 달리 평가되어야 할 것이다. 그 이유는 실·과·소의 경우 개별목표를 설정하고 이의 달성여부를 측정할 수 있는 지표를 개발하여 성과를 측정해야 하지만, 읍면의 경우 동일한 업무를 수행하는 경우가 대부분을 차지하고 있어서 상호간 상대비교를 통해 성과달성 및 성과관리의 수준을 확인하고, 우수 읍면에 대한 벤치마킹을 통하여 학습을 촉진하는 것이 더욱 중요하다고 볼 수 있기 때문이다.

일반적인 평가방법은 평가항목의 점수를 각 항목에 부여된 가중치로 곱하는 가중평균방식으로 계산된다. 이러한 지표체계방식은 이해하기 쉽고 계산이 간단하다는 장점이 있지만 가중치 체계(weight scheme)를 구축하기 어렵고 또한 성과점수가 가중치에 민감할 수 있다는 약점을 가지고 있다(Johnes, 1988; 1990). 이와 대비되는 DEA는 가격에 대한 정보를 필요로 하지 않으며 가중평균방식의 평가방식이 갖는 문제점에 대한 하나의 해결방안을 제공해 줄 수 있다는 점에서 그 대안이나 해결책이 될 수 있다.

) Johnes and Johnes(1995)는 가중평균방식의 성과지표의 대안 또는 보조수단으로 DEA의 사용을 제안한 바 있다.

가중평균방식과 대비되는 DEA모형 중 전통적 모형인 CCR 및 BCC모형 등은 효율적으로 판별되는 기관의 수를 제한할 수 없기 때문에 실제 적용 시에 평가대상수가 적을 경우, 문제를 유발할 가능성이 높다는 한계와 대상기관들의 순위를 매길 수 없다는 한계를 지니고 있다. 따라서 이를 보완하는 차원에서 기존 모형을 변형하여 적용하는 것이 필요하며, 이를 통해 실제 기관평가 시에 평가기준간의 중요도에 대한 객관성을 최대한 확보할 필요가 있다. 한정된 수의 평가대상이 존재할 시 발생하는 DEA모형의 판별력 문제뿐만 아니라 기존의 연구에서 논의가 많이 이루어지고 있는 비합리적 가중치 문제를 해결하고자 하는 것이 본 연구의 목적이다.

본 연구의 평가대상인 읍면은 2004년 1월 현재 전국 250개 시·군·구에 3,571개가 있으며, 평균적으로 각 시·군·구 당 약 14개로 나타나고 있다(행정자치부, 2004). DEA 적용시 평가대상은 투입·산출변수를 합한 것의 3배 이상이 되어야 어느 정도의 판별력을 지닐 수 있다(곽영진, 1993)는 점을 볼 때 기존 DEA모형을 적용할지의 여부를 판단할 필요가 있다. 기존 연구에서 사용하는 투입·산출변수의 평균 개수가 대략 13개 정도(김태일, 2000: 187)인 점을 감안한다면 통상 읍면의 수는 대략 39개 정도가 되어야 하지만, 그 수의 절반도 못되는 평균 14개 정도로 나타나고 있어 기존 모형의 적용에는 한계가 나타날 수밖에 없다.

따라서 본 연구는 첫째, 전통적인 CCR모형을 확장하여 판별력을 제고할 수 있는 Assurance Region(이하 AR)접근법에 대한 이론적 논의를 전개하고, 둘째, AR 설정을 위한 AHP방법을 적용하고자 한다. 이를 위해 제한조건을 설정한 후, 마지막으로 본 연구의 대상이 되는 읍면에 대한 효율성을 평가하여, 그 결과를 제시하고자 한다. 효율성 평가는 충주시의 13개 읍면을 대상으로 이루어졌으며, 해당 읍면의 2003년도 통계 및 자체평가 자료에 의거하여 평가하였다.

Ⅱ. 이론적 배경 및 논의

1. DEA모형의 특징 및 한계

DEA는 Charnes, Cooper, Rhodes(1978)에 의하여 처음으로 개발된 이래 Banker et al.(1984) 등의 모형을 포함한 다양한 접근방법이 시도되고 있다. DEA의 특징은 최소한의 정보를 활용하여 여러 조직이나 사업과제에 대하여 효율 또는 비효율성을 객관적으로 판별할 수 있게 해 준다는 점이다. DEA 모형은 다수의 평가기준이 존재할 때, 의사결정단위(Decision Making Unit, 이하 DMU)의 효율성을 평가하기 위한 모형으로 다차원 공간상의 여러 점들을 일차원 직선상에 mapping하는 방법론이라고 볼 수 있다(임호순·유석천·김연성, 1999: 3). 이를 수식으로 표현하면 다음과 같은 비율형 모형이 성립된다.

Max[eqn: {h }_{0 }= { SUM from { { r}=1} to s { u}_{r }{ y}_{r 0 } } over { SUM from { { i}=i} to m { □}_{i } { x}_{i 0 }}]	(1)

s.t.[eqn: {h }_{0 }= { SUM from { { r}=1} to s { u}_{r }{ y}_{r 0 } } over { SUM from { { i}=i} to m { □}_{i } { x}_{i 0 }}]□1, j=1,...n

[eqn: {u}_{r }],,[eqn: {□}_{i }]□0; r = 1,..,s ; i = 1,...,m

[eqn: {h}_{j }] : 읍면동 j의 효율(efficiency), j=0,...,n

[eqn: {y}_{rj }] : 읍면동 j의 산출요소 r 의 값, r=0,..,s

[eqn: {x}_{ij }] : 읍면동 j의 투입요소 i 의 값, i=o,..,m

[eqn: {Y}_{j }] : 읍면동 j의 산출요소 벡터 =([eqn: {y}_{lj }],....[eqn: {y}_{sj }])T

[eqn: {X}_{j }] : 읍면동 j의 투입요소 벡터 =([eqn: {x}_{lj }],....[eqn: {x}_{sj }])T

[eqn: {u}_{r }] : 산출요소 r의 가중치

[eqn: {v}_{i }] : 투입요소 r의 가중치

U : [eqn: {u}_{r }] 의 벡터 =([eqn: {u}_{l }],....[eqn: {u}_{s }])T

V : [eqn: {v}_{i }] 의 벡터 =([eqn: {v}_{l }],....[eqn: {v}_{m }])T

s  : 산출요소의 수

m : 투입요소의 수

n  : 읍면동의 수

식 (1)에 의한 비율형 모형은 각 투입과 산출요소를 적당한 가중치에 의하여 합산한 후 그 비율을 구한 값이라고 해석할 수 있다. 일반적인 가중평균방식의 경우, 평가요소에 대한 전문가의 의견 또는 평가점수가 구해진다면 효율성 계산치는 용이하게 구할 수 있다. 그러나 가중치의 선험적 결정은 의사결정과정의 객관성을 손상시킬 수 있으므로, DEA 모형에서는 가중치의 선험적 결정을 피하고 각 DMU의 승수형으로 전환하여 효율성을 검정한다. 즉, 비율형 DEA의 식의 분모를 1로 정규화(normalize)하고 모형을 변형하면 승수형(multiplier form) DEA를 유도하게 된다. 승수형 모형이 갖는 의미는 비율형 모형이 비선형(non-linear)모형인데 반하여, 선형계획모형으로 바뀌었으므로 계산을 좀 더 용이하게 할 수 있도록 해준다는 점이다.

) CCR비율모형을 CCR승수모형(CCR Multiplier Model)으로 변환하는 것은 첫째, CCR비율모형은 분수형태의 항을 갖는 비선형 문제로 최적해를 구하기 위해서는 비선형계획법의 해법알고리듬을 사용해야 하는데 이를 CCR 승수모형으로 변환하면 Simplex알고리듬 등과 같은 선형계획법의 해법알고리듬을 사용하여 최적해를 구할 수 있으며, 둘째, CCR 비율모형은 무한개의 복수 최적해(Multiple Optimal Solutions)를 갖게 되는데, CCR승수모형의 최적해는 CCR비율모형의 무한개의 복수 최적해 중 대표자로서의 의미를 부여할 수 있다(전용수·최태성·김성호, 2002: 22).

Max[eqn: {h }_{0 }= { SUM from { { r}=1} to s { u}_{r }{ y}_{r 0 } }]	(2)

s.t. [eqn: { SUM from { { i}=i} to m { □}_{i } { x}_{i 0 } }]= 1

[eqn: { SUM from { { r}=1} to s { u}_{r }{ y}_{r j } }] - [eqn: { SUM from { { i}=i} to m {□}_{i } { x}_{i j } }] □ 0,      j= 1, ...n

[eqn: {u}_{r }] , [eqn: {□}_{i }]□0; r = 1,..,s ; i = 1,...,m

이러한 승수모형에서 가중치벡터에 부여되는 유일한 제약조건은 가중치가 양수이어야 한다는 것뿐이다. 이러한 가중치의 최소제약은 DEA모형이 공정하고 객관적인 효율성 평가수단이 될 수 있도록 해준다. 그러나 이러한 유연성은 DEA모형의 판별력 부족과 비합리적인 가중치를 수반하는 결과를 가져올 수 있다(이종무·유영관·박철수, 2003: 730; 최태성·김성호·김형기, 1999). 즉, DEA모형은 특별히 타 단위에 비하여 효율적인 요소에 대해 높은 가중치를 부여하고 다른 투입물이나 산출물에 대해서는 낮은 가중치를 부여하는 특징이 나타나게 된다(오동일, 2000: 753). 특이점이나 극단치의 경우에는 자동적으로 효율적인 것으로 분류될 수 있는데 이는 그 단위가 수행하는 모든 다른 활동들을 무시하는 결과를 초래한다. DEA모형에 의해 구해진 가중치가 의미를 가지려면 중요하다고 판단되는 투입물과 산출물에 대한 가중치가 0이 아닌 값을 가져서 투입·산출변수를 적어도 일정 부분을 설명할 수 있어야 한다. 투입물이나 산출물 중 0의 가중치를 가지는 것이 있다면 이 변수는 효율성 측정에 반영되지 않았다는 것이고, 특정의 요소를 반영하지 않은 상태에서 결정된 효율성은 그 의미가 반감된다. 무제약 하의 DEA모형에서 구해진 가중치가 변수들을 설명하기에 충분하지 못한 요소로 나타나면, 이 변수들이 분석에 포함되지 않아야 하겠지만 만약 모형에 포함시키는 것이 합리적이라면 이 요소에 대한 가중치 값이 증가되어야 한다. 이는 결국 가중치에 어떠한 제약을 가해야 한다는 점을 의미한다.

가중치에 대한 정확한 정보가 없는 경우에는 가중치가 가지는 값의 범위에 대한 제약을 가하는 방법을 고려해 볼 수 있다. 모든 투입물과 산출물의 가중치에 하한값과 상한값을 부여한다면 평가대상은 더 이상 자신이 비효율적으로 운영하는 변수에 대해서는 0의 값을 부여하고 효율적으로 운영하는 변수에 대해서는 최고의 가중치를 부여할 수 없게 된다.

2. DEA/AHP모형

1) 의의

기존 모형에서 나타나는 판별력 부족과 비합리적 가중치 문제를 개선하기 위한 노력은 DEA를 현실문제에 적용하는 과정에서 필요에 따라 다양한 방법으로 이루어져 왔다. Thompson 등(1986), Thanassoulis 등(1987), Golany(1988), Wong과 Beasley(1990), Charnes 등(1990) Thompson 등(1990), Roll 등(1991), Roll과 Golany(1993), Chilingerian과 Sherman(1997) 등은 가중치에 관한 사전정보를 기초로 가중치의 유연성을 감소시키기 위한 다양한 방법을 제시하고 있다.

) 이 외에도 DEA Bibliography 사이트(http://www.emp.pdx.edu/dea/deabib.html)에서는 DEA 관련 학자, 이론, 가중치 등으로 분류하여 논문리스트를 제공하고 있다.

) Allen 등(1997)은 이 방법들에 대한 체계적 분류와 비교결과를 제시하고 있다.

가중치에 대한 사전정보는 가치판단을 통해 유도하는 주관적 사전정보와 시장가격과 같은 객관적 사전정보로 구별해 볼 수 있다(최태성·김성호·김형기, 1999: 41). 대부분의 가중치 제약방법들은 주관적 사전정보를 사용하는 방안에 대하여 논의하고 있다. 이러한 가중치 제약방법들은 가중치에 대한 사전정보를 기초로 가중치 또는 가중치간의 비율의 상하한을 제약하는 형태의 조건식을 유도하고 이를 DEA모형에 추가하여 가중치의 유연성을 제약하는 방식을 취하고 있다.

) Andersen과 Petersen(1993)의 이니셜을 기초로 명명된 AP모형을 통해 순위화도 가능하다. 두 학자가 개발한 AP모형의 경우 가중치보다는 준거집단에 변화를 유도하여 초효율성(superefficiency)을 도출하는 방법을 보여주고 있다. AP모형의 경우 기존의 CCR모형과 비교해 보았을 때, 준거집단과 가중치의 변화는 나타나지 않았다.

반면, Charnes 등(1990)이 소개한 Cone-ratio DEA는 전문가들이 우수하다고 판단한 DMU의 DEA가중치를 이용하여 평가대상 DMU들의 투입·산출자료를 변환시켜서 가중치의 유연성을 통제하는 방식을 취하고 있다. 이를 통해 판별력 제고와 비합리적 가중치의 문제를 완화하거나 해결하고 있다.

) 최태성·김성호·김형기(1999)의 경우, Cone-ratio방법으로 그 값을 도출하고 있다. 기존 Cone-ratio DEA는 전문가들이 판단한 우수DMU를 사용하고 있지만 이 논문에서는 DEA로부터 파악할 수 있는 목표DMU를 사용하고 있다. 즉, 준거DMU로 설정되는 빈도가 가장 높은 DMU, 즉 목표DMU를 투입·산출 가중치 행렬을 투입·산출자료에 앞곱하기(premultiply)하여 변환시킨 행렬을 통해 그 값을 산출하고 있다. 따라서 사전정보를 확보하기 위한 비용을 지출하지 않아도 되는 이점을 가질 수 있다.

주관적 사전정보를 통해 가중치 범위를 정하기 위해 최근에 사용되는 방법으로 AHP를 사용하는 연구들이 등장하고 있다. AHP는 목표들 사이의 중요도(weight)를 계층적으로 나누어 파악함으로써 각 대안들의 중요도를 산정하는 기법이다. AHP의 계층적 분화는 의사결정문제의 유기적 관계를 계층적으로 파악함으로써 문제의 복잡성에 매우 큰 유연성과 적응성을 지닐 수 있으며, 이를 통해 집단적 합의에 의한 계층구성과 가중치를 도출해 낼 수 있다.

) AHP에 관한 자세한 내용은 Satty(1990; 1994) 참조.

2) 모형의 특성

DEA모형에서는 효율적이라 판별되는 DMU가 다수 존재할 수 있다. 만약, 평가대상 기관수의 제약으로 효율적이라고 판별되는 DMU보다 적은 수의 DMU만을 구별해야 한다면, 추가적인 정보가 필요하게 되는데 이런 목적의 추가적인 정보를 고려할 수 있는 모형이 Thompson 등(1990)에 의하여 소개된 DEA-AR모형이다.

) 본 연구는 엄밀히 보면 DEA-AR 모형에 관한 연구라 할 수 있다. 하지만 이러한 모형을 구현하기 위해 AHP 방법론을 통해 모형의 타당성에 좀 더 접근하려는 시도로 볼 수 있다.

Max[eqn: {h }_{0 }= { SUM from { { r}=1} to s { u}_{r }{ y}_{r 0 } }]	(3)

s.t. [eqn: { SUM from { { i}=i} to m { □}_{i } { x}_{i 0 } }]= 1	(4)

[eqn: { SUM from { { r}=1} to s { u}_{r }{ j}_{r j } }] - [eqn: { SUM from { { i}=i} to m { □}_{i } { x}_{i j } }] □ 0,      j= 1, ...n	(5)

[eqn: {u}_{1 }]□0,[eqn: {□}_{1 }]□0,[eqn: { OL}_{r } { u}_{1 }]□[eqn: {u}_{r }]□[eqn: { OU}_{r } { u}_{1 }],[eqn: { IL}_{I } { □}_{1 }]□[eqn: {□}_{i }]□[eqn: { IU}_{I } { □}_{1 }];

r=2,...s;i=2,...,m	(6)

DEA와 DEA-AR의 차이점은 식 (6)에서 발견할 수 있는데, AR을 나타내는 가중치 제약모델은 수식(2)에 제약식을 기본모델에 첨가하여 만들어진다. 일반적으로 투입물과 산출물의 모든 가중치 변수에 대해 제한을 가하는 제약식은 (6)과 같이 표현된다. 이때 OLr, OUr, ILi, IUi의 값을 어떻게 측정할 것인가에 관한 접근방법은 다양할 수 있다. 가령, 투입물 1이 투입물 2보다 2배 이상의 중요도를 가진다면 이것은 기본적으로 DEA모델에 선형제약식[eqn: { □}_{1 }] □2[eqn: { □}_{2 }]을 첨가할 수 있다. 이렇듯 AR접근법은 가중치의 범위를 특별한 영역으로 제한하는 방법으로 각 투입물과 산출물의 가중치의 비율대신 상한값과 하한값을 설정함으로써 시작된다. 부연하면 두 개의 투입물 1과 2에 대한 가중치의 비율은 다음과 같이 표현할 수 있다.

[eqn: {L}_{1,2}]□[eqn: { {□}_{2 } } over { { □}_{1 } }]□[eqn: {U}_{1,2}]	(7)

이렇듯 가중치제약을 위한 방법이 있다고 볼 때, 관건은 그 범위를 어떻게 정하느냐가 되는데, 이를 위해 본 연구는 AHP를 사용하고자 한다. OLr, OUr, ILi, IUi의 값을 구하기 위하여 각 의사결정자들로부터의 가중치 정보는 DEA-AR모형의 제약식에서 각 요인에 대한 중요도의 상한값과 하한값을 정하는데 사용된다. 각 모형과 관련된 투입물과 산출물 수치를 각 가중치의 상하한 값을 가지는 DEA-AR모형에 대입하여 계산하면, 기존 모형에서 나타나는 판별력 부족의 문제를 어느 정도 해결해 줄 수 있다. 이러한 AHP 가중치의 상하한 값이 의미하는 바를 도식화하면 <그림 1>과 같다.

* 출처: 임호순·유석천·김연성(1999: 5)

<그림 1> DEA/AHP 모형의 도해

OLr, OUr, ILi, IUi의 값도 평가 참여자에 따라 각기 다른 값이 구해질 것이다. <그림 1>에서는 이를 2차원 평면상에 도시하였다. AR의 탐색은 가장 외곽의 방사선으로부터 시작하여 최악의 경우 방사선들의 중앙까지 진행될 수 있으므로 원하는 수의 DMU를 선택할 수 있다. 탐색과정에서 선택된 DMU의 수가 원하는 수의 DMU보다 작아진 경우에도 비효율적이라고 판명된 DMU 들은 목표함수의 값에 의하여 그 값을 도출할 수 있으므로, 가장 최선의 비효율적 DMU부터 선정시켜 나감으로 문제를 해결할 수 있다.

3. 적용사례

기존 AR에 관한 연구를 보면, 먼저 Thompson 등(1990)의 연구는 모형의 개발에 초점을 맞추고 있다. 실제 AR 입력자료에 대한 연구로는 Belton과 Vickers(1993)의 연구가 있으나 AR을 위한 입력값의 체계적 측정에 대해서는 언급하고 있지 않다.

DEA와 AHP의 접목을 시도한 연구는 Shang과 Sueyoshi(1995)에서 찾아볼 수 있는데 이들의 연구는 유연생산시스템(Flexible Manufacturing System)을 위한 기술선택에 관한 문제를 대상으로 하고 있다. 그러나 그들의 연구는 가중치의 평가문제에 AHP를 도입한 것이 아니라, DEA의 각 평가요소의 입력값 중 계량화할 수 없는 요소에 대하여 AHP를 적용했으므로 평가기준간의 가중치 측정에 AHP를 활용한 본 연구와는 많은 차이가 있다고 볼 수 있다.

본 연구와 맥락을 같이 하는 연구로 이종무·유영관·박철수(2003)의 연구와 임호순·유석천·김연성(1999)의 연구를 들 수 있다.  먼저 이종무 등(2003)의 연구는 은행지점의 효율성 측정과 관련하여 순위부여에 보다 큰 목적을 두고 있다. 이 연구에서는 기존 CCR모형에서 다수의 은행지점이 효율적으로 판명되는 것과 비교해서 1개의 지점만을 효율적인 지점으로 도출해 낼 수 있다는 데서 유용성을 찾고 있다. 하지만 순위 부여만을 목적으로 AHP설문을 구성하고 그 결과를 일일이 대입하는 것은 번거로울 가능성이 높다고 볼 수 있다. 이러한 경우는 Andersen과 Petersen(1993)이 개발한 초효율성(superefficiency)의 도출을 통해 순위를 부여하는 것이 더 경제적일 수 있다고 본다. 다음으로 임호순 등(1999)의 연구는 DEA와 AHP를 합성한 모형, 이른바 Hybrid모형을 개발하고 실제로 연구개발선정에 적용했다는 점에서 그 의의를 찾을 수 있다. 이 연구는 평가대상 DMU의 수가 적을 경우 기존의 모형으로 도출하기 곤란한 결과를 얻어낼 수 있는 모형을 제시했다는 점에서 큰 의의를 지니고 있다.

) Andersen과 Petersen(1989; 1993)은 효율적인 DMU들을 순위화 할 수 있는 모형을 제시하였다. 이 모형은 효율성 값이 1인 준거집단의 DMU 중에서 평가대상이 되는 DMU를 제외하고 계산한다는 가정이외에는 CCR과 BCC 모형과 동일한 모형이다.

Ⅲ. 읍면의 상대적 효율성 평가에 관한 실증분석

1. 투입 및 산출변수의 결정

평가대상기관의 효율성 평가결과가 객관성과 정확성을 유지하기 위해서는 특정 재화나 서비스의 생산과 관련된 모든 요소들이 망라되어야 할 것이다. 그러나 공공기관의 경우 투입 및 산출변수가 지니는 복잡성 때문에 효율성측정에 있어 모든 요소를 포함시키는 것은 곤란할 것이다. 따라서 핵심적인 변수를 선정하는 것이 중요하다고 볼 수 있는데, 더욱이 DEA모형은 투입 및 산출변수의 수 및 항목에 따라 그 결과의 차이가 크게 나타나기 때문에 그만큼 신중을 기울여야 한다. 이를 위해서는 기존의 연구에서 논의되었던 결과들을 참조하는 것이 그 오류를 줄이는 방법이 될 수 있을 것이다.

투입변수의 경우, 조직의 효율성을 측정할 때 가장 빈번히 사용하는 변수로 예산과 인력을 들 수 있다(윤경준, 1995: 90; 전병관, 2002: 29). 이를 기초로 본 연구에서도 예산액과 공무원 수를 투입변수로 선정하고자 한다. 예산을 투입변수로 사용할 경우 직접적인 투입을 전반적으로 포착할 수 있다는 장점이 있고, 인력의 경우 지방정부, 특히 읍면이 생산하는 서비스의 특성이 대개 노동집약적인 성격을 가지고 있기 때문에 변수로 적절하다고 볼 수 있다.

산출변수의 경우, 읍면마다 수행되는 업무의 유형은 대체로 유사하며 크게 대민행정업무와 주민복지업무로 분류할 수 있다(조석주, 2003: 13). 이는 읍·면·동 기능전환으로 주민생활과 밀접한 민원·복지·안전 관리 등 주민에게 필요한 업무만을 수행하고 규제, 광역행정, 일반행정 등에 대한 업무는 시군 본청으로 이관하게 되었다. 읍·면·동에 남겨 두는 사무와 이관되는 사무의 구체적인 종류는 주민 편의와 행정 능률을 감안하여 지역여건에 따라 도시지역, 농촌지역, 도서, 산간·오지 등 지역특성에 따라 다르게 설정할 수 있을 것이다. 여기서는 기능전환 이후의 기능을 토대로 충주시 읍면의 산출변수를 도출해 보았다. 산출변수는 1차산출(사업집행실적)과 2차 산출(주민만족도 등)로 구분할 수 있는데, 본 연구에서는 1차 산출로 제한하기로 한다. 그 이유는 투입과 산출간의 연계정도에 있어 1차 산출과의 관련성이 더 높아 평가결과의 신뢰성을 제고할 수 있기 때문이다.

) 읍면의 산출변수는 읍면의 직원과의 워크숍을 통해 계층적으로 목표를 분해(decomposition)하여 도출하였다. 그 내용은 비전과 목표, 그리고 이를 달성하기 위한 전략적 과제의 순으로 변수를 도출하였다. 따라서 수요에 바탕을 두고 산출변수를 도출하였으며, 산출변수라도 재량적 산출(discretionary output)을 중심으로 하였는데, 그 이유는 탄력적으로 그 변수들을 조정할 수 있어야 노력한 정도를 평가할 수 있기 때문이다.

산출변수의 도출을 위한 충주시 읍면 공무원과의 워크숍을 통하여 회계, 세무, 주민숙원사업, 가정복지, 산림녹지, 농업생산지원, 지역개발활성화, 상수도, 특수시책 등 9개의 부문이 산출변수로 선정되었다. 하지만 DEA측정을 위해 자기생산·자기소비하는 중간투입물이라 볼 수 있는 회계 및 세무, 지역별 특성을 중시하는 특수시책은 산출변수에서 제외하였다. 최종적으로 주민숙원사업, 가정복지, 산림녹지, 농업생산, 지역개발, 상수도(간이급수) 등 6개 부문을 산출변수로 선정하였다. 이상의 논의를 바탕으로 2개의 투입요소와 6개의 산출요소를 제시하면 <표 1>과 같다.

<표 1> 읍면의 투입 및 산출변수

구분	변수	측정지표
투입요소	1-1. 예 산	2003년도 읍면의 예산액
	1-2. 인 력	읍면의 공무원 수
산출요소	2-1. 주민숙원사업	목표 대비 달성 비율
	2-2. 가 정 복 지	복지수혜 가구수
	2-3. 산 림 녹 지	산불예방을 위한 홍보횟수
	2-4. 농 업 생 산	방제면적(ha)
	2-5. 지 역 개 발	지역개발을 위한 사업건수
	2-6. 상수도 관리	간이급수 점검횟수

2. AHP분석을 통한 변수별 가중치 조사

AHP방법론의 절차에 따라 읍면의 효율성 평가를 위한 변수간 가중치를 도출을 위해 읍면을 대상으로 지방자치단체에 대한 성과평가에 경험이 많은 박사들을 대상으로 설문을 실시하였다.

<표 2> 변수별 가중치

평가항목	평가자1	평가자2	평가자3	평가자4	평가자5	AHP
1-1. 예 산	0.857	0.500	0.833	0.833	0.833	0.815
1-2. 인 력	0.143	0.500	0.167	0.167	0.167	0.185
2-1. 주민숙원사업	0.054	0.744	0.725	0.788	0.761	0.767
2-2. 가 정 복 지	0.777	0.092	0.042	0.070	0.068	0.064
2-3. 산 림 녹 지	0.033	0.028	0.042	0.026	0.032	0.031
2-4. 농 업 생 산	0.054	0.042	0.051	0.026	0.043	0.039
2-5. 지 역 개 발	0.044	0.066	0.090	0.045	0.068	0.064
2-6. 상수도 관리	0.038	0.028	0.051	0.045	0.028	0.036

* C.R.=0.0001

가중치는 W(p, q)□0의 형태로 제약을 부여하게 된다. 여기서 p는 투입가중치 벡터이고 q는 산출가중치 벡터이다. 예를 들어 투입변수의 종류가 3개이고 산출변수가 2개인 상황에서 첫 번째 투입가중치[eqn: {p}_{1}]과 두 번째 투입가중치[eqn: {p}_{2}]에 대하여[eqn: {p}_{1}]□[eqn: {p}_{2}]와 같은 제약을 부여하고 싶다면 가중치제약행렬(Weight Restriction Matrix) W에 [1 -1 0 0 0]과 같은 행을 추가하면 된다. 첫 번째 산출가중치[eqn: {q}_{1}]와 두 번째 산출가중치[eqn: {q}_{2}]의 비율[eqn: {q}_{1}]/[eqn: {q}_{2}]에 대하여 0.3□[eqn: {q}_{1}]/[eqn: {q}_{2}]□3과 같은 제약을 부여하고 싶다면 [eqn: {q}_{1}] - 0.3[eqn: {q}_{2}]□0 과  -[eqn: {q}_{1}]+3[eqn: {q}_{2}]□0으로 변환한 후 이를 [0 0 0 -1 0.3]과 [0 0 0 -1 3]의 형태로 W에 추가하면 다음과 같은 행렬로 구성된다.

) 여기서 기술하는 내용은 Scheel(2000)이 EMS(Efficiency Measurement System)의 사용자 지침서(User`s Manual)의 3쪽에 실린 내용을 번역하여 정리한 것이다.

이러한 모형을 통해 AR의 한계값 설정을 위한 값을 도출하면 <표 3>과 같다.

<표 3> AR의 한계값을 위한 정렬자료

평가항목		최소값	최대값
투입변수	1-2. 인 력	0.167	1.000
산출변수	2-2. 가정복지	0.057	14.374
	2-3. 산림녹지	0.033	0.604
	2-4. 농업생산	0.033	1.000
	2-5. 지역개발	0.057	0.821
	2-6. 상수도관리	0.037	0.696

<표 3>의 값을 구하는 방법은 AR은 어느 가중치를 기준으로 비율을 구하는(예를 들어 u7/u1) 것이 일반적인 방법이다. 따라서 본 연구에서는 AHP에서 구해진 값의 첫 번째 가중치를 기준으로 투입 및 산출변수의 비율을 구하기로 한다. AHP에서 구해진 가중치는 2-2번의 가정복지 항목을 2-1번의 주민복지사업의 가중치로 나눈 값(u2/u1)은 사람에 따라서 14.374 (=0.777/0.054), 0.124(=0.092/0.744), 0.057(=0.042/0.725), 0.089(=0.07/0.788), 0.083(= 0.068/0.761)의 값을 갖게 되고, 이를 다시 크기에 따라서 정렬(sorting)하면 최소값, 최대값을 구할 수 있다. 만약 사람이 더 많다면 더 많은 구간들을 구할 수 있을 것이다. 이 값을 차례로 바깥부터 좁혀나가면서, 즉, 최대·최소값을 가지고 제일 처음으로 구간을 만들면서 원하는 효율적 집단이 나타나는지를 검증해 보면 된다.

) 본 모형에서는 투입과 산출변수 내에만 변수간의 제약을 설정하였고, 투입과 산출변수 간에는 제약이 존재하지 않는다고 가정하였다. 이러한 형태의 AR을 Cone-Ratio Assurance Region(CR-AR)이라고 한다(임호순 등, 1999: 4-5).

3. DEA/AHP모형의 분석결과

1) 판별력 개선

본 연구는 먼저 CCR모형을 적용하여 13개 읍면의 6개의 산출물과 2개의 투입요소에 대하여 상대적 효율성을 측정하였다. 그리고 AHP분석에서 구한 각 변수들의 가중치를 DEA모형에서 요인들의 범위 제약식에 첨가하여 그 모형을 DEA 전용프로그램인 EMS(Efficiency Measurement System)를 이용하여 충주시 소재 읍면에 대한 효율성을 측정하였다.

CCR모형에서는 DMU #1, #2, #5, #9, #11, #13(46.15%)이 점수 1을 가지고 효율적임을 나타내고 있으나, DEA/AHP모형에서는 4개의 읍면(30.77%)이 효율적임을 보이고 있다. CCR모형에서와 DEA/AHP모형에서 효율치가 낮게 나타난 DMU에 대해서는 DEA가 제공하는 해당 읍면의 구체적인 결과보고를 이용하여 비효율의 원인과 정도에 대한 구체적인 조직진단을 행할 필요가 있다.

) DEA는 본래 경영개선 컨설팅이 목적이기 때문에 비효율적 집단이 효율적으로 운영되기 위해 최적화 값을 도출해야 한다. 하지만 본 연구에서는 기존 모형을 개선시켜 적용가능성 여부에 대한 탐색을 목적으로 하기 때문에 최적화 값의 도출을 생략한다.

효율성 값으로 순위를 정할 경우 <표 4>에서 보면 CCR모형에서는 6개의 동률이 나타나고, DEA/AHP모형의 경우에는 4개의 동률이 나타나게 되어 동률이 나타나는 빈도가 감소되었으며, 이는 판별력이 개선되었음을 보여주고 있다. 판별력과 관련해서 기존의 AHP를 적용한 연구(이종무 외, 2003; 임호순 외, 1999)등과 비교해 볼 때 본 연구와 차이가 나타나는 부분이 있다. 기존의 두 연구의 공통점을 보면 1개의 효율적 DMU가 나타나고 있는데, 그 중 임호순 외(1999)의 연구는 본 연구와 같은 맥락에서 AHP를 사용하여 가중치 범위를 좁혀서 원하는 결과(즉, 1개의 효율적 DMU)를 도출하였지만 본 연구결과는  효율적 DMU가 1개가 나타나지 않고 있다. 가중치의 범위를 좁혔는데도 효율적 DMU가 1개로 압축되지 않은 원인은 가중치의 범위를 최대로 좁혔는데도 불구하고 그 범위 내에 효율적 읍면이 있다고 판단해야 할 것이다.

<표 4> 읍면의 CCR 및 DEA/AHP효율성

DMU	CCR효율성	CCR순위	DEA/AHP효율성	DEA/AHP순위
1	100.00%	1	100.00%	1
2	100.00%	1	89.08%	4
3	77.29%	8	65.45%	10
4	88.92%	7	82.90%	7
5	100.00%	1	100.00%	1
6	96.06%	2	90.78%	3
7	93.56%	3	86.61%	5
8	92.36%	5	85.31%	6
9	100.00%	1	100.00%	1
10	90.94%	6	81.87%	9
11	100.00%	1	100.00%	1
12	92.86%	4	81.89%	8
13	100.00%	1	92.61%	2
평균	94.77%	-	88.96%	-
표준편차	0.067	-	0.101	-

2) 비합리적 가중치 개선

DEA모형은 DMU가 가장 효율적으로 평가받을 수 있도록 내생적으로 가중치가 설정되므로 평가의 임의성이 배제되고 객관성이 달성되기 때문에 기존 가중평균방식보다 장점이 부각된다. 하지만 이러한 가중치의 선정이 효율적인 DMU에 가장 유리하게 선정되므로 특정단위를 평가하기 위해 선정된 가중치가 다른 단위를 평가하기 위해 선정된 가중치와 상당한 차이를 보일 수 있다. 이러한 가중치의 문제가 실제로 어떻게 나타나는지를 나타낸 것이 <표 5>이다.

<표 5> 충주시 읍면의 CCR 가중치(투입지향모형)

DMU	투입가중치		산출가중치
	[eqn: {□}_{1}] (예산)	[eqn: {□}_{2}] (인력)	[eqn: {□}_{1}] (주민숙원)	[eqn: {□}_{2}] (자치센터)	[eqn: {□}_{3}] (산림관리)	[eqn: {□}_{4}] (산불예방)	[eqn: {□}_{5}] (지역개발)	[eqn: {□}_{6}] (상수도 관리)
1	0	0.0526	0	0	0	0.0004	0	0
2	0	0.0769	0	0	0	0	0.009	0
3	0	0.0588	0.005	0.0026	0	0	0	0
4	0	0	0.0066	0.0018	0	0	0	0
5	0	0	0	0	0.0017	0.0003	0.0042	0
6	0	0	0.0084	0	0	0.0001	0.0002	0
7	0	0.0625	0	0.0039	0	0	0	0.0047
8	0	0	0.0086	0	0	0.0001	0.0002	0
9	0	0.0714	0	0.0019	0	0	0	0.0111
10	0	0	0.0067	0.0018	0	0	0	0
11	0	0.0714	0	0	0.0033	0	0	0
12	0	0.0667	0.0047	0.0025	0	0	0	0
13	0	0.0769	0.0074	0	0	0.0002	0	0
최소가중치값	0.00	0.00	0.00	0.00	0.00	0.00	0.00	0.00
빈도	13	5	6	7	11	8	9	11

기존 CCR모형에서의 비합리적 가중치 문제는 투입·산출 가중치가 취할 수 있는 범위가 크기 때문에 발생한다. <표 5>의 DEA의 가중치를 살펴보면 투입 및 산출변수의 모든 경우에서 최소 DEA의 가중치가 0(총 70개의 0이 나타남)으로 나타나 있다. 이는 DMU의 효율성 평가에서 2개의 투입요소와 6개의 산출물이 무시되는 경우가 모두 존재함을 의미하며, 특히 인력과 주민숙원사업을 제외한 모든 요소에서 무시되는 빈도가 7개 이상으로 나타나고 있어 가중치에 문제점이 있음을 알 수 있다.

<표 6> 충주시 읍면의 DEA/AHP가중치(투입지향모형)

DMU	투입가중치		산출가중치
	[eqn: {□}_{1}] (예산)	[eqn: {□}_{2}] (인력)	[eqn: {□}_{1}] (주민숙원)	[eqn: {□}_{2}] (자치센터)	[eqn: {□}_{3}] (산림관리)	[eqn: {□}_{4}] (산불예방)	[eqn: {□}_{5}] (지역개발)	[eqn: {□}_{6}] (상수도 관리)
1	0	0	0.0004	0	0	0.0004	0	0
2	0	0	0.0047	0.0003	0.0002	0.0002	0.0039	0.0002
3	0	0	0.0003	0.005	0	0	0.0002	0.0002
4	0	0	0.0066	0.0004	0.0002	0.0002	0.0004	0.0002
5	0	0	0.0029	0.0002	0.001	0.0002	0.0024	0.002
6	0	0	0.0063	0.0004	0.0002	0.0002	0.0004	0.0036
7	0	0	0.0003	0.0041	0	0	0.0001	0.0002
8	0	0	0.0066	0.0004	0.0002	0.0002	0.0004	0.0038
9	0	0	0.005	0.0003	0.0002	0.0002	0.0003	0.0035
10	0	0	0.0069	0.0004	0.0002	0.0002	0.0004	0.0003
11	0	0	0.003	0.0002	0.0018	0.0001	0.0002	0.0021
12	0	0	0.0008	0.0041	0	0	0	0.0005
13	0	0	0.0068	0.0004	0.0002	0.0002	0.0004	0.0002
최소가중치값	0.00	0.00	0.0003	0.00	0.00	0.00	0.00	0.00
빈도	13	13	0	1	4	3	2	1

이와는 달리 DEA/AHP모형의 가중치를 나타낸 <표 6>을 살펴보면 투입 및 산출변수의 모든 경우에서 최소 DEA의 가중치가 0인 것은 예산과 인력을 제외한 산출변수 항목에서는 거의 나타나지 않고 있다. 이러한 결과는 기존의 CCR모형과 비교할 때 가중치가 0에서 큰 값으로 상향조정되고 있음을 보여주고 있으며, CCR에서 0이 총 70개 나타난 것과 대비해 제약모형은 37개로 나타난 것은 많은 개선이 나타났다고 볼 수 있다. 이는 충주시 관할 읍면의 효율성을 계산할 때 평가되는 읍면에 불리하게 투입산출이 무시되는 경우가 크게 감소되었음을 의미하며 DEA의 비합리적 가중치문제가 개선되었음을 보여주는 결과라고 할 수 있다.

) 투입변수 전체가 0으로 나타난 원인에 대해서는 추가적인 연구가 필요한 것으로 판단된다. 이에 대한 시뮬레이션으로 가상으로 변수를 1개 더 늘려서 측정을 해 보았을 때는 투입변수의 가중치 0이 거의 나타나지 않았다. 이러한 이유의 규명은 보다 심층적인 연구와 분석을 통하여 밝혀져야 할 것이다.

3) 준거집단의 변화

가중치에 제약조건을 부여하는 경우는 제약조건을 만족하는 단위 중에서 투입-산출구조가 유사한 DMU가 선정되므로 준거집단의 범위가 그만큼 제한된다. 그리고 자기만의 뛰어난 투입 산출요소만으로 효율성을 평가하게 되면 그 요소에 대한 가중치만 증가하고 다른 요소에 대한 가중치는 감소하게 되므로 제약조건을 만족시키지 못한다. 따라서 최초에 선택된 가중치의 조정이 있게 되고 이에 따라 준거집단의 구성단위도 변화하게 되는데 이를 보여주는 것이 <표 7>이다.

<표 7> DEA/AHP모형에 따른 준거집단 변화와 참조횟수의 변화

DMU	CCR			DEA/AHP
	효율성	벤치마크	참조 횟수	효율성	벤치마크	참조 횟수
1	100.00%	-	0	100.00%	-	3
2	100.00%	-	0	89.08%	5 (0.85)	-
3	77.29%	5 (0.62) 9 (0.32)	-	65.45%	1 (0.32) 5 (0.40)	-
4	88.92%	5 (0.74) 9 (0.22)	-	82.90%	5 (0.91)	-
5	100.00%	-	7	100.00%	-	9
6	96.06%	5 (0.42) 9 (0.27) 13 (0.25)	-	90.78%	5 (0.78) 9 (0.12)	-
7	93.56%	5 (1.03) 9 (0.04)	-	86.61%	1 (0.37) 5 (0.54)	-
8	92.36%	5 (0.08) 9 (0.27) 13 (0.58)	-	85.31%	5 (0.74) 9 (0.11)	-
9	100.00%	-	7	100.00%	-	2
10	90.94%	5 (0.60) 9 (0.34)	-	81.87%	5 (0.87)	-
11	100.00%	-	0	100.00%	-	0
12	92.86%	5 (0.86) 9 (0.14)	-	81.89%	1 (0.23) 5 (0.64)	-
13	100.00%	-	2	92.61%	5 (0.89)	-

먼저 자기 스스로 평가되어 신뢰성이 떨어지는 DMU를 보면 기존 모형에서는 3개에서 가중치 제약을 했을 때 1개로 줄어들고 있다. 이렇듯 가중치에 대한 단순한 제약조건의 부과로 인해서 준거집단이 상당한 영향을 받는다는 연구결과(오동일, 2000)와도 일치하고 있다. 오동일(2000)의 연구내용을 살펴보면, 가중치에 대한 제약과 분석표본 수에 따라 DEA 효율성과 준거집단의 변화가 크다는 점과 상대적 효율성이 준거집단의 변화와 유의한 관계를 가진다는 사실을 실증적으로 검증해 주고 있다.

지금까지의 실증적 연구결과에 의거하면 <표 8>에 나타난 바와 같이 DEA모형의 장점은 가중치가 무한한 탄력성을 가진다는 점이다. 이로 인해서 평가단위마다 상이한 자유로운 가중치를 가지게 된다.

<표 8> DEA모형과 DEA/AHP모형의 비교

분류	적용	특성	준거집단	모형의 탄력성	평가의 주관성
DEA모형 (CCR, BCC)	일정 수 이상의 평가대상	가중치에 대해 양(+)의 제약조건만 있음	특정 단위로 한정	탄력성 큼	주관적 요소 고려하지 않음
DEA/AHP 모형	제한된 수의 평가대상	위 조건에 가중치에 대한 제약조건 추가	특정 단위로 한정되나 축소가능성 존재	탄력성 유지	주관적 요소 일부 고려

가중치에 사전적으로 값을 부여하지 않음으로써 비효율적으로 측정한 단위가 자신이 비효율적이라고 측정된 것이 투입물과 산출물에 주어진 잘못된 주관적인 가중치 때문으로 주장할 수 없게 된다. 자유롭게 가중치가 주어지는 상황에서도 비효율적으로 측정된 단위 경우 비효율성이 더욱 부각되는 장점이 있다. 투입물 사이의 시장가치에 대한 정보를 얻을 수 있거나 산출물간의 선호도가 주어진 경우에는 가중치의 범위를 제한을 가할 필요가 있다. 만약 가중치를 자유롭게 부여하는 경우에는 특정단위는 적절하다고 판단되는 어떤 단위들에 의해서만 평가된다. 더군다나 가중치를 자유롭게 부여하는 경우에 산출은 낮고 투입은 많아서 부적합한 단위임에도 불구하고 그러한 부적합을 감출 수 있게 된다. 이러한 경우에는 무제약 하의 DEA모형을 이용해서 가중치를 구한 후 다시 요소의 한계를 설정해야 할 것이다. 결국 제약모형인 DEA/AHP모형을 상용할 때는 기존모형으로 해결이 곤란할 경우에 사용하는 것이 타당하다고 본다.

Ⅳ. 결  론

본 연구는 적은 수의 평가대상이 있을 때 기존 모형에서 나타나는 판별력 부족을 해결하고 무제약의 가중치 조건이 지니는 한계점을 개선하고자 하는 두 가지 목적에서 출발하였다. 이러한 목적을 달성하기 위해서 평가대상 수가 적은 읍면의 상대적 효율성 평가가 가능하도록 기존의 DEA모형을 변형한 DEA/AHP모형으로 효율성 측정을 시도하였다.

그 결과, 첫째로 기존 CCR모형에서는 여러 개의 읍면이 효율적으로 나타나서 판별력의 문제가 나타났지만 가중치 제약모형을 적용했을 때 판별력이 향상되고 있음을 볼 수 있었다. 둘째로 투입 및 산출변수에 대한 비합리적 가중치 문제, 즉 0이 나타나는 횟수가 제약모형에서는 줄어들었다. 이를 통해 등급화 및 개별적인 읍면에 대한 관리상의 개선점을 제시해 줄 수 있는 것으로 생각된다.

DEA/AHP모형의 적용은 다음과 같은 정책적 시사점을 줄 수 있는 것으로 판단된다.

첫째, 대다수의 지방자치단체는 읍면의 수가 평가기준의 수보다 상대적으로 적은 경우가 대부분이므로 기존 DEA모형의 적용시 대다수가 효율적으로 판별될 가능성이 높다. 따라서 변별력 문제가 심각하게 제기될 수 있는데 이러한 문제를 해결하기 위하여 가중치가 가질 수 있는 값의 범위를 제한할 수 있는 DEA/AHP모형의 적용가능성이 높다고 판단된다.

둘째, 평가기준간 상대적 중요성의 가중치가 가질 수 있는 범위를 제한하는 것은 DEA모형의 변별력을 높일 수 있을 뿐만 아니라, 전문가의 견해나 읍면의 담당공무원의 견해를 반영할 수 있는 수단이 되기도 한다. 다만, 다수의 전문가들 간의 견해가 정확히 일치할 수 없으므로, 견해에 대한 구간값 또는 범위를 구하는 것이 올바른 방법이 될 것이고, 이것이 AR을 위한 중요한 입력요소가 된다고 본다. 앞으로 읍면 평가시에 피평가자들의 참여를 통해 평가를 좀 더 개선한다면 자체평가 수준이 향상될 수 있을 것이다.

본 연구는 충주시 소재 읍면만을 대상으로 변수를 선정하여 측정하였기 때문에 전국 공통으로 적용가능한 변수추출에 있어 객관성을 확보하는데 한계를 지닌다고 본다. 또한 기존모형뿐만 아니라 새롭게 소개되고 있는 DEA-AP이나 주관적 가중치가 들어가지 않은 상태에서 측정하는 Cone-Ratio결과와의 비교를 통해 본 모형의 타당성을 확인할 필요성이 있다. 본 연구는 또한 1차 산출물을 대상으로 효율성 측정이 이루어졌기 때문에 차후 2차 산출물과의 연계정도를 확인하는 작업도 필요할 것이다. 따라서 투입과 산출변수에 대한 가중치 문제를 해결함으로써 DEA/AHP모형의 장점도 있으나, 이 문제의 해결에 수반되는 행정조직의 관리개선이 실현여부는 행정조직의 재량에 남을 수밖에는 없다. 즉, 행정조직이 제공하는 행정서비스는 질적인 문제를 안고 있기 때문에 계량적인 투입 및 산출변수에 의해 관리개선의 방향을 찾아내기에는 어려움이 따를 수도 있기 때문에 질적 방법론과의 병행도 필요할 것이다.

AHP 기법 이외에 회귀분석기법과의 비교, 즉 자료포락분석과 회귀분석에 의한 점수에 따라 상·하 집단으로 구분하고 두 기법에 의한 상·하의 분류 결과가 어느 정도 일치하는가를 분석할 수도 있지만 본 연구에서는 시도치 않았다. 이는 현재 DEA가 안고 있는 문제점만을 분석하는데 초점을 맞추었기 때문이다. 하지만 차후 자료포락분석을 실시한 연구에서 직접 지표체계에 의한 평가와의 비교를 실시하는 것이 필요할 것이다.

) 이러한 연구물로는 김태일(2000), 김건위(2003: 110-117)를 참고. 김건위(2003)의 분석결과 지표체계방식과 DEA방식과의 순위가 상이하게 나타나고 있다.

비록 가중치에 무한한 탄력성을 부여하거나 표본 수가 적은 경우라도 DEA모형은 실무적인 차원에서 매우 유용한 평가기법임에는 틀림없다. 이에 추가하여 가중치에 대한 제약과 분석대상표본수에 따른 DEA효율성과 준거집단의 변화를 고려해서 분석한다면 성과평가수단으로서 DEA모형을 적용하고 해석하는데 보다 의미 있는 결과를 얻을 수 있으리라 본다.

참 고 문 헌

김건위. (2003). DEA를 통한 지방정부 정보화의 상대적 효율성 측정: 기초자치단체를 중심으로. 명지대학교 대학원 박사학위논문.

김태일. (2000). 자료포락분석 기법에 의한 자치단체 행정의 생산성 평가에 관한 비판적 논의. 「정책분석평가학회보」. 10(1): 185-207.

라휘문. (2003). 지방자치단체 자체평가제도의 발전방안. 「정책분석평가학회보」. 13(1): 1-22.

박해육. (2004). 지방자치단체의 자체평가 활성화 방안. □지방정부연구□. 8(3): 285-304.

오동일. (2000). 가중치에 대한 제약 및 분석 표본 수에 따른 DEA 효율성과 참조집단의	변화에 대한 실험연구. 「경영학연구」. 29(4): 748-768.

윤경준. (1996). DEA를 통한 보건소의 효율성 측정. 「한국정책학회보」. 5(1): 80-109.

이종무·유영관·박철수. (2003). AHP와 DEA 결합모형을 이용한 BSC 기반의 은행 효율성	평가. 한국경영정보학회 2003 추계학술대회 - 유비쿼터스 컴퓨팅 시대의 정보화.

이혜영·김건위·박해육. (2004). 자체평가제도 집행영향요인에 관한 연구. 「지방자치학회보」. 16(3): 43-65.

임호순·유석천·김연성. (1999). 연구개발사업의 평가 및 선정을 위한 DEA/AHP통합모형에 관한 연구. 「한국경영과학회지」. 24(4): 1-12.

전병관. (2002). 지방정부의 상대적 생산성 측정: DEA에 의한 기술, 배분, 규모 효율성을 중심으로. 「지방정부연구」. 6(2): 23-44.

전용수·최태성·김성호. (2002). 「효율성 평가를 위한 자료포락분석」. 인하대학교 출판부

조석주. (2000). 「읍면동 기능전환정책의 평가와 발전방안」. 서울: 한국지방행정연구원.

행정자치부. (2004). 「지방자치단체 행정구역 및 인구현황」. 서울: 행정자치부.

Allen, R., Athanassopoulos, A. D., Dyson, R. G. & Thanassoulis, E. (1997). Weigths Restrictions and Value Judgements in Data Envelopment Analysis: Evolution, Development and Future Directions.  Annals of Operations Research.  73: 13-34.

Andersen, P. & N. C. Petersen. (1989). A Procedure For Ranking Efficient Unit in DEA. Department of Management. 11. Odense University. Denmark.

. (1993). A Procedure for Ranking Efficient Unit in DEA.  Management Science. 39(10): 1261-1264.

Banker, R. C., & Talluri, S. (1997). A Closer Look at the Use of Data Envelopment Analysis for Technlogy Selection. Engineering. 32(1): 101-108.

Belton, V. & Vickers, S. P. (1993). Demystifying DEA-A Visual Interactive Approach Based on Multiple Criteria Analysis.　Journal of Operations Research Society. 44(9): 883-896.

Charnes, A., Cooper, W. W. & Huang, Z. M. (1990). Polyhedral Cone-Ratio DEA Models with an Illustrative Application to Large Commercial Banks.　Journal of Econometrics. 46: 73-91.

Charnes, A, Cooper, W. W. & E. Rhodes. (1978). Measuring the Efficiency of Decision Making Units.　European Journal of Operational Research. 2: 429-444.

Chilingerian, J. A. & Sherman, H. D. (1997). DEA and Primary Care Physician Report Cards: Deriving Preferred Practice Cones from Managed Care Service Concepts and Operating Strategies. in Lewin, A. Y. & Seiford, L. M. (eds.). Annual of Operations Research. 73. From Efficiency Calculations to a New Approach for Organizing and Analyzing: DEA Fifteen Years Later. 35-66. Bussum, Netherlands: Baltzer Science Publishers.

Golany, B. (1988). A Note on Including Ordinal Relations among Multipliers in Data Envelopment Analysis. Management Science. 34(8): 1029-1033.

Johnes, J. & Johnes, G. (1995). Research Funding and Performance in U.K. University Department of Economics: A Frontier Analysis. Economic of Education Review. 14(3): 301-314.

Roll, Y., Cook, W. D. & Golany, B. (1991). Controlling Factor Weights in DEA. IIE Transactions. 23(1): 2-9.

Roll, Y. & B. Golany. (1993). Alternate Methods of Treating Factor Weights in DEA,　OMEGA: International Journal of Management Science. 21(1): 99-109.

Satty, T. L. (1990). Multicriteria Decision Making. The Analytic Hierarchy Process. RWS        Publication. Pittsburgh.

. (1994). Highlights and Critical Points in the Theory and Application of the AHP. European Journal of Operational Research. 74: 426-447.

Scheel, H. (2000). EMS: Efficiency Measurement System User`s Mannual. (http://www.wiso. uni-dortmund.de/lsfg/or/scheel/ems).

Shang, J. & Sueyoshi, T. (1995). A Unified Framework for the Selection of a Flexible Manufacturing System.　European Journal of Operational Research. 85: 297-315.

Thanassoulis, E., Dyson, R. G. & Foster, M. J. (1987). Relative Efficiency Assessment Using Data Envelopment Analysis: An Application to Data on Rates Departments. Journal of the Operational Research Society. 38(5): 397-411.

Thompson, R. G., Singleton, F. D. J., Thrall, R. M. & Smith, B. A. (1986). Comparative Site Evaluation for Locating a High-Energy Physics Lab in Texas. Interfaces. 16(6): 35-49.

Thompson, R. G., Langemeier, L. N., Lee, C. T., Lee, E. & Thrall, R. M. (1990). The Role of Multiplier Bounds in Efficiency Analysis with Application to Kansas Farming.　Journal of Econometrics. 46: 93-108.

Wong, Y. H. B., & Beasley, J. E. (1990). Restricting Weight Flexibility in Data      Envelopment Analysis. Journal of the Operational Research Society. 41(9): 829-835.

김건위(金虔□): 명지대학교에서 행정학박사학위(논문: DEA를 통한 지방정부 정보화의 상대적 효율성 측정: 기초자치단체를 중심으로, 2003)를 취득하고, 현재 한국지방행정연구원 행정평가센터 수석연구원으로 재직하고 있다. 주요 관심분야는 행정평가, 정보화정책, 민원행정 등이며, 주요 연구논문으로는 □지방자치단체 자체평가제도 집행실태 분석: 정책집행론적 관점□(2004), □표준화점수를 이용한 지방자치단체 웹사이트의 실증적 평가□(2003), □민원배심원제를 통한 민원처리혁신방안에 관한 연구□(2003) 등이 있다.

<E-mail: cigma@krila.re.kr>

이혜영(李惠榮): 서울대학교에서 행정학박사학위를 취득하고, 현재 한국지방행정연구원 행정평가센터 수석연구원으로 재직하고 있다. 주요 관심분야는 규제정책, 정책이론, 성과관리이며, 주요논문으로는 □재규제 관점에서 외환위기 이후 금융규제개혁 정책의 평가□(2004), □IMT 2000 사업자 선정 정책변동에 대한 정책네트워크 접근의 타당성 검토□(2004), □금융규제개혁 과정에서 규제관용에 관한 연구: LG카드 사례를 중심으로□(2004), □지방자치단체 자체평가제도 집행실태 분석: 정책집행론적 관점□(2004) 등이 있다. <E-mail: hylee@krila.re.kr>

박해육(朴海育): 독일 Speyer행정대학원에서 행정학 박사학위를 취득하고, 현재 한국지방행정연구원 행정평가센터 수석연구원으로 재직하고 있다. 주요 관심분야는 공공관리, 정책평가, 인사행정이며, 주요논문으로는 "통일 이후 구동독의 행정이행과 인력통합을 위한 인사정책□(2003), □공무원의 동의를 통한 인사교류 활성화 방안□(2003), □지방자치단체의 자체평가 활성화 방안□(2004), □영국과 독일의 평가교육에 관한 연구: 평가자 역량 관점□(2004), □신공공관리 시대의 성과계약관리□(2004) 등이 있다.

<E-mail: hypark@krila.re.kr/논문접수일: 2005.1.10/심사완료일: 2005.2.22>