지방정부 정책과정의 단계별 성과의 영향분석*:

｢지방정부연구｣ 제12권 제4호(2008 겨울) : 133～158

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

* 이 논문은 경남지역사회연구원 남성당 연구기금의 지원을 받아 연구되었음.

진주시 25개 주요 사업에 대한 주관적 평가를 중심으로

An Analysis of the Determinants of the Performance on the Policy Process Stages in Local Government:

Focus on the Subjective-Evaluation of 25 Cases of Programs in Jinju City

한 동 효**

** 제1저자

민 병 익

김 영 기

오 재 동

본 연구는 정책과정을 정책형성, 정책집행, 그리고 정책의 결과라 할 수 있는 결과평가로 구분하여 진주시가 추진한 개별 사업의 성과를 단계별로 평가하였다. 이러한 평가결과를 바탕으로 사업자체요인, 행정기관 내․외적요인을 통해 인과관계를 분석하였다. 먼저 1995년 민선자치단체장 출범 이후 진주시가 추진한 사업 중 지역경제, 도시체계, 문화관광, 보건복지, 환경 등 5개 부문의 25개 사업을 선정하여 각 부문별 전문가 집단을 구성한 후 주관적 평가방법을 통해 정책과정 단계별 성과를 평가하였다. 분석결과, 전반적으로 정책형성 단계에 대한 전문가들의 평가는 다소 긍정적이었으나 정책집행 단계에서는 전반적으로 다소 부정적인 것으로 나타났다. 또한 결과평가 단계에서는 8개 사업을 제외한 17개 사업 가운데 천수교 건설, 광역쓰레기 매립장, 농산물도매시장, 서부도서관, 노인복지타운은 긍정적인 평가를 받았으나 시청사 이전과 나불천 복개 사업은 부정적인 평가를 받았다. 아울러 독립변수로 설정한 사업자체 요인, 행정기관 내․외부요인과 종속변수인 정책과정별 측정지표를 중심으로 인과관계를 분석한 결과, 정책형성과 집행단계에서는 사업자체 요인보다는 지역주민, 언론, 시민단체, 상급기관, 지방의회 등 내․외부적 요소에 의해 일정한 영향을 받는 것으로 나타났다. 그러나 결과평가 단계에서는 외부적인 요인보다 행정기관 내부요인인 자치단체장의 추진의지와 공무원의 헌신도, 지방의회의 협조 정도가 영향을 미치는 것으로 나타났다.

주제어 : 정책과정, 성과평가, 정책형성, 정책집행, 정책성과, 성과관리, 성과지표

I. 서 론

세계화에 따른 공공부문의 개혁은 1980년대 이후 신공공관리론(New Public Management, NPM)의 등장과 1990년대 OECD 국가를 중심으로 성과관리시스템을 구축하면서 기업가적 정부를 지향하고 있다. 이는 공공부문의 경쟁력 향상과 국민들의 정부 및 공공부문의 현안 사업 및 활동에 대한 책임성 확보 요구에 부응하기 위한 것이다. 아울러 공공부문에 있어 성과에 대한 논의가 이미 쟁점화 되었고 이러한 성과들이 측정되고 평가되어져야 한다는 인식이 학자 및 행정실무자들 사이에서 공론화되면서 정부 및 공공부문은 정책 및 업무 수행과정에서 성과관리를 통해 효과성과 능률성 향상이 현실화되도록 노력하고 있다(Hood, 1991; 이윤식, 2007: 2).

우리나라는 1995년 민선자치단체장 선거 이후 공공서비스에 대한 지역주민들의 수요가 증가하면서 대응성 차원에서 공공서비스의 질을 향상시키기 위한 노력으로 성과평가가 활발하게 이루어져 왔다(김호섭 외, 2002: 4; 송건섭 외, 2004: 179). 특히 2006년 4월 1일부터 정부기관 및 지방자치단체의 자체평가를 핵심 내용으로 하는 □정부업무평가기본법(2006. 4. 1 시행)□이 제정되면서 국가위임사무 등의 자치단체 평가는 합동평가를 원칙으로 하되, 특정 사유가 있을 경우에 ｢정부평가위원회｣의 협의를 거친 후 개별평가를 실시하게 함으로써 자치단체에 대한 평가는 합동평가와 개별평가를 구분하여 현재까지 운영되고 있다. 또한 이명박 정부는 “지방자치단체 평가제도 개선”을 국정과제로 선정하여 추진하고 있고, 기존의 문제점을 보완하는 차원에서 개선방안을 제시하였다. 그 내용을 살펴보면, 행정안전부는 부처별 및 시책별로 다원화되어 있는 자치단체 평가를 통합하고 통합평가체계를 구축하였다. 이는 자치단체의 평가부담을 완화하여 국정 통합성을 확보하는 동시에 평가의 투명성, 공정성, 신뢰성을 강화하여 평가의 수용성을 확보한다는 취지하에 지방자치단체 통합평가체계의 구축방안을 마련하였다. □정부업무평가기본법□의 통합 성과관리에서 성과는 투입, 처리, 산출, 결과를 통합적으로 추진 또는 이행한 정도로 파악하고 있다. 다시 말해 기존의 결과 중심적 차원에서 성과를 단순히 산출이나 결과로 보는 관점과는 달리 성과의 요인을 규명하기 위한 과정적 측면과 결과적 측면이 동시에 고려되는 의미가 성과에 포함되어 있다(이윤식 외, 2006).

지방자치단체 통합평가체제 개선 방안은 크게 평가제도의 개선과 On-Line 평가시스템 구축이다. 여기서 평가제도 개선의 핵심 내용은 행정안전부에서 합동평가 실시계획 수립 시 개별평가에 대한 관리․ 통제 대책을 추진하고 부처별 자치단체 평가를 ‘통합평가’ 방식으로 일원화하며, 자치단체 평가의 획기적 감소로 평가부담을 완화, 평가단위(시․도) 및 시기 일원화, 평가체계 명확화를 통한 수용성 확보, 그리고 재정인센티브 확대 등 평가환류 강화 등이 있다.

지방정부 정책과정의 단계별 성과의 영향분석

｢지방정부연구｣ 제12권 제4호(2008 겨울)

공공부문의 성과는 근본적으로 정책과정의 일부분이다(Johnson and Lewin, 1984). 성과평가라는 측면에서 본다면 성과에 대한 개념의 명료화, 지표의 조작화, 자료수집 방법, 평가지표 등이 중요하다. 이명박 정부의 지방자치단체 통합평가 방법에서도 자치단체장의 관심도, 전담조직의 구성 여부, 홍보실적 등 자치단체의 변별력과 실적경쟁이 무의미한 지표나 지표 간 내용이 중복되는 지표를 폐지하고 분야별 대표성이 강화된 시책을 대상으로 계획, 집행, 결과, 환류단계로 나누어 평가지표를 개발할 것을 계획하고 있다. 본 연구도 평가지표에 대한 지방정부의 변별력을 감안하여 성과의 개념과 성과평가 모형을 재구성하였으며, 성과관리 대상 사업이나 활동의 수행에 있어서 계획된 목표가 얼마나 효과적으로 달성되었는지를 평가함으로써 정책의 형성단계, 집행단계, 결과단계를 동시에 고려하여 분석하였다.

본 연구는 지방정부가 실시하는 주요 정책이나 사업에 대한 정책과정의 단계별 성과에 관한 평가지표가 이론적으로 체계화되어 있지 않은 현 상황 하에서 경남 진주시가 추진한 25개 주요 정책 및 사업을 선정하여 주관적 평가를 실시하였다. 기존의 연구에서 다양한 평가지표와 모형을 통해 지방정부의 성과를 객관적으로 평가할 수 있는 표준화된 지표와 평가방법이 정립되지 못하여 많은 비판을 받았다(송건섭 외, 2005: 58). 또한 평가방법에 있어 객관적 평가와 주관적 평가, 그리고 두 가지 방법을 병행하여 성과평가가 실시되어 왔지만, 이를 위한 명확한 기준이 없이 연구가 진행되어 왔다. 아울러 주민만족도를 통한 주관적 평가의 경우에도 지역주민들이 지방정부에서 시행한 정책이나 사업을 제대로 파악하여 정확한 평가를 할 수 있는지, 그리고 평가결과를 신뢰할 수 있는지 등의 문제가 꾸준히 제기되었다. 이를 보완하기 위하여 본 연구는 진주시에 거주하는 전문가 집단을 대상으로 정책과정의 단계별 성과에 초잠을 두고 평가를 실시하였다. 이러한 정책과정별 평가결과를 통해 정책적 시사점을 제공하고 정책결정자 및 정책집행자들이 평가결과를 활용하여 향후 보다 나은 정책과 사업을 수립하고 집행하는데 도움이 되고자 함이다.

Ⅱ. 정책과정과 성과평가에 관한 이론적 논의

1. 정책과정과 성과평가

사회문제의 발생단계에서 정책의제 채택을 거쳐 이를 결정한 후 정책을 집행하고, 집행결과에 대한 평가, 평가결과의 환류(feedback) 등 동태적이고 복잡한 과정을 거치는데, 이러한 연속․순환과정이 정책과정(policy process)이다(최봉기, 2008: 92). 또한 정책과정은 정책문제의 인지로부터 목표설정․대안의 분석․결정․합법화․집행․평가의 과정을 거쳐 정책이 종결되기까지의 일련의 과정으로 정치적인 성격과 역동성을 지닌다. 그러나 정책과정은 그 자체가 동태적이고 매우 복잡하기 때문에 학자들에 따라서도 다양하게 접근하고 있다. 정책과정은 정책의 유형이나 내용뿐만 아니라 정책 참여자나 외부 환경에 따라서도 그 내용이나 성격이 달라진다. 그럼에도 불구하고 정책과정의 실제를 보다 면밀하게 분석하기 위해서 정책과정을 체계적으로 검토할 필요가 있다. 그러면 정책과정을 몇 단계로 나누어 접근하는 이유는 무엇인가? 첫째로 정책과정을 몇 단계로 구분하는 이유는 동태적이고 복잡한 정책과정을 단순화시켜 이를 이해하는데 도움을 줄 수 있기 때문이다. 다시 말해 정책이 형성되고 집행되어 평가로 이러지는 과정을 범주화하여 단계별로 구체화함으로써 정책에 대한 이해의 폭을 넓힐 수 있다. 다음으로 정책과정을 그 특성에 따라 단계별로 구분함으로써 정책과정별 속성 및 각 과정에 영향을 미치는 변수를 세분화할 수 있는 장점이 있다. 정책과정에는 다양한 정책 및 사업 관련 이해집단이 참여하고, 이들 집단은 정책을 수립하는데 있어 영향력을 행사하게 된다. 그러나 정책 관련 집단이 정책과정 전반에 걸쳐 참여 범위와 개입 정도가 다르고 영향력도 다르다. 따라서 정책과정별 속성을 설명하고, 각 단계별로 영향력을 행사할 수 있는 참여자들을 세분화하여 이해함으로써 동태적인 정책과정을 체계적으로 설명하는데 도움을 준다(류지성, 2007: 67).

정책과정과 관련하여 국내외 학자들의 견해와 인식도 다양하다. 여기서 몇몇 학자들이 주장하는 정책과정의 단계를 간략하게 살펴보았다. 먼저 Lasswell(1975)은 의사결정과정을 정보의 수집 및 처리, 동원, 처방, 행동화, 적용, 종결, 그리고 평가의 단계 등 7단계 모형을 제시하였다. Anderson은 정책과정을 문제형성과 정책의제 설정 단계(problem formation and agenda setting), 정책형성 단계(policy formulation), 정책대안 채택 단계(policy adoption), 정책집행 단계(policy implementation), 정책평가 단계(policy evaluation) 등 5단계로 구분하여 각 단계를 설명하였다(Anderson, 1984: 18-21). Jones는 문제의 인지와 정의 (perception and definition), 결합단계(aggregation), 조직화 단계(organization), 대표(representation), 의제설정(agenda setting), 정책형성(policy formulation), 합법화(legitimation), 예산의 편성(budgeting), 정책집행(policy implementation), 정책평가(policy evaluation), 정책조정과 종결(policy adjustment, termination) 등 11단계로 구분하여 단계별 특성에 따라 ‘문제가 정부로 귀속되는 단계’, ‘정부에 의한 행위 단계’, ‘정부의 문제데 대한 실질적 개입단계’, ‘정책수단의 검토와 정책변화 단계’로 범주화하였다(Jones, 1984: 24). Anderson과 Jones는 정책이 발전된 과정을 ‘시간적 흐름’에 따라 범주화시킨데 반해 Dror는 정책과정을 정책이 ‘구체화된 정도’로 분류하였다. 그는 합리적 사고에 의한 정책과정의 비현실성과 이를 대체하는 점증주의적 발상의 한계를 지적한 후 최적모형을 제시하고 정책과정을 상위정책결정단계(meta-policy making stage), 정책결정단계(policy making stage), 정책결정이후단계(post-policy making stage)와 이 단계와 연계하여 최적의 정책과정을 가능하게 하는 의사소통과 환류 단계로 범주화하였다(Dror, 1964: 160-196).

한편, OECD(2001)는 정책과정을 정책설계, 정책집행, 정책평가의 3단계로 구분하고 정책과정에 정보(information), 협의(consultation), 능동적 참여(active participation)의 방식으로 참여 방향을 제시하였다. 그리고 OECD(2003)는 온라인을 통한 정책과정에 대한 민간참여 방법을 제시하면서 정책과정을 의제설정, 분석, 정책형성, 정책집행, 정책평가 등 5단계로 분류하여 정보통신기술이 각 정책과정별로 적절하게 활용되는지를 평가하였다. 정책과정과 관련하여 국내 학자들에 의해 제시한 내용을 보면, 정정길 외(2003)는 정책과정을 정책의제설정, 정책결정, 정책집행, 정책평가단계로 구분하고 있다. 이밖에 행정안전부(2004)는 정책과정에 주민참여를 촉진시키기 위해 정책과정과 민간참여방식에 대한 유형화를 시도하면서 정책과정을 정책입안 및 결정, 정책집행, 정책평가로 구분하였다. 또한 국민의 참여를 확대하기 위한 참여모델 시범적용 계획에서 정책과정을 정책입안, 정책집행, 정책평가로 범주화하였다(강인성, 2008; 218). 지금까지의 내용을 종합하면, 정책과정은 정책체제를 보다 동태적으로 파악하기 위한 것으로 정책과정을 정책의제설정과정, 정책결정과정, 정책집행과정, 정책평가과정 등 4단계로 나누는 것이 일반적인 견해이다(이양수, 2004: 107). 이러한 국내외 정책과정 단계의 유형을 토대로 본 연구는 진주시가 추진한 주요 사업을 평가하기 위해 국무조정실 정책평가위원회(2002)에서 제시한 정책과정 단계를 다소 변형하여 정책형성 단계, 정책집행 단계, 결과평가 단계로 구분하였다.

그러면 성과평가는 왜 중요한가? 성과평가는 지방정부가 제공하는 주요 정책이나 사업이 지역사회와 주민들에게 얼마나 잘 전달되고 있으며, 이것이 효과적이고 효율적으로 전달되고 있는가를 체계적으로 평가하는 것이다(Hatry, 1980: 312). 이처럼 성과평가는 책임성을 담보할 수 있는 제도적 장치로 각 자치단체의 강점과 약점 등을 진단함으로써 성과의 개선을 통해 공공서비스의 질을 향상시킬 수 있다는 점에서 중요하다(Ammons, 1995: 12; Epstein, 1992: 516; Wholey & Hatry, 1992: 604; 박기관, 2001: 67; 송건섭 외, 2004: 179; 김희경 외, 2006). 한편으로 정책평가 방법 중의 하나인 성과평가의 경우에 성과(performance)의 개념 자체가 다의적•복합적인 의미를 함축하고 있기 때문에 개념적 정의가 매우 어렵다(Rogers, 1990). 다시 말해 성과를 어떻게 규정하느냐에 따라 연구대상과 범위, 그리고 연구방법이 달라지기 때문에 일차적으로 개념 정립이 매우 중요하다(박기관, 2001; 송건섭 외, 2004).

1980년대 이후 성과관리시스템이 도입되면서 성과평가(performance evaluation)는 성과검토(performance review), 성과사정(performance assessment) 등 여러 가지 용어로 사용되었다. 이러한 용어들은 성과관리시스템에서 수행되는 사업평가로 이해할 수 있다. 이것을 사업평가의 확장으로 파악하는 이유는 성과평가, 성과검토, 성과사정이 일차적으로 정책결정에 활용한다는 목적을 가지고 환류라는 기능을 수행하기 때문이다(김준한, 1999: 235-236). 따라서 성과평가는 성과관리를 위한 평가로써 사업평가의 일종으로 사업 및 업무활동과 성과간의 인과관계의 규명이 필수적이다. 또한 성과평가에서는 총괄평가, 과정평가, 종합평가 등의 평가유형의 활용이 가능하다(이윤식, 2007: 5).

아울러 공공부문의 주요 정책이나 각각의 사업에 대한 성과평가 작업은 쉬운 문제가 아니다. 공공부분은 민간부문에서처럼 이윤의 극대화 등의 구체적인 목표나 적절한 환류장치가 미비하기 때문에 정책을 평가하고 그 결과를 활용하여 성과를 향상시키는 일 자체가 어렵다. 따라서 공공부문의 성과평가는 여전히 평가방법, 평가지표, 그리고 평가체계 등 여러 측면에서 개선의 필요성이 제기되고 있다(이종원 외, 2007; 제갈돈 외, 2006; 김주환 외, 2006; 김현구, 2006; 노화준 외, 2006 등). 공공부문에서 실시하는 성과평가의 당위성 및 목적을 한마디로 일축하기는 어렵지만, 성과에 대한 신뢰성과 타당한 정보를 제공하는 것(Theurer, 1998)과 조직의 활동과 성과달성에 대한 명백한 내용을 제공함으로써 정책결정과 관리의 효율성을 증진시키는 것으로 볼 수 있다(Griesemer, 1995). 또한 행정운영 성과에 대한 생산성을 점검함과 동시에 기관장의 리더십과 사업 추진실적을 정확하게 평가함으로써 행정의 발전을 도모하고 행정의 책무성을 제고할 수 있다는 점에서 필수적 장치라 할 수 있다(제갈돈 외, 2006; 이종원 외, 2007). 따라서 최근에 성과평가는 정부 관리의 핵심적인 구성요소인 동시에 성과의 발전을 위한 기회의 증명으로 정부차원에서 성과평가의 활용이 증대되고 있다.

민간부문에 비해 공공부문은 서비스의 이질적 산출, 성과의 자동측정 장치로서 시장가격 기능의 미흡, 예방효과의 측정 곤란 등으로 인하여 성과측정이 어렵다는 말한다(Hatry and Fisk, 1992; 송건섭 외, 2004: 181)

2. 성과평가를 위한 선행연구 검토

성과평가를 위한 기존 연구의 검토에서는 평가의 방법, 평가의 기준, 그리고 평가지표에 관하여 살펴본 후 본 연구의 방법론을 제시하고자 한다. 성과평가와 관련한 선행연구에서 성과의 개념은 크게 산출(output)과 결과(outcome)로 구분하고 있다(라휘문 외, 1999; 노시평 외, 2006: 403). 산출(output)은 지방정부가 의도한 활동인 투입 및 전환과정을 통해 발생한 1차적 공공재 및 서비스의 산물이다. 공공근로사업과 실업 관련 사업을 예로 들면, 산출은 공공근로사업의 수혜를 받은 인원 수 및 실업수당 수급자를 말한다. 결과(outcome)는 욕구충족인 가치실현에 미친 영향으로 쓰레기 수거를 통한 거리의 청결도, 화재피해의 감소액, 실업인구의 흡수와 소득지원, 실업 감소율 등 산출물을 통해 지방정부가 추구하는 목적이나 효과가 어느 정도 달성되었는가를 보는 것이다(배득종, 2002). 따라서 결과(outcome)는 산출이 지역주민들에게 미치는 사회적 영향으로 질을 감안한 개념으로써 결과가 궁극적인 행정의 목적이라면, 산출은 그 목적을 위한 중간단계라고 할 수 있다(박재완, 1999: 160). 산출은 계량적 측정이 비교적 용이하지만, 결과는 양적인 측정이 어렵고 주관적이다. 결론적으로 평가의 목적이나 측정방법에 따라 지방정부의 성과 개념이 신출에만 한정되거나 결과까지 포함되기도 한다(송건섭 외, 2005: 60).

또한 성과평가와 관련하여 자료수집 방법, 분석방법, 접근방법을 살펴보면, 크게 주관적 평가와 객관적 평가로 구분된다. 주관적 평가는 서비스의 질적 측면을 평가하는 것이고, 객관적 평가는 서비스의 양적 측면을 평가하는 방법으로 평가목적에 따라 하나를 사용하거나 양자를 병행하여 사용하고 있다. 특히 성과평가 시 두 가지 이상의 다른 방법을 사용하는 혼합법의 경우에 단일 방법을 사용하는 경우보다 신중을 기해야함을 지적하고 있다(Greene․Benjamin․Goodyear, 2001; 김희경 외, 2006). 선행연구에서 제시된 지방정부에 대한 성과평가의 접근방법을 보다 세부적으로 살펴보면, 수혜자 중심의 주관적 평가와 공급자 중심의 객관적 평가로 구분되어 진행되어 왔다(박기관, 2001; 라휘문 외, 1999 등). 주관적 평가는 주민들을 대상으로 공공서비스의 수요와 욕구의 충족도에 대한 태도를 평가하는 것으로 자치단체의 대응성과 형평성 등을 평가하는 것이다. 그러나 기존의 연구가 주민만족도의 평가지표에 대한 개념의 불확실성과 평가부문 및 변수선정에 있어서 연구자의 임의성, 조사설계의 일관성이나 세부항목에 대한 타당성 부족 등으로 인하여 체계적인 연구결과를 기대하기 어렵다는 비판이 제기되었다(김재흥 외, 1995; 송건섭 외, 2004, 이윤식, 2007). 아울러 객관적 평가도 효율성 측정을 위한 지표선정의 일관성 및 타당성 부족, 과다한 평가지표로 인한 적용의 곤란성 등의 문제점을 가진다(우동기, 1996). 최근에는 자치단체의 공공서비스에 관한 성과평가의 연구경향은 주관적 평가와 객관적 평가 중 한 가지 방법에만 의존하는 단편적인 접근방법에서 탈피하여 통합적 방법이 다소 활용되고 있다(김시영 외, 1996; 민경엽, 2001; 송건섭 외, 2004; 김희경 외, 2006).

다음으로 성과평가의 대상 및 측정방법과 더불어 고려해야 할 점은 이를 통해 구체적으로 측정하고자하는 것이 무엇인지에 대한 평가기준의 문제도 중요하다. 왜냐하면 평가의 기준을 설정하는 문제는 평가의 실제에서 가장 논란의 여지가 많은 부분이기 때문이다. 정책평가 및 성과평가의 기준은 사회 전체의 입장에서 정책을 평가할 수 있게 해주는 기준이 되어야 하며, 평가의 기준은 평가의 척도이다. 지방정부가 추진하는 정책 또는 사업의 성공과 실패를 판단하기 위해서는 사업의 어느 측면을 평가의 초점 내지 대상으로 할 것인가에 대한 있어야 한다. 평가의 목적이 다양한 만큼 평가기준도 여러 형태가 있다. 이와 관련하여 정책 및 사업에 관한 성과평가의 기준에 관한 논의는 다양한 차원에서 논의되어 왔다. 먼저 Epstein은 성과평가의 기준을 효과성, 능률성, 수입 등 네 가지를 제시하였다(Epstein, 1992: 161-193)). Ammons는 업무량, 능률성, 효과성, 생산성의 네 가지 범주를 분류하였고(Ammons, 1995: 37-47), Rogers는 경제성, 능률성, 효과성, 서비스 수준과 대응이라는 다섯 가지 기준을 사용하였다(Rogers, 1990: 45-76). 특히, Brudney와 England(1982)는 성과평가의 기준으로 경제적 측면에서 능률성과 효과성을 정치적 측면에서 대응성과 형평성을 제시하고 있는데, 이들이 제시한 능률성, 효과성, 대응성, 형평성 등 4가지 평가기준은 이론적 명확성과 포괄성으로 인하여 많은 연구에서 이를 채택하고 있다(라휘문․ 한표환, 1999: 96-97; 김시영․ 김규덕, 1996: 138-139).

국내 학자로써 노시평 등(2006)은 여기에다 적절성과 충분성 등을 포함하도 있다(노시평․ 박희서․ 박영미, 2006: 430-433). 그리고 류지성(2007)은 Dunn(1981)의 평가기준을 기초로 효과성, 능률성, 적정성, 형평성, 반응성, 적절성 등을 평기기준으로 제시하고 있다(류지성, 2007: 487). 이처럼 성과평가의 기준은 학자에 따라 다양하게 제시되고 있지만, 일반적으로 객관적 평가기준으로는 능률성과 효과성이 있고 이들의 문제를 포괄하는 효율성이 많이 사용된다. 이에 비해 대응성과 형평성 등은 주민만족과 관련된 질적 가치로서 주관적 평가를 통해 측정된다. 따라서 대응성과 형평성의 가치는 지방정부의 주요 정책이나 사업의 직접적인 수혜자인 주민의 입장에서 평가하는 것으로 주민만족도 조사가 대표적이다. 주민만족도 조사에 의한 주관적 평가에서는 지역민의 인식, 태도, 평가 등을 측정하기 위한 주관적 지표를 이용한다. 이처럼 개관적 평가와 주관적 평가는 서로 다른 평가기준을 이용하여 성과를 평가하게 된다.

한편, 성과평가에서 가장 중요한 요소는 성과지표(performance indicator)의 설정이다. 성과지표는 조직의 임무, 전략목표, 성과목표의 달성 여부를 측정하는 척도이며, 성과를 측정할 수 있도록 양적 혹은 질적으로 제시된 것을 말한다. 성과지표의 유형으로는 투입지표(input indicator), 과정지표(process indicator), 산출지표(output indicator), 결과지표(outcome indicator)로 구분된다(박경귀, 2005; 노시평 외, 2006: 439-440). 먼저 투입지표는 예산의 집행과 정책 및 사업진행 과정에서 나타나는 문제점을 발견하는 것이 목적이다. 필요 재원 및 인력이 최초 계획대로 집행되었는지를 평가하는 지표로 예산 집행율, 사업계획에 따른 인력, 재원 및 물적 자원의 지원여부, 사업의 최종 산출물을 위한 중간 투입물의 목표달성에 대한 평가를 주로 한다. 과정지표는 사업추진의 중간점검이 주요 목적이며, 사업추진을 몇 단계로 나누어 각 단계의 목표달성 여부를 평가한다. 예를 들어 사업의 최종 산출을 회계연도 말까지 얻을 수 없는 경우와 사업의 최종 완료까지 사업의 효과가 나타나지 않는 경우에 사용하는 지표이다. 산출지표는 예산 및 인력 등의 투입에 비례하여 목표한 최종 산출이 이루어졌는가를 평가하는 것이 목적이다. 여기서는 정책 및 사업이 목표한 최종 산출을 평가하게 되며, 최종 산출물은 사업의 궁극적인 목표를 달성하기 위한 수단이 된다. 마지막으로 결과지표는 사업의 시행을 통해 달성하고자하는 최종 효과를 측정하기 위한 지표이다. 이는 사업의 최종 산출을 통해서 얻으려는 성과의 달성여부에 대해 평가하게 된다. 특히 물질적인 산출이 없는 사업의 경우에는 사업의 결과와 산출이 동일한 경우가 허다하다(노시평 외, 2006: 439-440). 이밖에 정책과정 단계별 성과에 대한 영향요인으로는 사업 자체요인, 내부요인, 외부요인을 독립변수로 설정하였다. 이러한 독립변수는 주로 공공기관 내외부의 환경과 관련이 있다. 환경은 조직외적 현상을 의미하는 것으로 Nakamura와 Smallwood(1980)은 환경에는 의회, 이익집단, 정당, 언론, 경제, 문화적 요인 등 다양하다고 주장하였다. 그리고 Brudney와 Hebert(1987)는 미국 주정부 행정기관에 영향을 미치는 환경, 다시 말해 외부 행위자로 주지사, 주의회, 고객집단, 전문가협회 등을 제시하고 있다. 오세윤(2007)은 환경을 좁은 의미로 접근하여 자치단체장, 지방의회, 고객집단, 전문가집단, 비정부기구, 언론을 환경행위자로 보았다. 본 연구에서는 이러한 선행연구를 다소 변형하여 사업성과의 영향요인을 제반 환경으로 보고 사업 자체요인(예산규모, 사업기간, 사업 자체의 복잡성), 행정기관 내부요인(자치단체장의 추진의지, 공무원의 헌신도, 지방의회의 협조, 상급기관의 지원 등), 그리고 외부요인(고객집단인 지역주민의 관심, 언론 및 시민단체의 관여도 등)으로 이러한 요인이 정책과정별로 영향을 미칠 것으로 보았다.

지금까지 기존의 연구를 중심으로 성과평가의 방법, 기준, 지표를 살펴보았는데, 이를 바탕으로 본 연구는 다음과 같이 평가방법 등을 설정하였다. 먼저 평가방법에 있어서 최근의 연구경향이 주관적 평가와 객관적 평가방법을 통합하여 그 성과를 측정하고 있지만, 본 연구에서는 주관적 평가로 한정하였다. 왜냐하면, 성과평가의 핵심적인 요소는 지방정부의 주요 정책이나 사업의 집행결과(outcome)에 대한 책임성 확보가 중요하다고 판단했기 때문이다(Ammons, 1995). 다시 말해 지역주민에 대한 책임성이 확보된다면 성과의 개념에서 정책 산출(policy outputs)의 의미인 효율성의 가치와 더불어 정책 결과(policy outcomes)인 주민의 만족도까지 포함하는 개념으로 보는 것이 타당할 것으로 판단된다. 그리고 지역주민의 입장을 고려하지 않고 행정기관 중심의 서비스 제공은 정책이 추구하는 지역주민의 삶의 질 향상이라는 목적을 달성하기 어렵다는 점에서다. 이명박 정부의 지방정부 통합평가 추진계획에서도 고객체감도 조사를 중시하고 있다. 왜냐하면, 국민을 고객으로 하는 정책 및 사업에 있어 평가의 궁극적인 목적이 고객만족 서비스 향상에 있기 때문에 주민만족도 등 주관적 평가의 중요성을 언급한 것으로 판단된다. 또한 앞에서 제시한 주관적 평가의 문제점을 보완하기 위해 지역주민을 대상으로 조사하지 않고, 지방정부에서 추진하는 정책이나 사업에 직․간접적으로 개입하였거나 전문적인 지식을 가진 해당 전문가 및 언론, 시민단체 등을 대상으로 평가를 함으로써 평가결과에 대한 신뢰성과 타당성을 어느 정도 확보하였다.

다음으로 성과평가의 기준과 지표는 정책과정의 단계별로 그 기준을 달리 하였다. 먼저 정책형성 단계에서는 정책목표의 타당성, 환경변화에 대한 대응성, 정책목표의 명확성 등 지역주민의 욕구와 선호 등이 반영되었는지를 판단할 수 있는 대응성, 적합성과 적절성 차원에서 접근하였다. 정책집행 단계에서는 사업 자체가 계획대로 집행되었는지를 평가할 수 있는 투입지표와 중간점검 차원에서 과정지표를 중심으로 측정항목을 구성하였다. 특히 정책집행과 관련해서는 일관성, 소망성 등의 기준이 중요하다. 결과평가 단계에서는 산출지표와 결과지표를 동시에 사용하여 목표달성도 및 효과성, 형평성을 중심으로 분석하였다. 이러한 평가기준과 평가지표는 국무조정실 정책평가위원회(2002)에서 사용한 정책과정별 평가기준과 지표를 일부 활용하였다. 또한 기존의 연구가 주로 평가지표를 통한 실태분석에 한정되었거나 정책 및 사업활동과 성과간의 인과성을 검증한 연구가 부족한 편이다. 따라서 본 연구에서는 정책과정을 종속변수로 하여 사업자체요인, 행정기관 내부요인 및 외부요인을 독립변수로 설정하여 영향력을 검증한 탐색연구라 할 수 있다.

Ⅲ. 분석모형과 조사설계

1. 연구의 분석모형

본 연구는 경상남도 진주시를 추진한 25개 사업을 사례로 1995년 이후부터 현재까지 이미 완료되었거나 진행 중인 사업을 대상으로 정책과정의 단계별 성과에 영향을 미치는 요인을 설정하여 분석을 실시하였다. 그리고 평가방법은 전문가를 대상으로 한 주관적 평가에 의해 이루어졌다. 이러한 평가를 적절하게 수행하기 위해서는 정책(사업)의 형성과 집행, 그리고 정책의 배경이 되는 행정적이고 정치적인 모든 상황에 관한 총제적인 정보가 요구된다. 또한 정책과정별 성과에 대한 평가는 사업 활동별로 달성한 성과가 전체 또는 단위조직별로 부여된 목표 등과 비교하여 사업 활동의 능률성, 효과성, 대응성, 형평성, 적실성 등이 어떠했는지를 평가하는 과정이다. 이밖에 어떤 정책이나 사업의 결과를 결정짓는 과정은 상호작용을 하는 요인들이 서로 복잡하게 얽혀 있는 네트워크와 같다. 그러므로 정책과정별 평가를 통해 이러한 인과적 상호 관계를 하나의 전체적인 틀로 구성하여 분석할 필요가 있으며, 이에 따라 구성한 본 연구의 분석모형은 <그림 1>에 제시되어 있다. 본 연구에서 주요하게 분석하고자 하는 종속(결과)변수는 진주시 주요 사업의 정책과정별 성과이다. 정책과정별 성과를 파악하기 위해서는 정책과정을 세부적으로 구분할 필요가 있는데, 여기서는 우리나라 국무조정실 정책평가위원회에서 사용하는 평가지표를 일부 활용하여 정책과정을 3단계로 구분하였다.

<그림 1> 연구의 분석모형

	사업의 자체요인
	▸예산의 규모 ▸사업의 소요시간 ▸문제의 복잡성
				정책과정별 성과평가
	행정기관 내부요인
	▸자치단체장의 추진의지 ▸공무원의 헌신도 ▸상급기관의 지원도 ▸지방의회의 협조도		□	▸정책형성단계의 성과 ▸정책집행단계의 성과
				□
	행정기관 외부요인			▸결과평가단계의 성과
	▸지역주민의 관심도 ▸언론매체의 관심도 ▸시민단체의 관여도

2. 변수 및 측정지표

첫째, 정책형성단계의 성과에 대한 평가로써 정책형성 단계에 대한 평가는 정책개입이 시기적으로 적절했는가에 대한 평가와 문제해결을 위한 방향, 이른바 정책목표가 제대로 설정되었는가에 대한 평가로 구분할 수 있다. 먼저, 정책 개입의 시기와 관련하여 어떤 정책이 최대의 성과를 거두기 위해서는 정책문제를 어느 시기에 공식적인 의제로 받아들이고 해결을 위한 방안을 강구하였는가가 매우 중요하다. 다시 말해 적절한 타이밍에 정책개입이 이루어졌는가는 정책결과의 성패를 좌우할 만큼 중요한 측면이라 할 수 있다. 그리고 정책목표의 설정과 관련하여 정책목표는 정책을 통해서 달성하고자 하는 바람직한 상태를 의미하며, 그 본질적 기능은 정책목표의 실현을 통해 사회적으로 바람직한 상태를 만드는 것이다. 이러한 정책목표에 대한 평가의 기준으로는 적합성(appropriateness)과 적절성(adequacy)을 들 수 있다. 정책목표의 적합성은 달성할 가치가 있는 여러 가지 목표들 중에서 가장 바람직한 것을 목표로 채택하였는가에 관한 평가에 해당하며, 정책문제의 여러 가지 요소 중에서 가장 중요한 문제 요소를 선택했는지의 여부를 의미한다. 그리고 정책문제의 적절성은 정책목표의 달성 수준과 관련된 것으로서 목표의 수준이 지나치게 높거나 낮지 않고 적당한지의 여부를 평가하는 것이다. 이러한 전반적인 인식에서 본 연구 역시 목표 설정의 적합성과 적절성을 통해 정책목표가 제대로 설정되었는가를 측정하기 위해 ①정책목표의 시정발전상과의 부합도, ②정책목표의 환경변화에 대한 대응 정도, ③정책목표의 명확성 등 3개 항목으로 구성하였다.

둘째, 정책이 결정된 이후 그 집행단계의 성과에 대한 평가로써 정책결정과정을 통해 얻어진 정책은 문서로 작성된 서류에 불과하다. 정책집행은 정책문제를 해결하여 목표 상태로 가는 것으로서 현실 속에서 문제와 직면해서 이를 바람직한 목표 상태로 만들기 위해 사람과 물자를 동원하고 예산을 쓰는 것이다(이종수․ 윤영진 외, 2007). 정책집행은 정책에 포함되어 있는 사업계획의 내용을 구체화하는 활동이므로 사업계획의 내용이 갖는 성질이 어떠하냐에 따라 집행의 성공 여부가 크게 좌우되며, 여기에는 명확성, 일관성, 소망성이 중요하다. 명확성은 사업의 목표와 그것을 달성하기 위한 수단이 추상적이어서는 안 되고, 목표나 수단들이 상호 모순되거나 대립되지 않고 명확해야 한다는 것을 의미한다. 일관성은 정책의 목표와 수단 간의 우선순위가 분명하고 이러한 우선순위가 시간의 경과에도 크게 변함이 없음을 의미한다. 그리고 소망성은 집행과정에 관여하는 사람들이 사업계획의 내용을 바람직한 것으로 인식하는 정도를 말한다. 정책집행 단계와 관련하여 본 연구에서는 ①세부집행안의 충실도, ②사업 집행에 따른 여론 수렴정도, ③계획에 따른 사업의 추진정도, ④시행과정의 효율성, ⑤시행과정에서 상황변화에 대한 대응 정도, ⑥집행과정의 홍보 정도 등 6개 항목을 측정지표로 사용하였다.

셋째, 결과평가로 정책이 본래 의도했던 목표를 제대로 달성하였는가에 관한 평가이다. 이는 정책이나 사업이 성공하였는지 여부를 알아보는 평가이다. 결과평가(outcome evaluation)는 정책을 통하여 발생한 직․간접적인 결과 및 효과 자체를 대상으로 분석하는 것으로서 그 평가의 기준에 따라 효과성 평가, 능률성 평가, 민주성 평가 등으로 나누어진다. 본 연구에서는 지방자치제 실시 이후 이루어진 진주시의 주요 사업이 그 본래의 목적을 달성하였는가를 분석하는 초점을 두고 있기 때문에 정책의 효과성 측면에서 결과평가를 하고자 한다. 정책성과 단계에서는 효과성을 기준으로 ①목표의 달성도, ②정책의 효과성, ③정책효과의 형평성 등 3개 항목으로 측정지표로 사용하였다.

한편, 본 연구에서는 정책의 단계별 성과를 평가함과 더불어 그러한 성과가 나타나게 된 원인을 분석함으로써 성과와 영향요인간의 인과관계를 분석하고자 한다. 정책단계별 성과의 영향요인에 대한 분석은 정책의 시작에서부터 결과에 이러는 단계별 영향요인을 구분하여 분석함으로써 보다 구체적이고 전략적인 시사점을 제공할 수 있다. 구체적으로는 정책형성단계에서의 영향요인, 정책집행단계에서의 영향요인, 정책성과단계에서의 영향요인으로 세분화하여 인과관계를 분석함으로써 각 정책과정별로 그 성과를 높일 수 있는 방안을 제공할 수 있을 것으로 기대한다. 이러한 취지에서 본 연구에서는 정책성과의 영향요인, 이른바 독립변수를 정책 그 자체가 가지고 있는 정책 자체 요인, 행정기관 내부의 요인, 그리고 행정기관 외부의 요인으로 구분하여 설정하였다.

첫째, 정책 자체 요인은 ①예산의 규모, ②사업의 소요시간, ③문제의 복잡성으로 변수를 구성하였다. 가설적으로는 예산을 많이 확보하였거나 소요비용이 많은 사업일수록 자원의 충분성을 확보할 가능성이 높기 때문에 높은 성과를 달성할 것으로 기대된다. 소요시간에 있어서는 단기사업보다 장기사업의 목표달성도가 높을 것으로 예상된다. 장기사업의 경우는 단기사업보다 예산과 인력 등 이른바 자원을 많이 확보할 수 있고, 집행과정에서 환경변화에 대응할 수 있는 시간적 여유를 가질 수 있기 때문이다. 그리고 문제의 복잡성과 관련하여 이해 당사자의 수가 적을수록 목표달성도가 높을 것이다. 이해당사자가 많으면 목표의 설정과 집행과정에서 이해당사자들 간의 대립과 충돌이 발생할 가능성이 높아지게 되고, 그 결과 정책 집행이 지연되고, 본래 설정된 목표의 방향이 빈번하게 수정됨으로써 목표의 달성도가 떨어질 가능성이 높다.

예산의 규모와 사업기간의 경우에는 명목척도를 사용하였다. 여기서 예산규모는 ① 40억원 미만, ② 40억원 이상으로 척도를 구성하였고, 사업기간은 단기사업(4년 이하)과 장기사업(5년 이상)으로 나누었다. 아울러 정책과정의 단계별 성과에 영향을 미치는 요인을 검중하기 위해 더미(dummy) 변수(40억 미만-0, 40억 이상-1, 단기사업-0, 장기사업-1)로 전환하여 사용하였다.

둘째, 행정기관 내부요인과 관련하여 ①자치단체장의 추진의지, ②공무원의 헌신도, ③상급기관의 지원도, ④지방의회의 협조도 등 4개 항목으로 구성하였다. 정책의 성과에 있어 집행 기관의 책임자와 그 담당 공무원이 정책의 내용에 대해 어떠한 태도를 가지고 있고, 그것을 수행할 수 있는 전문적인 능력이 어느 정도냐에 따라 그 달성도는 판이하게 다르게 나타날 것이다. 특히 자치단체장의 리더십은 관리적 측면과 정치적 측면에서 매우 중요한 요소로 작용하게 된다. 관리적 측면에서는 자치단체장이 적절한 통제방법을 고안해 정책집행의 효율성을 높이고, 공무원들의 사기를 앙양하며 내부의 반대자들을 침묵시하는 능력을 갖추어야 한다. 정치적 측면에서는 필요한 자원을 확보하고 상급기관의 지원을 얻어내야 한다. 또한 관련 단체의 도움을 받아내고 정책에 관여하는 여러 이익집단과의 협상과 조정을 수행하며 대상 집단의 저항을 무마시키는 능력을 가져야 한다. 이러한 측면에서 정책성과와 자치단체장의 의지 및 공무원들의 헌신도는 밀접한 관련을 가진다 할 것이다. 또한 정책과정 상 정책결정과 집행, 그리고 평가과정에 있어 의미 있는 통제기능을 수행하는 지방의회가 해당 사업에 대해 어떠한 태도를 가지고 있는가는 그 성과의 측면에서 중요한 의미를 가진다.

셋째, 행정기관 외부요인으로는 ①지역주민의 관심도, ②언론매체의 관심도, ③시민단체(NGO)의 관여도 등 3개의 측정지표를 구성하였다. 정책이 의도했던 목표를 달성하기 위해서는 지속적인 대중의 지지나 여론의 반응이 중요하다. 특히 여론을 쟁점화 시키는 매스컴은 사업의 목적이나 취지를 상세히 보도하고 사업의 중요성을 부각시킴으로써 일반대중의 지지를 얻어내게 한다. 또한 매스컴은 정책과정에서 드러나는 문제점을 지적함으로써 대중들의 비판적인 여론을 조성하고, 행정기관으로 하여금 그 과정에서 일어나는 문제점을 조기에 극복하도록 노력하게 한다. 또한 최근 정책과정에서 공익을 지향하는 시민단체(NGO)의 참여가 비약적으로 증가함으로써 정책과정에 큰 변화가 일어나고 있다. 시민단체의 활동은 정책의제 설정에 영향을 미칠 뿐만 아니라 정책대안의 제시, 집행활동의 감시 등을 통해 정책과정 전반에 걸쳐 상당한 영향을 미치고 있다. 이들의 활동은 사적 이익의 극대화를 목표로 하는 이익집단의 횡포 가능성을 줄이는데 기여할 뿐만 아니라 행정기관의 비리와 부조리를 감시하고, 예산 집행의 효율성을 향상시키는데 이바지 하게 된다.

3. 분석대상 사업 및 평가자 선정방법

본 연구는 1995년 이후 진주시의 주요 사업을 대상으로 성과 평가하고 이러한 성과에 영향을 미치는 요인을 분석하고자 한다. 이를 위해서는 어떠한 사업을 평가할 것인가에 대한 문제, 누가 어떠한 방식으로 평가할 것인가에 대한 문제, 그리고 이렇게 평가된 자료를 바탕으로 어떻게 인과관계를 분석할 것인가의 문제로 대별할 수 있다.

먼저 분석대상 사업의 선정방법으로 본 연구에서는 객관적인 평가대상 사업의 선정을 위해 진주시에서 발간하고 있는 □시정백서(1996-2007)□와 경남지역사회연구원에서 발간한 □진주사회지표□와 □진주시 행정수요 및 주민만족도조사□에서 제시하고 있는 진주시의 주요 사업별 우선순위 평가 결과자료. 그리고 시정 역점시책 8개 분야에서 제시한 실과별 자체평가 자료 등을 근거로 1995년 이후 진주시가 추진한 사업 가운데 46개 사업의 표집틀인 목록을 구성하였다. 46개 사업 전체에 대한 성과를 평가하면 보다 풍부한 논의를 가져올 수 있겠으나 본 연구에서는 시간과 비용의 한계로 연구의 분석대상 사업을 지역경제, 도시체계, 문화․관광, 환경, 보건․복지 등 5개 부문으로 나눈 후 각 부문별로 5개 사업을 선정하는 방식을 통해 총 25개 사업을 분석대상으로 하였다. 여기서 각 부문별 5개 사업은 사업의 중요도(5점 기준)를 통해 선정되었는데, 중요도의 측정은 40명의 전문가를 대상으로 한 설문조사를 통해 이루어졌다.

지역경제부문에서는 ①농산물도매시장 건립사업, ②지방산업단지 조성사업, ③바이오21센터 구축사업, ④실크전문단지 조성사업, ⑤재래시장 경쟁력 강화사업이 선정되었다. 도시체계부문에서는 ①천수교 가설 및 접속도로 확장공사, ②나불천 복개사업, ③시청사 이전 사업, ④말티고개 도로확장 사업, ⑤희망교 건설 사업 등이 선정되었다. 문화관광부문에서는 ①종합경기장 건설 사업, ②남가람 문화거리 조성사업, ③남강유등축제, ④종합실내체육관 및 수영장 건립사업, ⑤남강관광테마거리 조성사업이 선정되었고, 환경부문에서는 ①진주권 광역쓰레기 매립장 건설, ②상수도불소화사업, ③공동화장장 및 납골당 건립사업, ④남강 친자연형 하천조성 사업, ⑤가축 분뇨 공공처리시설 확충사업이 선정되었다. 마지막으로 보건복지부문에서는 ①서부도서관 건립사업, ②노인복지타운(상락원) 건립사업, ③노인전문요양원 건립사업, ④청소년문화회관 건립사업, ⑤어린이 교통 및 청소년 모험공원 조성 등의 사업이 선정되었다.

다음은 정책 평가자 및 사업선정 방법에 관한 것으로 기존의 연구에서 지방정부의 정책이나 사업을 주관적 평가인 주민평가에 의한 접근방법이 적절한지에 대한 타당성 문제와 방법론상의 결함이 논란이 되었다(Stipark, 1979). 특히 주관적 평가의 경우, 지역주민들이 자치단체가 추진하는 사업이나 정책에 대한 지식이 부족하기 때문에 올바른 평가를 하기가 어렵다는 점이 지적되었다. 그러나 주관적 평가의 이러한 방법론상 문제는 보다 정교한 분석모형의 설정, 측정방법의 개선, 그리고 연구설계 및 분석수준의 향상으로 극복될 수 있다(Brudeney and England, 1982, 송건섭 외, 2004). 이러한 문제점을 보완하고 정확한 평가를 위해 사업에 직․간접적으로 개입한 진주시정책자문위원, 진주시업무평가위원, 진주시의원, 교수, 정당인, 언론기관, 시민단체(NGO), 사업 관련 전문가 등 진주시에 거주하는 해당 전문가를 대상으로 설문조사를 실시하였다. 전문가 선정에 있어서는 영역별 사업에 대하여 영향력이 있거나 인지도가 높은 전문가를 선정한 후 눈덩이 표출(snow-balling sampling)방법을 사용하였다. 아울러 25개 사업에 대한 객관적인 평가를 위해 각 부문별로 전문가를 각각 10명씩 선정하여 패널을 구성하였다. 이와 같이 선정된 전문가들의 개별 사업에 대한 평가 결과를 합산하여 평균을 구하는 방법으로 각각의 사업을 평가하였다. 예를 들어 도시체계 분야에 선정된 10명의 전문가는 각자 도시체계와 관련된 5개 사업(천수교 가설 및 접속도로 확장공사, 나불천 복개사업, 시청사 이전 사업, 말티고개 도로확장 사업, 희망교 건설 사업)에 대해서만 평가하였으며, 10명의 전문가들의 평가 결과를 종합하여 각 사업의 성과를 측정하는 방식으로 이루어졌다.

4. 자료수집 방법 및 표본의 특성

본 연구의 자료수집은 2008년 6월 16일부터 25일까지 10일간 실시하였으며, 설문조사는 방문조사 및 배포조사를 활용하였다. 본 연구에서는 연구의 분석모형에 따라 자료의 분석은 다중회귀분석을 활용하였다. 또한 각 사업별 성과의 정도를 측정하기 위해 기술통계를 활용하였고, 표본의 특성을 살펴보고자 빈도분석을 이용하였으며, 다중회귀분석에 앞서 변수간의 관계를 살펴보기 위해 상관관계분석을 실시하였다. 이와 같은 통계적 분석은 사회과학 통계 패키지 SPSS12.0을 통해 이루어졌다. 한편, 본 연구에서의 최종분석 단위는 진주시의 25개 주요 사업이다.

1995년 이후 이루어진 진주시의 25개 주요 사업에 대한 평가를 담당한 각 부문별 전문가들의 인구사회적 특성은 <표 1>에 제시되어 있다. 전체 5개 부문에 각각 10명의 전문가를 구성하는 방식으로 이루어진 패널 구성 방법에 따라 총 50명의 전문가 집단을 구성하였으며, 이들의 특성을 살펴보면 다음과 같다. 먼저 성별로는 남성이 41명(82%), 여성이 9명(18%)으로 여성에 비해 남성이 매우 높은 비중을 차지하였다. 연령별로는 40대가 24명(48.0%)로 가장 많았고, 다음으로 50대가 17명(34.0%), 30대 이하가 7명(14.0%) 순이다. 학력별 분포에서는 대학원 이상의 학력을 가진 응답자가 30명(60%)로 매우 높은 비율을 차지하였으며, 다음으로는 대졸이 19명(38.0%)로 나타났다. 이러한 결과는 전문가 집단을 대상으로 대상자를 선정하였기 때문에 나타난 현상이라 판단된다. 직업별 분포를 보게 되면, 교수가 18명(36.0%)로 가장 많았고, 다음으로 시민단체 간부 10명(20.0%), 지방의원 8명(16.0%) 순이다. ‘기타’ 직업에는 언론인과 문화인, 사회복지 관련 전문 종사자 등이 포함되었다. 이상과 같이 표본이 구성되는 것은 분야별 전문가 집단을 대상으로 평가이기 때문에 나타난 결과라 할 수 있다.

<표 1> 표본의 특성

구 분		표본수	퍼센트	누적 퍼센트	구분		표본수	퍼센트	누적 퍼센트
성별	남 자	41	82.0	82.0	학력	고졸이하	1	2.0	2.0
	여 자	9	18.0	100.0		대졸(대재포함)	19	38.0	40.0
	합 계	50	100.0			대학원이상	30	60.0	100.0
						합 계	50	100.0
연령	30대 이하	7	14.0	14.0	직업	교 수	18	36.0	32.0
	40대	24	48.0	62.0		경제단체(경영인)	2	4.0	40.0
	50대	17	34.0	96.0		시민단체	10	20.0	60.0
	60대 이상	2	4.0	100.0		지방의원	8	16.0	76.0
	합 계	50	100.0			정당인	4	8.0	84.0
						기 타	8	16.0	100.0
						합 계	50	100.0

5. 측정도구의 타당도 및 신뢰도

본 연구에서의 독립변수와 종속변수에 대한 자료의 수집방법은 1차 자료의 활용과 설문조사를 통해 이루어졌다. 독립변수 가운데 예산과 사업 소요시간에 대한 자료는 주로 ｢시정백서｣ 등을 통해 수집하였고, 그 외의 나머지 변수에 대한 자료는 모두 설문조사를 통해 구하였다. 본 연구에서의 설문지는 각 사업별로 총 25개 항목으로 구성하였으며, 독립변수에 대한 설문은 단일 항목으로, 그리고 종속변수에 해당하는 정책단계별 성과는 다항목으로 구성하였다. 다항목으로 구성된 각 단계별 성과에 관한 설문지 구성의 타당도와 신뢰도를 측정하기 위해 요인분석과 신뢰도 분석을 실시하였다.

<표 2> 요인분석 및 신뢰도 분석결과

구 분		성 분			공통성	신뢰도분석
		1	2	3
정책 형성	정책목표의 시정발전상과의 부합도	.032	.854	.248	.792	.8175
	정책목표의 환경변화에 대한 대응도	.363	.727	.262	.729
	정책목표의 명확성	.396	.730	.138	.709
정책 집행	세부집행안의 충실도	.612	.507	.194	.669	.8694
	사업 집행에 따른 여론 수렴정도	.679	.183	.238	.550
	계획에 따른 사업의 추진정도	.760	.161	.170	.632
	시행과정의 효율성	.654	.375	.250	.631
	시행과정에서 상황변화에 대한 대응도	.718	.344	.150	.655
	집행과정의 홍보 정도	.741	.045	.291	.636
결과 평가	목표의 달성도	.487	.377	.499	.628	.8447
	정책의 효과성	.272	.342	.823	.868
	정책효과의 형평성	.283	.172	.866	.859
고유값		6.385	1.086	.889

그 결과 <표 2>에서와 같이 설문구성에서 문제가 없음을 확인할 수 있다. 또한 측정도구의 타당도를 검증하기 위한 요인분석의 경우, 주성분 분석에 따른 베리멕스 회전 방식을 택하였는데, 본래 연구자가 목적한 바와 같이 정책형성과 관련하여 3가지의 설문문항(설문문항 번호 10, 11, 12)이 ‘요인 2’로, 정책집행에 있어서는 6개의 문항이 ‘요인 1’로, 결과평가의 측정과 관련해서는 3개의 문항이 ‘요인 3’으로 묶인 것을 볼 수 있다. 한편, 측정도구의 신뢰도를 살펴보기 위해 실시한 신뢰도분석 결과, Cronbach의 신뢰계수가 모두 0.8이상으로 매우 높은 신뢰수준을 보여주고 있다. 그러므로 본 연구에서 진주시 주요 사업의 성과를 측정하기 위한 설문지의 구성은 통계적으로 문제가 없음을 확인할 수 있다.

Ⅳ. 분석결과에 대한 논의

1. 정책과정 단계별 기술적 통계

1) 정책형성단계의 성과

정책형성은 정책목표와 관련한 시기의 적합성과 적절성, 내용의 구체성과 명확성 등을 평가하는 것으로 본 연구에서는 정책 또는 사업목표의 부합성, 진주시 내․외부 환경변화에 따른 대응성, 내용의 구체성과 명확성 등을 항목으로 구성하여 5개 부문을 각 사업별로 평가하였다. 본 연구에서 분석대상으로 선정된 25개 사업의 정책형성 과정에 대한 평가 결과, 천수교 건설, 농산물 도매시장, 광역쓰레기 매립장, 남강 친자연형 하천조성, 노인전문요양원, 노인복지타운, 바이오21센터 등이 우수한 평가를 받았고, 나불천 복개, 시청사 이전, 종합실내체육관 및 수영장, 종합경기장 건설, 재래시장 경쟁력 강화, 청소년문화회관 등이 상대적으로 낮은 평가를 받았다.

이상의 결과를 다시 부문별로 세분화하여 살펴보면, 지역경제 부문의 경우에 농산물도매시장 건립사업(평균 3.85)이 다른 4개 사업에 비해 높게 평가되었다. 이는 농산물도매시장 건립과 관련하여 사업 추진 당시 진주시의 발전상과 부합했으며, 내․외부 환경변화에 적절히 대응했다는 것을 의미한다. 그 다음으로는 생물산업 육성에 따른 바이오21센터 구축사업(평균 3.76), 진주시의 취약한 산업기반을 구축하기 위한 지방산업단지 조성사업(평균 3.46) 순으로 나타났다. 도시체계 부문에서는 천수교 가설사업(평균 3.88)이 정책형성 단계에서 성과가 가장 좋은 것으로 나타났고, 그 다음으로는 희망교 건설사업(평균 3.55), 말티고개 도로 확장사업(평균 3.33) 순으로 나타났다. 그러나 나불천 복개공사(평균 2.62), 시청사 이전 사업(평균 2.59)의 경우에는 정책형성 단계에서 성과가 낮은 것으로 평가되었다.

문화․관광 부문에 있어서는 남강유등축제가 정책형성 단계에서 긍정적인 평가를 받은 가운데 남가람 문화거리 조성사업(평균 3.03)과 남강 관광테마거리 조성사업(평균 3.00) 은 중간 수준인 것으로 나타났다. 환경부문에서는 광역쓰레기 매립장 건설사업(평균 3.83), 남강 친자연형 하천조성사업(평균 3.83), 공중화장장 및 납골당 건립사업(평균 3.66) 등이 정책 개입 시기나 사업 목표 등이 구체적으로 제시된 우수한 사업으로 평가되었다. 보건․복지 부문에서는 노인전문요양원 건립사업(평균 3.83), 노인복지타운 건립사업(평균 3.77) 등이 시기의 적절성 및 사업 추진 당시 진주시의 여건 및 발전상에 부합된 사업으로 평가되었다. 특히 노인복지타운의 추진 시점인 1995년 전후는 한국사회가 복지정책에 관심을 가지고 정부 차원에서 적극적으로 사업을 추진한 시기였고, 2000년을 기점으로 고령화 사회가 되면서 노인문제에 적극적으로 대응하였기 때문에 이러한 사업에 대한 정책형성 단계의 성과가 나타난 것으로 판단된다.

2) 정책집행단계의 성과

정책집행은 추진 정책 및 사업계획을 구체화하는 활동으로 일정에 따른 세부계획의 추진, 집행과정의 여론 수렴 및 홍보, 시행과정의 효율성 및 적실성 등을 의미한다. 이러한 평가지표를 통해 사업부문별로 정책집행 단계의 성과 여부를 분석하였다. 전체적으로는 25개 사업 전체의 평균이 2.85로 중간값인 3.00미만으로서 전문가들의 평가가 부정적이었다. 특히, 문화․관광 분야 사업 중 나불천 복개공사, 종합경기장 건설과 종합실내체육관 및 수영장 건설에 대한 평가가 낮게 나타났다. 그러나 바이오21센터, 농산물 도매시장, 광역쓰레기 매립장, 상수도불소화사업, 공동화장장 및 납골당은 긍정적인 평가를 받았다.

한편, 각 부문별 사업을 구체적으로 살펴본 결과, 지역경제 부문의 경우 바이오21센터 구축사업(평균 3.33), 농산물도매시장 건립사업(평균 3.27), 실크전문단지 조성사업(평균 3.05) 등은 집행단계에서 다소 긍정적인 것으로 평가되었다. 그러나 지방 산업단지 조성사업(평균 2.85), 재래시장 경쟁력 강화사업(평균 2.80)에 대한 평가는 다소 부정적이었다. 도시체계 부문에서는 천수교 가설사업(평균 3.05)을 제외한 나머지 4개 사업에 관하여 관련 전문가들은 집행단계에서 부정적으로 평가하였다. 이러한 평가결과는 사업 추진과정에서 구체적인 세부계획의 부재, 사업일정 추진상의 지연, 사업 집행에 따른 홍보 부재 등에 기인한 것으로 판단된다. 이밖에 문화․관광 부문에 있어서는 5개 사업 모두 집행단계에서 성과의 수준이 낮은 것으로 나타났으며, 환경부문의 경우는 상수도불소화사업(평균 3.25), 공동화장장 및 납골당 건립사업(평균 3.22), 광역쓰레기 매립장(평균 3.19) 사업 등이 다소 긍정적이었다. 마지막으로 보건․복지 부문에 대한 전문가 집단의 평가 결과에서는 서부도서관 건립사업(평균 3.00)을 제외한 나머지 4개 사업 모두 성과의 수준이 낮았다.

3) 결과평가단계의 성과

결과평가 단계는 사업 추진 당시의 목표를 제대로 달성하였는가에 관한 것으로 사업의 성공여부를 진단하는 평가로 결과평가를 의미한다. 본 연구에서는 결과평가와 관련 평가지표로 목표의 달성 정도, 사업의 효과, 사업효과의 공평한 분배 등을 중심으로 평가하였다. 본 연구에서는 현재 진행 중인 사업에 대해서는 정책의 결과에 해당하는 결과평가에서는 제외하였다. 이렇게 제외된 8개 사업을 제외한 17개 사업 가운데 천수교 건설, 광역쓰레기 매립장, 농산물도매시장, 서부도서관, 노인복지타운은 긍정적인 평가를 받았으나 시청사 이전과 나불천 복개 사업은 부정적인 평가를 받았다. 이상의 분석결과를 부문별로 살펴보면, 지역경제 부문에서는 농산물도매시장 건립(평균 3.37)과 관련해서는 어느 정도 성과가 있는 것으로 평가된 반면에 바이오21센터 건립사업(평균 2.93)에 대해서는 성과의 수준이 낮은 것으로 평가되었다. 도시체계 부문의 경우는 천수교 가설(평균 3.62)에 대해서는 정책성과 단계에서 성가가 있는 것으로 평가된 반면, 나불천 복개공사(평균 2.74), 시청사 이전(평균 2.67) 사업은 목표 달성도가 낮을 뿐만 아니라 지역주민들에게 사업 결과에 따른 효과나 혜택이 골고루 돌아가지 않는 것으로 평가되었다. 문화․관광 부문에 대한 평가 결과에서는 남가람 문화거리 조성(평균 3.18), 남강 관광테마거리 조성(평균 3.08), 남강유등축제(평균 3.03) 관련 사업의 경우 보통 이상의 성과가 나타난 것으로 평가 되었다. 환경부문에 대한 전문가들의 의견은 광역쓰레기 매립장 건설(평균 3.38), 공동화장장 및 납골당 건립(평균 3.11), 남강 친자연형 하천조성(평균 3.00) 사업은 보통 이상으로 평가되었다. 보건․복지 부문에 있어서는 서부도서관(평균 3.33), 노인복지타운(평균 3.33), 노인전문요양원(평균 3.16)의 경우 일정한 성과가 있는 것으로 나타났다.

<표 3> 정책과정별 성과의 평가결과

부 문	사 업 명	표본	정책형성		정책집행		결과평가
			평균	표준편차	평균	표준편차	평균	표준편차
지역 경제	농산물도매시장	10	3.85	.242	3.27	.589	3.37	.633
	지방산업단지	10	3.46	.570	2.85	.791	-	-
	바이오21센터	10	3.76	.545	3.33	.437	2.93	.624
	실크전문단지	10	3.33	.737	3.05	.761	-	-
	재래시장 경쟁력 강화	10	2.96	.922	2.80	.804	-	-
도시 체계	천수교 건설	10	3.88	.500	3.05	.552	3.62	.512
	말티고개 도로확장	10	3.33	.577	2.74	.812	-	-
	나불천 복개	10	2.62	.824	2.37	.273	2.74	.702
	희망교 건설	10	3.55	.471	2.85	.614	-	-
	시청사 이전	10	2.59	.741	2.85	.523	2.67	.705
문화 ․ 관광	종합경기장 건설	10	2.96	.675	2.31	.481	-	-
	남가람 문화거리	10	3.03	.771	2.55	.527	3.18	.728
	남강유등축제	10	3.29	.857	2.98	.756	3.03	.675
	종합실내체육관 및 수영장	10	2.92	.909	2.40	.507	-	-
	남강관광테마거리	10	3.00	1.013	2.62	.930	3.08	.912
환경	광역쓰레기 매립장	10	3.83	.547	3.19	.798	3.38	1.272
	상수도불소화사업	10	3.11	.501	3.25	.431	2.83	.752
	공동화장장 및 납골당	10	3.66	.298	3.22	.611	3.11	.655
	남강 친자연형 하천조성	10	3.83	.349	2.97	.839	3.00	1.154
	가축 분뇨 공공처리시설	10	3.38	.443	-	-	-	-
보건 ․ 복지	서부도서관	10	3.41	.933	3.00	.670	3.33	.840
	노인복지타운(상락원)	10	3.77	.556	2.94	.504	3.33	.791
	노인전문요양원	10	3.83	.594	2.68	.519	3.16	.689
	청소년문화회관	10	2.97	.892	2.86	.702	2.86	.926
	어린이교통 및 청소년모험공원	10	3.36	.809	2.79	.769	2.94	.850
합 계		250	3.34	.771	2.85	.665	3.06	.271

참고: 진주시가 추진한 사업에서 정책집행 및 정책성과 부문에 ( - )가 의미하는 것은 현재 추진 중인 사업(8개 사업)으로써 집행 및 결과평가를 하는 것에 문제의 소지가 있기 때문에 본 분석에서 제외함.

지금까지 진주시 주요 정책 및 사업을 중심으로 정책형성, 정책집행, 결과평가 단계로 구분하여 각 단계에서 성과가 있었는지를 살펴보았다. 먼저 현재 사업이 종료된 17개 사업 중 정책형성, 정책집행, 결과평가 등 전체 단계에서 어느 정도 성과가 있는 사업으로 평가한 것은 농산물도매시장, 남강 관광테마거리 조성, 광역쓰레기 매립장, 서부도서관 건립사업인 것으로 나타났다. 또한 전체 평균을 보면, 정책형성 단계는 3.34, 정책성과 단계는 3.06으로 진주시 주요 사업에 대해 관련 전문가들은 어느 정도 성과가 있는 것으로 평가하였다. 그러나 정책집행 단계에서는 전체 평균이 2.85로 나타나 성과가 낮은 것으로 평가하였다. 따라서 집행단계의 성과를 향상시킬 수 있는 방안을 모색할 필요가 있다. 그 예로 주요 정책 및 사업과 관련하여 구체적인 세부 계획안을 재검토하고 사업추진 일정이 지연되었을 경우에 그 원인을 규명하여 사업의 지연 이유를 지역주민들에게 공개할 필요가 있다. 또한 재정적 자원이 충분히 확보되었는지, 외부 환경에 적절히 대응하였는지를 면밀히 검토해야 한다. 이밖에 정책집행을 담당하는 책임자는 정책 및 사업의 기본 취지, 사업 범위, 이해대상자의 갈등 여부 등을 재점검해야 만이 정책집행 과정에서 실패를 최소화할 수 있다.

2. 정책과정별 영향요인 검정

1) 상관관계 분석

본 연구의 분석모형에 따라 주요 개념변수들의 인과관계를 검증하기 위한 사전절차로서 상관관계 분석을 실시하였다. 다시 말해 정책과정인 정책형성 단계, 정책집행 단계, 결과평가 단계에 영향을 미치는 독립변수 간에 밀접한 선형관계를 가지고 있는가를 살펴보기 위해 Pearson의 상관계수를 통해 상관관계 분석을 실시하였다. 그 결과 본 연구의 종속변수에 해당하는 정책형성, 정책집행, 그리고 결과평가와 각 독립변수들 간의 상관계수는 모두 0.5이하로서 이후의 인과관계 분석을 위해 활용하고자 하는 다중회귀분석에서 다중공선성의 문제가 없고 각 요인간의 상호 독립성 가정이 충족되기 때문에 회귀분석을 실시하는데 있어 문제가 없음을 확인할 수 있다.

<표 4> 상관관계분석 결과

구분	X1	X2	X3	X4	X5	X6	X7	X8	X9	X10	X11
X1	1.000
X2	.042	1.000
X3	-.029	.902**	1.000
X4	.613**	.257	.071	1.000
X5	.648**	.442*	.324	.842**	1.000
X6	.302	.241	.141	.126	.299	1.000
X7	.101	.346	.432*	.023	.339	.103	1.000
X8	.295	-.056	-.036	.646**	.499*	-.446*	-.060	1.000
X9	.165	-.051	.021	.174	.069	.045	.345	.067	1.000
X10	.141	-.096	.002	.233	.200	.402*	.148	.164	.627**	1.000
X11	-.070	-.002	-.141	.324	.077	.068	.005	.065	.686**	.541**	1.000

** p<  0.01,  * p< 0.05

참고- X1: 문제의 복잡성, X2: 단체장의 의지, X3: 공무원의 헌신도, X4: 지역주민의 관심도 X5:언론의 관심도, X6: 지방의회의 협조, X7: 상급기관의 지원, X8: 시민단체의 관여, X9: 정책형성, X10: 정책집행, X11: 결과평가

2) 정책형성 단계의 영향요인

정책형성 단계의 경우에 회귀모형의 적합성에서 모형의 설명력을 나타내는 수정된 R2값이 .550로 나타나 독립변수 10개가 투입된 종속변수(정책형성 단계)의 전체 설명력이 55.0%로 비교적 높은 것으로 나타났다. 또한 정책형성 단계에 영향을 미치는 독립변수들의 상대적 영향력을 나타내는 표준화 계수(β)를 살펴보면, 정책형성 단계에 가장 많은 정(+)의 영향을 미치는 것은 상급기관의 지원인 것으로 나타났다. 다음으로는 지역주민의 관심도, 언론의 관심 및 주목도, 사업의 소요기간, 지방의회의 협조 순으로 정(+)의 영향을 미치는 것으로 분석되었다. 반면 예산액과 문제의 복잡성, 자치단체장의 의지, 공무원의 헌신도, 시민단체의 관여 등의 경우에는 통계적으로 유의미한 관계를 보이지 않았다. 따라서 상급기관으로부터 많은 지원을 받고, 지역주민과 언론의 관심도가 높을수록 정책목표 수립 시 목표의 적정성 및 적절성이 있음을 알 수 있다. 그리고 사업의 소요시간이 길수록, 지방의회와 협력적 관계를 형성 할수록 정책형성이 잘되는 것으로 나타났다.

그러므로 정책형성 단계에서는 지역주민을 비롯한 외부 환경에 많은 주의를 기울일 필요가 있다. 지역주민을 대상으로 한 공청회 및 간담회의 확대, 언론을 비롯한 다양한 홍보매체를 통한 시정계획의 안내 등이 이루어진다면 보다 우수한 정책형성이 이루어질 것으로 본다. 또한 다양한 사업을 주도적으로 전개하는 진주시는 진주시 의회와 협력적 관계를 형성할 필요가 있다. 이는 각종 사업의 목표 설정과 이를 달성하기 위한 수단의 선택에서 의회의 의견을 받아들임으로써 진주시의 여건에 맞는 방향으로 정책이 형성되어야 함을 의미한다. 상급기관의 지원을 받아내는 것 역시 올바른 정책형성을 위한 조건인 것으로 드러났다. 이는 경남도청과 중앙정부로부터 많은 예산지원을 받을수록 보다 적절한 수단을 선택할 수 있는 폭이 넓어지기 때문에 나타나는 당연한 결과인 것으로 보여진다.

<표 5> 정책형성의 영향요인

구 분		비표준화 계수		표준화 계수	t	유의확률
		B	표준오차	베타
(상수)		4.076	1.917		2.126	.057
사업자체 요 인	사업기간	.391	.152	.443	2.571	.026
	예산규모	.342	.162	.400	2.108	.059
	문제의 복잡성	-.212	.253	-.221	-.839	.419
행정기관 내부요인	자치단체장의 의지	.888	.482	.951	1.842	.093
	공무원의 헌신도	.778	.477	.789	1.632	.131
	지방의회의 협조	1.307	.516	.854	2.534	.028
	상급기관의 지원	1.008	.251	.744	4.023	.002
행정기관 외부요인	지역주민의 관심도	1.475	.388	1.597	3.797	.003
	언론의 주목도	1.380	.464	1.539	2.974	.013
	시민단체의 관여	.154	.289	.228	.534	.604
Adj R2=.550 F= 3.571 p=0.024

3) 정책집행 단계의 영향요인

정책이 형성된 이후 이를 시행하는 집행단계에 어떠한 요인이 영향을 미치는가를 살펴보기 위해 실시한 다중회귀분석 결과, 회귀모형은 통계적으로 유의미하게 성립되며(F= 4.974 p=0.007), 본 연구에서 설정한 독립변수가 종속변수의 변화의 정도를 설명하는 모형의 설명력은 65.4%(Adj R2=.654) 이다. 구체적으로 집행과정에 통계적으로 유의미한 영향을 미친 변수는 지역주민의 관심도, 상급기관의 지원, 시민단체의 관여, 예산규모, 지방의회의 협조, 언론의 주목도이며, 이들 변수들은 모두 정책집행에 정(+)의 영향을 미치는 것으로 드러났다.

이상의 분석결과에서와 같이 정책집행에는 지역주민, 언론, 시민단체 등 행정기관 외부의 요인들이 많은 영향을 미치는 것을 확인할 수 있다. 그러므로 진주시는 정책의 집행과정을 지역주민들에 다양한 방법을 통해 공개하여야 하며, 현재 진행 중인 사업에 대한 외부 평가를 강화하여야 할 것이다. 또한 집행과정 역시 정책형성 과정과 마찬가지로 지방의회의 상급기관과의 관계 설정이 매우 중요함을 알 수 있다. 그러므로 이들과 유기적 협력관계를 형성하기 위한 다양한 노력이 있어야 할 것이다.

<표 6> 정책집행의 영향요인

구 분		비표준화 계수		표준화 계수	t	유의확률
		B	표준오차	베타
(상수)		3.630	1.129		3.217	.008
사업자체 요 인	사업기간	.104	.089	.176	1.165	.269
	예산규모	.271	.095	.474	2.844	.016
	문제의 복잡성	-.227	.149	-.353	-1.526	.155
행정기관 내부요인	자치단체장의 의지	.502	.284	.802	1.770	.104
	공무원의 헌신도	.404	.281	.610	1.439	.178
	지방의회의 협조	.574	.229	.927	2.513	.029
	상급기관의 지원	.762	.273	1.267	2.791	.018
행정기관 외부요인	지역주민의 관심도	1.609	.303	1.567	5.302	.000
	언론의 주목도	.363	.148	.399	2.462	.032
	시민단체의 관여	.478	.170	1.054	2.813	.017
Adj R2=.654 F= 4.974 p=0.007

4) 결과평가 단계의 영향요인

본 연구에서 주요한 종속변수라 할 수 있는 진주시 주요 정책의 성과에 어떠한 요인이 어느 정도의 영향을 미쳤는가를 분석하기 위해 다중회귀분석을 하였으며 그 결과는 <표 7>에 제시되어 있다. 아래 표에서와 같이 본 회귀모형은 통계적으로 유의미한 수준에서 성립되며(F= 12.896, p=0.000), 독립변수들이 종속변수인 정책성과에 미치는 영향력의 정도를 설명하는 회귀모형의 설명력은 87.2%(Adj R2=.872 )로 매우 높은 수준이다. 이와 같은 다중회귀 분석 결과를 구체적으로 살펴보면, 결과평가에서는 사업기간, 시민단체의 관여, 공무원의 헌신도, 자치단체장의 의지 순으로 통계적으로 유의미한 영향을 미치고 있다. 여기에서 사업기간은 사업자체에 소요되는 기간으로 자치단체가 통제할 수 없는 성격의 문제이기 때문에 이를 정책적 시사점으로 제공할 수는 없다. 그러므로 진주시의 경우 사업의 성과를 제고하기 위해서는 시민단체의 의견을 경청할 필요가 있고, 시장을 비롯한 공무원이 사업의 성과를 높이기 위해 더욱 헌신적으로 노력해야 할 것이다. 한편, 정책단계별로는 정책의 집행과정이 어떠했느냐가 정책의 성과에 많은 영향을 미치는 것으로 분석되었다.

<표 7> 결과평가의 영향요인

구 분		비표준화 계수		표준화 계수	t	유의확률
		B	표준오차	베타
(상수)		2.987	1.115		2.680	.025
사업자체 요 인	사업기간	.248	.079	.363	3.117	.012
	예산규모	.073	.090	.111	.814	.437
	문제의 복잡성	-.154	.115	-.208	-1.337	.214
행정기관 내부요인	자치단체장의 의지	.595	.236	.824	2.523	.033
	공무원의 헌신도	.646	.224	.847	2.885	.018
	지방의회의 협조	.751	.402	.635	1.871	.094
	상급기관의 지원	.038	.164	.036	.233	.821
행정기관 외부요인	지역주민의 관심도	.455	.247	.637	1.843	.098
	언론의 주목도	.091	.273	.131	.334	.746
	시민단체의 관여	.462	.160	.884	2.890	.018
정책단계	정책형성과정	.258	.142	.334	1.820	.102
	정책집행과정	.713	.241	.619	2.958	.016
Adj R2=.872 F= 12.896 p=0.000

지금까지 각 정책단계별 성과의 영향요인을 다중회귀분석을 통해 살펴보았다. 이상의 결과를 정리하면, 정책의 형성과 집행 단계에는 다른 요인보다 외부적 요인이 상당부분 작용하는 것으로 나타났다. 또한 내부 요인 가운데도 진주시 외부에 있는 상급기관과 지방의회의 관계가 주요변수인 것으로 분석되었다. 그러므로 진주시는 정책형성과 집행과정에서 지역주민을 비롯한 외부기관과 어떻게 협력적 관계를 형성하고, 이들의 의견을 받아들여 정책과정에 어떻게 투입할 것인가에 대한 보다 심도 있는 고민과 노력이 있어야 할 것이다. 정책의 성과는 다른 요인들보다 진주시장을 비롯한 공무원들이 정책의 성공을 위해 어느 정도의 의지를 가지고 있고, 이를 실현시키기 위해 어느 정도 헌신 하느냐에 따라 달라짐을 확인할 수 있었다. 그러므로 진주시의 경우 사업의 성과에는 다른 무엇보다 자치단체장이 얼마나 중요한 위치에 있고, 자치단체장이 어떠한 태도를 가지느냐가 얼마나 중요한가를 이상의 분석을 통해 확인 할 수 있다.

Ⅴ. 결론 및 정책적 함의

지방정부에 대한 성과평가는 자치단체의 강점과 약점의 파악을 통해 주민들에게 질 높은 공공서비스를 제공할 수 있다는 측면에서 매우 중요시 되고 있다. 또한 지방정부에 대한 성과 평가는 정부 서비스의 수준 측정을 통해 지방정부의 역량 강화를 위한 방안을 마련할 수 있고, 향후 정책의 목표 설정과 집행과정에서 효율성을 제고할 수 있는 처방을 제시할 수 있다는 측면에서 매우 실용적이라 할 수 있다. 그러나 지금까지 공공부문의 성과평가에 대한 논의는 주로 중앙정부와 공기업을 대상으로 이루어져 왔고, 지방정부의 성과를 평가할 수 있는 분석 모델에 관한 연구는 미진한 상태이다. 이에 따라 많은 자치단체는 내부적인 자체평가를 통해 완료되었거나 집행중인 정책을 평가함으로써 객관성을 담보하지 못한 한계를 가지고 있다.

본 연구에서는 이러한 제반 문제를 극복하고 지방정부의 성과평가를 위한 모델 및 분석방법을 제시하고자 경상남도 진주시를 사례로 선정하여 분석을 시도하였다. 본 연구에서는 정책의 성과를 정책과정에 따라 정책형성, 정책집행, 그리고 정책의 결과라 할 수 있는 결과평가로 구분하여 개별 사업의 성과를 단계별로 평가하였으며, 이렇게 평가된 결과를 바탕으로 왜 이러한 결과가 나오게 되었는가에 관한 인과관계를 분석하였다. 한편, 본 연구에서는 1995년 민선자치단체장 시대의 출범 이후 이루어진 다양한 진주시 사업 가운데 지역경제, 도시체계, 문화관광, 보건복지, 환경 등 5개 부문의 25개 사업을 선정하여 각 부문별 전문가 집단을 구성하여 성과를 평가하였다.

이와 같은 방식을 통해 분석된 결과를 정리하면, 전반적으로 정책형성 과정에 대한 전문가들의 평가는 다소 긍정적이었으나 정책집행 과정은 전반적으로 성과평가 결과가 다소 낮게 나타났다. 여기서 정책형성 단계와 정책집행 단계의 경우에 광역쓰레기 매립장, 천수교 가설, 농산물 도매시장, 바이오21센터, 공동화장장 및 납골당 등은 정책형성과 정책집행 모두에서 긍정적인 평가를 받았다. 하지만 나불천 복개사업과 시청사 이전사업, 종합경기장 건설사업과 종합실내체육관 및 수영장 건설 사업은 다소 낮은 평가를 받았다. 특히 종합경기장 건설 사업은 95년 기본 구상을 한 후 2006년에 본격적으로 사업이 추진되었다. 그러나 부지선정 및 예산 확보 등 사업 자체가 지연됨으로써 정책형성 단계 및 집행 단계에서 낮은 평가를 받은 것으로 판단된다. 정책은 시간의 제약을 받기 때문에 정책형성 과정에서 시간적 변수를 우선적으로 고려하여 당면 문제나 잠재적 문제를 규명하여 이를 해결할 수 있는 대안을 제시해야 한다. 따라서 정책은 적기(timeliness)에 형성하지 못하면 실패할 가능성이 높다. 또한 정책이 형성단계에서 집행단계로 진입하게 되는데 계획된 기간에 사업이 수행되지 못하면 정책이 실패할 수 있기 때문에 정책결정자는 정책의 성공을 위해서 조직 내․외부 환경변화에 적절히 대처할 필요가 있다.

앞에서 제시한 결과를 중심으로 그 원인을 분석하고 향후 진주시의 성과를 제고하기 위한 방안을 마련하기 위해 실시한 인과관계 분석 결과를 정리하면 다음과 같다. 먼저, 정책의 형성과 집행 단계에서의 성과는 진주시 자체의 요인보다는 지역주민, 언론, 시민단체, 상급기관, 지방의회 등 외부적 요소에 의해 일정한 영향을 받는 것으로 분석되었다. 그러나 정책의 결과라 할 수 있는 정책의 전반적인 성과의 경우에는 외부적인 요인보다 진주시 자체의 요인, 즉 자치단체장의 의지와 공무원의 헌신도에 따라 달라지는 것으로 나타났다. 그러므로 진주시는 정책의 형성과 집행과정에서 지역주민, 언론, 시민단체 등 외부기관의 목소리에 귀를 기울여야 할 것이며, 상급기관 및 지방의회와의 유기적 협력 관계를 형성해야 할 것이다. 진주시가 2006년 중앙정부 및 도 단위의 교섭활동을 통해 국․도비를 추가로 확보한 것은 외부기관과의 협력관계가 얼마나 중요한지를 보여 주는 주요 사례다.

또한 전체적인 성과의 제고를 위해서는 무엇보다 자치단체장의 리더십이 요구된다 할 것이다. 이를 위해서 자치단체장은 관리적 측면과 정치적 측면에서 강한 리더십을 가져야 하는데 관리적 측면에서는 적절한 내부 통제방법을 고안해 정책집행의 효율성을 높이고, 공무원들의 사기를 앙양하는 차원에서 사업의 집행 및 성과관리를 위한 평가를 통해 적절한 인센티브를 제공할 필요가 있다. 정치적 측면에서는 필요한 인적․물적 자원을 확보하고 상급기관과의 원만한 교섭을 통해 지원을 받는 동시에 각종 정책 및 사업에 관여하는 여러 이익집단과의 협상과 조정을 수행하며, 대상 집단의 저항을 무마시키는 능력을 가져야 할 것이다.

본 연구에서 활용한 성과평가 방법은 전문가 집단을 중심으로 한 주관적 방법이다. 그러므로 전문가 개인의 편향이 결과에 반영될 수 있는 가능성이 있음을 인정한다. 또한 정책단계별 인과관계 분석에서의 결과는 진주시를 대상으로 한 단일사례이기 때문에 그 결과를 전국적인 현상으로 일반화 하는데 일정한 한계가 있다. 또한 분석의 자료로 활용한 25개 사업이 어떻게 선정되었는지에 대해서도 이의를 제기할 수도 있다. 그러나 본 연구는 지금까지 등한시 되어온 지방자치단체의 정책을 평가 할 수 있는 모델과 분석 방법을 제시하였다는 측면에서 일정한 학문적 기여를 하였다고 판단된다. 한편, 이상의 분석결과에 대한 해석을 풍부히 하고, 보다 체계적이고 일반화된 성과평가를 위해서는 향후 전문가 중심의 심층 면접이 요구된다 할 것이다.

참 고 문 헌

김명수. (2000). ｢공공정책평가론｣, 서울: 박영사.

김시영․김규덕. (1996). 지방정부 공공서비스의 성과평가모형에 관한 소고. ｢지방자치연구｣, 8(3): 121-147.

김영기. (1992). 공공서비스 성과에 대한 수혜자 평가의 결정요인. ｢한국행정학보｣, 26(1):       165-182.

김재흥․조경호. (1995). 지방정부 행정서비스에 대한 시민의 의식과 평가: 울산시를 중심으로. ｢한국행정연구｣, 4(2): 133-154.

김주환․이윤식․제갈돈․제갈욱․박병식. (2006). 우리나라 평가시스템의 내실화 방안에 관한 연구. ｢한국정책과학학회보｣, 10(1): 171-196.

김준한. (1999). 정책평가 개념의 재정립. ｢한국행정학보｣, 33(4): 225-241.

김지원. (2000). 지방자치단체의 정책평가를 위한 평가지표의 개발에 관한 연구. ｢정책분석평가학회보｣, 10(2): 1-26.

김호섭․박병식․박영미․김재훈. (2002). 지방행정 서비스 성과측정을 위한 지표: 복지행정서비스를 중심으로. ｢한국사회와 행정연구｣, 12(4): 3-26.

김희경․문상호. (2006). 관세행정서비스의 성과평가: DEA와 SURVEY방법론을 적용하여. 2006년도 한국행정학회 추계학술대회 발표논문.

노시평․박희서․박영미. (2006). ｢정책학의 이해｣, 서울: 비․앤․엠․북스.

라휘문․한표환. (1999). 지방자치단체의 성과평가를 위한 지표개발. ｢한국정책학회보｣, 8(2): 93-114.

라휘문. (2004). 정부업무평가제도의 현황과 과제: 통합운영모형 구축을 위한 시론적 연구. 정책분석평가학회 동계학술대회 proceeding paper.

목영만. (2008). 지방자치단체 통합평가 추진방안. 2008년도 한국행정학회 하계공동학술대회 발표논문, 179-192.

민경엽. (2001). 기초자치단체 행정서비스의 주민만족도에 관한 연구: 송파구를 중심으로. 성균관대학교 박사학위논문.

박기관. (2001). 지방정부의 행정성과평가 및 적용모형에 관한 연구: 시․군 성과 및 노력도 지표를 중심으로. ｢한국지방자치학회보｣, 13(1): 63-84.

박재완. (1999). 지방자치단체의 성과지표 개발: 논점과 예시. ｢한국지방자치학회보｣, 4(1): 159-178.

박중훈. (1999). ｢결과중심의 성과측정 및 성과관리체제에 관한 연구｣, 서울: 한국행정연구원.

박희정․박해육. (2005). 지방자치단체 자체평가모형에 관한 연구. ｢정책분석평가학회보｣, 15(1): 113-144.

송건섭․이곤수. (2004). 광역자치단체의 성과 평가: DEA와 SURVEY방법론을 적용. ｢한국행정학보｣, 38(6): 179-200.

송건섭․이곤수․윤종갑. (2005). 성과평가 관리시스템 구축과 적용: 기초자치단체를 중심으로.｢정책분석학회보｣, 15(1): 57-85.

오세윤. (2007). 환경행위자가 행정기구의 성과에 미치는 영향분석. ｢지방정부연구｣, 11(1): 29-50.

양기용․김상묵. (1998). 행정서비스 성과평가제도의 도입과 적용: 경기도의 경험과 교훈. ｢한국정책학회보｣, 7(3): 11-30.

우동기. (1996). 지방자치단체 경영진단 모형개발을 위한 시론. ｢지방자치연구｣, 8(2): 79-107.

이광희. (2004). 한국 도시정부 성과의 결정요인 분석. ｢한국행정학보｣, 38(2): 63-86.

이세구. (2003). 성과주의 예산제도 도입에 따른 지방자치단체의 통합성과관리방안-서울시 사례를 중심으로. ｢한국지방재정논집｣, 8(1): 135-162.

이윤식. (2007). 우리나라에 있어서 성과관리를 위한 평가의 개성방안에 관한 연구: 중앙부처사례를 중심으로. ｢정책분석평가학회보｣, 17(3): 1-30.

이종원․김옥일. (2007). 정부 조직관리 평가시스템 개선방안 연구: 조직관리 성과평가 지표를 중심으로. 2007년도 한국행정학회 하계학술대회 발표논문.

이창기. (2005). 정부업무를 위한 성과지표개발방안. <정부업무 평가의 주요 쟁점>. 2005년도 한국정책분석평가학회 기획세미나. 5-29.

조연숙․이충정. (2005). 지방정부의 평가 및 성과관리 실태에 관한 연구: 전국 광역 및 기초자치단체를 중심으로. ｢정책분석평가학회보｣, 15(3): 161-184.

제갈돈․김주환․김흥률․이윤식. (2006). 성과관리를 위한 우리나라 평가지표체계의 개선방안에 관한 연구. ｢한국거버넌스학회｣, 13(2): 217-248.

제갈돈․제갈욱. (2008). 새로운 정부업무평가제도의 발전을 위한 개선방안 모색. ｢정책분석평가  학회보｣, 18(1): 65-99.

최창수 외. (2001). ｢평가기본법에 의한 지방자치단체평가모형｣, 서울: 한국지방행정연구원.

하미승. (2004). 정부 성과관리시스템의 문제점 진단과 개선방향: 통합화의 시각. ｢한국행정연구｣, 13(1): 235-273.

한국능률협회․한국지방행정연구원. (1999). ｢성과지표의 개발방안｣.

한표환․박희정. (1999). ｢지방자치단체 지역개발사업의 평가체계 및 기법개발｣, 서울: 한국지방행정연구원.

Ammons, D. N. (1995). Overcoming the Inadequacies of Performance Measurement in Local Government: The Case of Libraries and Leisure Services. Public Administration Review. 55(1): 37-47.

Anderson, J. E. (1984). Public Policy-Making, 3rd ed. New-York: Holt, Rinehart and           Winston.

Brudney, J. L and England. R. E. (1982). Urban Policy Making and Subjective Service Evaluation: Are They Compatible? Public Administration Review. 42(2): 127-135.

Dror, Yehezkel. (1968). Public Policy Making Re-examined, Pennsylvania: Chandle Publishing Co.

Epstein, P. D. (1992). Get Ready: the Time for Performance Measurement is Finally Coming. Public Administration Review. 52(5).

Hatry, P. H. (1980). Performance Measurement Principles and Techniques: An Overview for Local Government. Public Productivity Review. December.

Hatry, P. H. and Fisk, D. M. (1992). Measuring the Performance in the Public Sector, in M. Holzer(ed.), Public Productivity Handbook. New York: Marcel Decker, Inc.

Jones, C. O. (1984). An Introduction to the Study of Public Policy, 3rd ed. Monterey,          Calif.: Books/Cole Publishing Company.

Johnson, R. W. & Lewin, A. Y. (1984). Management and Accountability Models of Public Sector Performance, in Trudi C. Miller (ed), Public Sector Performance: A Conceptual Turning Point. pp. 224-250.

GAO. (2005). Performance Measurement and Evaluation: Definitions and Relationships.

Gnesemer, J. R. (1995). "The power of Performance management" in Accountability for Performance, David N Ammons(ed), Washington DC ICMA.

OECD. (1996). Perfoemance Auditing and the Modernization of Government, Paris: OECD.

Osborne, David & Ted, Gaebler. (1992). Reinventing Government. Reading, MA: Addison-Wesley.

Poister, T. H. (2003). Measuring Performance in Public and Nonprofit Organizations, Jossey-Bass: San Francisco, CA.

Rogers, S. (1990). Performance Management in Local Government. London: Longman.

Stipark, Brian. (1979). Citizen Satisfaction with Urban Services: Potential Misuses as a Performance Indicator. Public Administration Review. 39(1): 46-52.

Vinelli, Andris. (2000). Performance Management for Organizational Effectiveness: The Case of Microfinance Organizations, Paper prepared for the Annual Meeting of the Association of Policy Analysis and Management, November 2-4, 2000, Seattle, Washington.

Wholey, J. S. and Hatry, H. P. (1992). The Case for Performance Monitoring. Public           Administration Review. 52(6): 604-610

.

한동효(韓東孝): 경상대학교에서 행정학 박사학위를 취득하고 현재 한국국제대학교 경찰행정학부 조교수로 재직 중이다. 관심분야는 전자정부, 지식관리와 혁신관리, 복지정책 등이다. 저서로는 현대행정관리론(공저, 2004), 정부인사혁신론(공저, 2007) 등이 있다. 논문으로는“구조방정식모형(SEM)을 이용한 지방공무원의 지식공유 영향요인 분석(2007)”,“지방정부간 행정자치구역의 통합에 관한 연구(2008)”, “고령화 사회의 노인범죄 추이와 영향요인 연구(2008)”등이 있다.

<E-mail: hdh8859@hanmail.net/논문접수일: 2009. 1. 6/심사개시일: 2009. 1. 21/심사완료일: 2009. 2. 2>

민병익(閔丙翼): 경상대학교에서 행정학 박사학위를 취득하고 Auburn University에서 행정학 박사과정을 수료하였으며 현재 경상대학교 행정학과에서 전임강사로 재직 중이다. 관심분야는 정부예산론, 장․ 차관론, 지역 정책 등이다. 최근 논문으로는“정부의 내외적 환경에 따른 역대정부의 장관임명 유형에 관한 연구(2007)”, “지방정부의 정책결정 소요시간 분석(2007)”, “주거만족과 주택가격간의 관계분석(2008)” 등이 있다.

<E-mail: min@gnu.ac.kr>

김영기(金渶淇): 부산대학교에서 행정학 박사학위를 취득하고 현재 경상대학교 행정학과 교수로 재직 중이다. 관심분야는 주민소환과 주민발의, 뉴잉글랜드 타인미팅 등 직접민주제 등이다. 주요 저서로는“한국의 주민소환제- 양날의 칼, 어떻게 쓸 것인가(2007년 한국지방자치학회 저술부문 학술상 수상, 2007년 경상남도문화상 학술부문 수상), 지방자치제의 이해(1999) 등이 있다. 현재는 한국의 주민발의제를 집필하고 있다.

<E-mail: kykjjs@hanmail.net>

오재동(吳在東): 경상대학교에서 행정학 박사과정을 수료하고 현재 한국국제대학교 경찰행정학부에서 강의전담 교수로 재직 중이다. 주요 관심분야는 지방의회제, 성과평가(BSC), 지역혁신 등이다. 저서로는 자치구역개편론(공저, 2007), 행정서비스 품질평가(공저, 2008) 등이 있다.

<E-mail: gcdi5884@naver.com>