사회복지관서비스의 성과평가에 관한 경험적 연구:

｢지방정부연구｣ 제10권 제1호(2006 봄) : 205～222

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

효율성‧만족도 차원의 연계모형을 중심으로

An Empirical Study on Performance Evaluation of Social Welfare Center Service:

Focusing on  Integrated Model of Efficiency and Satisfaction Level

송 건 섭(대구대학교 행정학과)

본 연구는 사회복지관서비스 평가에서 있어서 효율성 차원과 만족도 차원을 연계한 평가모형을 구성하고, 이를 이용하여 대구시 사회복지관서비스 평가에 적용하였다. 사회복지관서비스 성과평가에 관한 연계모형은 시스템 이론에 입각하여 제시된 것으로 양적 혹은 질적 측면의 단일평가에서 오는 한계를 보완하고 편견을 시정해 주는 역할을 할 수 있을 것이다. 연계모형에 의한 효율성 평가는 DEA방법을, 만족도 평가는 SURVEY를 통해 분석하였다. 분석결과, 사회복지관서비스에 대한 효율성 평가와 만족도 평가결과에는 불일치가 존재하고 있으며, 사회복지관서비스의 효율성은 보통이상으로 높으나, 만족도는 보통이하로 낮게 평가되었다. 따라서 사회복지관의 효율성을 향상하기 위해서는 운영관리의 합리화를 마련해야 하며, 만족도를 제고하기 위해서는 프로그램 개발 및 활성화, 프로그램에 맞는 홍보전략 및 체계적인 교육을 통한 자원봉사지도 및 활동, 서비스 질을 개선해야 한다.

주제어: 사회복지관서비스, 성과평가, 효율성, 만족도, DEA모형

Ⅰ. 서  론

그동안 공공서비스는 주로 중앙정부와 지방정부에 의해 제공되어 왔으나, 정부실패, 재정상의 한계 등으로 모든 공공서비스를 정부부문에서 감당하는 데는 무리가 있다. 또한 공공서비스에 대한 주민의 요구가 증대되는 가운데, 새로운 서비스에 대한 수요가 급증하게 되었다. 이러한 시점에서 정부부문의 기능을 보완할 수 있는 제3의 부문, 즉 준공공부문의 역할이 필요하게 되었다.

준공공부문은 정부부문이나 민간부문 그 어느 것에도 속하지 않는 부문이며, 양자가 중첩되어 이중적인 성격을 갖고 있는 부문으로 이해하면 된다(Salamon, 1981: 255-275; 최병선, 1993: 208; 강환세, 2004). 존공공부문은 공공서비스를 제공함에 있어서 상충적이고 이중적인 부분을 조정하는 역할을 수행할 뿐만 아니라 정부의 서비스를 지원하거나 다른 조직과의 협력을 통해 공공서비스 공급의 원활화에 기여하고 있다. 특히 현재 정부는 공공부문의 민간부문으로의 이양 즉 준공공부문의 강화라는 방향전환을 추진하고 있으며, 공공부문의 개혁을 통해 공공서비스의 민영화, 독립기관화, 기업가적 정부 등의 형태로 탈바꿈하고 있으며, 효율성을 향상시켜야 한다는 인식이 확산되고 있다. 이러한 시점에서 과연 현재 준공공부문은 어느 정도의 효율성을 가지고 있는가라는 문제는 매우 중요한 측면일 것이다. 준공공부문 조직은 여러 기준에 의해 다양하게 분류될 수 있는데, 사회복지관은 바로 중간부문조직이라 할 수 있다.

조직특성, 기능의 공공성 정도, 정부의 지원과 규제정도 등을 기준으로 공단, 공사와 같은 준정부부문조직, 적십자사, 사회복지관 등과 같은 중간부문조직, MCA, 환경운동연합 등과 같은 준민간조직으로 분류한다(이희태, 1998: 26).

사회복지관은 복지사회로의 새로운 패러다임의 전환, 자원의 효율적 배분 및 활용, 생산적 복지정책으로의 변화되는 시점에서 사회복지 전문서비스의 중심적 전달체계로서 민‧관 파트너십에 있어 핵심적 기관으로서의 위상을 확보하여 주민참여와 연대의 거점이라는 역할을 수행하고 있다(강환세, 2004). 그러나 사회복지관이 양적으로 급격하게 팽창하고 또한 그 역할 면에서도 저소득층의 자립과 주민복지증진이라는 목표를 가지고 지역사회의 최일선에서 복지제공의 중추적 역할을 담당하고 있음에도 불구하고 사회복지관은 그 운영의 책임성과 효과성의 문제에 있어 비판적인 견해들이 존재하고 있다.

사회복지관서비스의 성과평가에 관한 경험적 연구

｢지방정부연구｣ 제10권 제1호(2006 봄)

사회복지관이 정부와 민간의 지원을 받아 서비스를 제공하고 있는 만큼 수혜자와 정부, 그리고 사회에 책임성 있게 기관의 효율성과 만족성을 평가하는 것이 필요하다. 그러나 사회복지관 평가가 평가활동의 결과에만 중점을 둔 사후 보고에만 치중되어, 평가이후 결과가 어떻게 활용되고 있는지에 대해서는 평가를 실사하는 정부나 평가받는 시설 모두 큰 관심을 두지 않았다(임성옥, 2003: 261-296). 뿐만 아니라 사회복지시설에 대한 평가기준과 평가과정상의 객관성의 결여 등의 문제(이선우‧최상미, 2000: 133-154; 문경주‧강성철, 2004: 333-362), 평가지표의 타당성문제(최재성, 2000) 등 많은 문제점들을 노출해 왔다.

서울시 사회복지관 평가의 경우 현장에서 실무자들이 집단적으로 평가를 거부하여 운동까지 전개되었다(임성옥, 2001:261-296). 이처럼 사회복지시설 평가가 책임성 제고 및 서비스 질 개선이라는 목적을 달성하기 위해 많은 노력과 자원을 투입하였으나, 그 소기의 목적을 달성하지 못하고 있다면 평가활동 자체에 문제가 있다는 것을 의미한다.

따라서 사회복지관에 대한 성과평가를 객관적으로 평가할 수 있는 명확한 지표나 평가방법이 정립되어야 하며, 이를 보완할 수 있는 지역주민들에 의한 만족도 평가도 동시에 수반되어야 한다. 또한 사회복지관의 성과를 제대로 평가하기 위한 객관적 측면과 주관적 측면의 평가방법을 연계한 모형과 각 평가방법별 통일한 지표개발이 필요하다.

이러한 사회복지관 성과평가의 필요성과 문제점을 고려하여 본 연구의 목적은 사회복지관 성과평가를 위한 연계모형을 구성하고, 이를 대구광역시 사회복지관 성과평가에 적용하여 시사점을 제시하는데 있다.

Ⅱ. 사회복지관 성과평가에 관한 이론적 논의

1. 사회복지관 성과평가와 선행연구

사회복지부문에서 평가에 대한 본격적인 관심은 서울시가 1996년부터 서울지역의 사회복지관 평가를 실시하면서 시작되었으며, 1998년 사회복지사업법의 개정으로 사회복지시설은 3년마다 1회 이상 종사자의 전문성, 시설환경, 서비스 만족도 등에 대해 평가를 받도록 법제화됨으로써 사회복지분야의 현안으로 떠오르게 되었다. 그 이후 사회복지시설평가가 의무화되면서 1999년 한국보건사회연구원 주도하에 사회복지시설평가위원회가 구성되었고, 2001년까지 정부로부터 재정을 지원받는 대부분의 사회복지시설, 즉 사회복지관, 장애인복지관 및 아동복지시설, 노인복지시설, 장애인복지시설, 여성복지시설, 부랑인시설, 정신요양시설, 자활후견기관 등에 대한 평가가 실되었다. 이러한 법적근거에 기반 한 평가는 정부입장에서 보면, 공공자금에 대한 책임성 확보를 위한 노력이며, 서비스 이용자 입장에서는 적정한 양질의 서비스를 제대로 받고 있는지 확인하는 방편이기도 하다. 이처럼 평가를 통해서 그 기관의 구성원들이 보다 더 양질의 서비스를 제공하기 위해 필요한 정보들을 획득하는 것은 매우 중요한 작업이다. 또 이러한 정보를 바탕으로 조직성원들이 조직내부에서 스스로 ‘지속적인 질(quality) 개선’을 이루어 나가는 것이 바로 평가결과를 최적으로 활용하는 것이 된다.

이에 따라 사회복지시설 및 복지프로그램에 적합한 평가모형 개발이 집중적으로 이루어졌고(이번송‧김진욱, 1996; 조운희, 1998; 최재성, 1998; 변재관 외 2000), 정부에서는 1999년부터 한국보건사회연구원에 의뢰해 전국 사회복지시설을 평가하기 시작했다.

사회복지관에 대한 성과평가는 이미 수년전부터 평가모형이 개발되어 전국적 차원에서 시범평가가 이루어졌으며, 특히 서울시의 경우 매년 기관평가를 통해 지원금을 차등적으로 지원하고 있다(변재관 외, 2000: 194-195). 이러한 평가는 사회복지관의 의가결정자의 책임성을 높이고, 의사결정과정을 합리적으로 개선하는 기회를 제공한다. 결국 기관의 자원을 확보할 수 있는 능력을 강화시키며 자원을 보다 효율적으로 활용할 수 있게 하며 사회복지관이 보다 효과적이고 체계적이며 지속적으로 변화할 수 있도록 한다(이선우‧최상미, 2002: 135).

사회복지관에 대한 평가가 강조된 배경은 다음과 같은 사회‧경제적 환경변화들로  설명할 수 있다(손광훈, 2003: 118; 문경주‧강성철, 2004: 335). 첫째, 사회복지관 공급주체의 다원화로 기존 사회복지기관(시설)의 비효율적인 행태를 문제삼는 세력이 등장한 것이다. 1997년 경제위기 이후 사회복지부문에서는 제도화된 사회복지기관 밖의 외부세력인 종교기관과 시민단체를 중심으로 한 민간조직의 사회복지활동으로의 참여가 확대되었다. 이는 한국사회의 사회복지 총량을 확대시키는데 큰 기여를 한 것으로 여겨지지만, 한편으로는 제한된 예산과 대상을 놓고 경쟁하는 관계 속에서 기존의 기득권을 확보하고 있는 사회복지기관의 행태를 문제삼는 사례가 늘어나고 있다. 둘째, 1998년 사회복지사업법의 개정에 따라 사회복지기관(시설)은 최소한 3년에 1회 이상 평가받도록 제도화 된 것이다. 특히 평가를 통해 가시적이며, 측정가능한 목표를 강조하는 추세를 보이고 있다. 이와 같은 사회복지기관의 외부환경 변화는 사회복지기관이 책임성, 효율성에 근거하여 향후 운영기획을 마련해야 하는 상황을 조성하게 되었다.

사회복지관의 평가를 통해 기능과 역할에 대한 분명한 지향점을 제시해주고(강환세, 2004: 32), 사회복지관의 다양한 사업수행에서 발생되는 문제의 원인을 규명하여 효율적이고 효과적인 프로그램 운영을 유도할 수 있는 기회를 제공해 준다는 이점이 있다(황성철‧황혜경, 1999: 207). 뿐만 아니라 사회복지관 평가를 통해 지역주민과 고객들이 어느 정도 복지관 서비스에 만족하고 있는가에 관한 자료가 제시될 때 사회복지관은 정부와 지역사회에 대해서 책임성을 확보하고 신뢰성을 갖추게 될 것이다.

사회복지관 평가와 관련한 선행연구는 많지는 않지만, 최근 사회복지관 평가를 위한 지표체계개발, 평가모형구축에 관한 연구가 진행되고 있다. 우선 사회복지관 평가모형과 관련하여 전체적으로 검토하면, 크게 4개 연구로 구분해 볼 수 있다.

첫째, 1995년 서울시정개발연구원모형은 사회복지관에 대한 합리적인 보조금 지급방안을 위해 사회복지관 단순평가모형을 개발한 것이다. 이 평가모형의 문제점은 실적위주의 수량적 평가, 지표사이의 갈등, 지표내용 및 배점에 대한 비공개 등의 문제를 지적할 수 있다. 또한 대부분 수량적 지표로 구성된 평가영역의 평가기준은 사회복지관 전체 조직의 질을 제대로 반영하지 못하는 것으로 사회복지관 사업의 파행 및 왜곡을 초래할 수 있다는 문제점을 노정하고 있다.

둘째, 1998년 서울시 사회복지관협회에 의한 평가모형은 서울시가 사회복지관의 전문성과 책임성 증진을 목적으로 1996년도부터 실시해오던 사회복지관 평가사업의 지속사업의 일환으로 추진되었다. 사회복지관 평가는 100점 만점으로 산출하고 있으며, 그 계산방식은 노력성 20점, 서비스 질 20점, 공평성30점, 지역복지 자원동원능력이 20점, 지역사회관계가 10점으로 구성되어 있다. 또한 평가지표의 경우 정량적 또는 정성적 지표가 포함되어 있고, 자기평가기법을 사용하고 있는 것이 특징이다. 서울시 사회복지관협회의 평가지표는 일선 사회복지관의 의견을 일정정도 수렴한 것으로 보여 지나 서울시정개발연구원에서 개발한 평가의 틀을 크게 벗어나지 못하고 있다는 한계를 보인다.

셋째, 한국사회복지관협회의 평가모형연구는 서울시가 1996년, 1997년에 실시한 사회복지관 평가에 대한 대안으로 이루어진 것이다. 서울시는 사회복지시설의 재정투명성 확보 및 운영비지원과 관련하여 실적에 따른 차등지원을 목적으로 사회복지시설의 회계감사 및 운영평가를 실시하였는데, 이에 대해 다수의 사회복지관으로부터 강한 불만과 비판을 받았다. 이는 사회복지관 평가가 현황 및 실적위주의 양적 평가중심으로 이루이진 까닭에 계량화하기 어려운 사회복지 특성을 제대로 반영하지 못하고 실제 평가과정에서 현장의 의견을 제대로 수렴하지 못하였기 때문이다. 따라서 한국사회복지관협회의 연구는 서울시 사회복지관 평가에 대한 대안개발에서 시작된 것이며, 지표개발은 제재나 보상을 위한 것이라기보다는 개별 사회복지관의 건실한 육성을 도모하는 취지에서 만들어졌다. 하지만 평가지표만 제시하였지, 실제로 평가가 이루어지지 않아, 지표의 장단점을 파악하기 어렵다. 또 각 평가영역 및 지표들이 갖는 상대적 중요성에 대한 고려가 부족하며, 정성적 평가와 자기평가방식을 강조하여 지나치게 자의적인 평가를 초래할 수 있다는 우려를 자아내고 있다.

넷째, 한국보건사회연구원은 1995년, 1998년, 2000년 평가모형을 제시하여 사회복지관 평가체계 개발을 위한 연구를 진행하였다. 3회의 걸쳐 평가지표를 수정‧보완하여 새로운 평가지표를 개발하였고, 특히 다른 평가모형에서는 볼 수 없었던 통계적 가중치를 부여하여 검증하고 있다는 점에서 시사할 만하다. 하지만 평가지표를 정량적, 정성적으로 구분하여 전문평가위원의 판단에 의존한다는 점에서 평가의 자의성을 부추 키고 있다.

지표체계평가모형에 의한 연구의 문제점을 살펴보면 다음과 같다. 첫째, 연구기관의 평가목적의 차이에 따라 평가지표 간 뚜렷한 차이를 보이고 있다는 점이다. 따라서 평가목적 및 사회복지관의 기능과 역할에 대한 일정정도의 사회적 합의의 전제하에서 평가가 수행되어야 할 것이다. 둘째, 지역의 특수한 복지환경을 반영한 평가지표를 개발해야 한다는 점이다. 평가모형에서는 지역에 대한 고려가 평가지표에서 누락되어 있다. 특히 서울시 전 지역의 사회복지관을 단일한 지표에 의해 평가하는 것은 현실적인 가능성의 문제도 있겠지만, 이러한 결과를 어떻게 신뢰할 수 있는지에 대한 문제도 생긴다(김영모 외, 2000: 31-32). 셋째, 평가지표에서 기관운영과 관련된 평가지표가 많은 비중을 차지하고 있는데, 이는 자칫 사회복지관 내부조직의 합리성을 강조하는 방향으로 나아가기 쉽기 때문에 전문프로그램의 실시여부와 이의 질적인 측면 등도 중시해야 한다(강환세, 2004: 39). 넷째, 평가방법에서 질적평가, 평가위원의 자의적 평가 위주로 되어 있다는 점이다. 지표체계를 정량화시켜 놓고, 평가는 질적으로 한다는 자체가 타당성과 평가의 논리에 어긋난다. 따라서 정량적인 지표를 제대로 평가할 수 있는 객관적인 평가방법을 개발해야 한다.

2. 성과평가변수

성과 측정의 대상과 방법과 함께 중요한 것은 성과평가를 통해 구체적으로 측정하고자 하는 것은 무엇인가--즉 성과평가의 초점을 어디에 맞출 것인가--하는 평가기준의 문제이다. 이러한 지방정부의 공공서비스 성과평가 기준에 관한 논의 또한 다양한 각도와 차원에서 논의되어 왔다. 이를테면, Epstein(1992: 161-193)은 공공서비스 성과평가를 효과성, 능률성, 수입(revenue)으로 나누고 있고, Ammons(1995: 37-47)는 업무량, 능률성, 효과성, 생산성의 네 가지 범주를 제시하였고, Rogers(1990: 45-76)는 경제성, 능률성, 효과성, 서비스 수준과 대응이라는 5가지 기준을 사용하였다. 그렇지만 가장 널리 사용되고 있는 공통적인 기준은 능률성, 효과성, 형평성, 대응성의 4가지로 볼 수 있다(김규덕, 1999).

효율성은 단순히 적은 자원투입으로 많은 산출을 가져오는 능률성의 원리와 자원 활용을 통해 의도한 목표를 달성하려는 효과성의 개념이 합쳐진 것으로, 투입의 경제성뿐만 아니라 적정한 자원 활용을 극대화하여 목표를 달성하려 의도를 동시에 갖는 개념이다. 구체적으로 능률성은 생산되는 산출 양에 필요한 투입 양의 관계를 나타내는 것으로, 투입에 대한 산출의 비율로 정의된다(Rogers, 1990: 15). 효과성은 산출과 결과와의 관계로서 목표달성의 정도, 정책목적이 성취된 정도(Rogers, 1990: 15) 혹은 지역사회의 욕구나 요구에 대응한 정도로 정의된다(김규덕, 1999). 따라서 효과성은 능률성과 달리 목표지향적 개념으로 양과 질 개념을 동시에 내포하고 있다. 그렇지만 실제 효과성을 측정함에 있어 산출과 결과를 명확하게 구분하기란 쉽지가 않다. 특히 공공서비스 중 물리적 요소에 해당하는 경우(예를 들면, 상하수도나 오물처리서비스), 산출과 결과가 비슷하기 때문에 이들의 구별이 분명하지 않다는 점에서 산출물 측정을 위한 성과지표는 산출물의 표현 형태에 따라 달라진다(박기관, 2001: 66). 이런 점에서 객관적 성과평가의 기준으로 능률성과 효과성을 포괄하는 효율성의 가치가 보다 유용할 수도 있다.  이에 본 연구에서는 객관적 성과평가를 위해 효율성을 기준으로 삼고 이를 측정하기 위한 기법으로 DEA를 채택하였다.

사회복지관에 대한 주민만족도를 평가하기 위한 하위변수는 형평성과 대응성으로 볼 수 있다. 여기서 형평성(equity)은 정책효과와 비용이 사회집단간 또는 지역간에 공평하게 배분되었는가를 평가하는 것으로, 어떤 주민의 노력에 대한 보상의 비율이 다른 사람의 보상 비율과 동일하여야 한다는 것을 의미한다(Fried & Ravinovitz, 1980). 이러한 공공서비스 형평성은 정치적 차원의 질적 평가에 중요한 기준이 된다. 한편, 대응성(responsiveness)은 주민의 욕구나 기대, 요구 및 선호 등이 반영되거나 충족된 정도에 관한 것으로, 주민이나 고객에 대한 관심이 어느 정도 공공서비스 정책에 반영되어 충족되는가의 문제이다(김시영‧김규덕, 1996: 142). 따라서 대응성과 형평성의 가치는 공공서비스의 수혜자인 주민의 입장에서 평가하는 기준이 되므로, 이에 대한 측정은 주로 주민의 공공서비스 만족도 조사에 의존하게 된다. 본 연구에서는 주관적 성과평가를 위해 만족성을 기준으로 삼고 이를 측정하기 위한 방법으로 SURVEY를 이용하였다.

이와 같이 능률성이나 효과성(또는 효율성)은 공공서비스가 얼마나 잘 지역공동체에 전달되는지 경제적 측면에 초점을 둔 효율성 평가를 위한 연구들에서 채택되는 반면, 대응성과 형평성은 공공서비스 성과를 정치적 측면에서 지역주민의 욕구나 수요에 얼만 반응하였는지에 대한 수혜자 입장의 만족도를 평가하는 기준이 된다. 사회복지관 성과에 대한 보다 정확한 평가를 위해서는 공급자와 수혜자의 양쪽 시각이 모두 반영되어야 하며 이를 위해서는 효율성 평가와 만족도 평가를 적절히 연결하여 사용하는 것이 유용할  것이다.

3. 성과평가의 연계모형 구성

지역이 사회복지관 성과평가를 위한 연계모형은 주관적인 평가방법과 객관적인 평가방법이 가지고 있는 각각의 단점을 극복하고 장점을 부각시키는 방향으로 모색되어야 한다. 본 연구에서는 이를 위해 다음과 같은 논리로 접근하였다.

주관적 평가연구는 평가지표에 대한 개념이 불확실하고 평가분야나 변수 선정에 있어 연구자의 자의성과 임의성이 게재, 변수간의 내재적 인과관계에 따른 체계성 결여, 그리고 대부분의 연구들이 조사 설계의 일관성이나 조사항목의 타당성이 부족하기 때문에 체계적 연구결과를 기대하기 어렵다는 것이다. 객관적 평가연구는 지표선정의 타당성과 일관성의 부족, 종합평가를 위한 가중치 부여의 문제, 특정영역에 한정된 지표로 인한 평가의 왜곡이나 너무 많은 평가지표로 인한 적용의 곤란성 등의 문제를 노정하고 있다. 따라서 정확한 성과 평가를 위해서는 어느 한 가지 방법에만 의존하는 단편적인 접근보다는 두 가지 접근방법을 적절히 통합한 평가시스템을 개발하는 것이 더 큰 의미를 지닌다(민경엽, 2001; 송건섭, 2004).

첫째, 지방정부의 공공서비스 생산과정에 대한 체제모형을 바탕으로 하고, 성과의 측면을 산출과 결과(또는 영향)로 구분하였다. 둘째, 여기에서 투입에서 산출에 이르는 사회복지관의 성과 측면에 대한 평가는 효율성 차원에서 접근하고(모형Ⅰ), 효율성 차원에서 간과되는 결과의 측면은 서비스로부터 영향을 받는 고객 또는 지역주민의 만족도 차원에서 평가될 수 있다(모형Ⅱ). 셋째, 효율성 차원과 만족도 차원의 평가 결과는 서로 다른 기준과 방법으로 이루어지기 때문에 상이한 결과를 가져 올 수 있다는 점에서 양자의 결과를 서로 비교해보아야 한다. 이렇게 함으로써 두 평가방법이 갖는 문제점을 보완하고 평가결과의 의미를 보다 분명하게 알 수 있을 것이다(모형Ⅲ). 결국 연계모형을 이용한 평가는 모형Ⅰ과 모형Ⅱ에서 제시되는 평가방법 및 평가지표가 얼마나 체계성과 신뢰성 및 객관성을 확보하여 정확한 측정결과를 획득하느냐에 의존하게 된다.

성과 측정대상에 관한 논의에는 산출이나 결과뿐만 아니라, 중간산출(혹은 중간 투입)과 자치단체의 활동(노력)을 포함시키기도 한다. 그러나 중간산출이나 자치단체의 활동은 투입에 해당한다고 볼 때, 자치단체의 의도적인 활동의 결과로서 성과의 측정에서 제외하는 것이 바람직하다고 본다.

객관적, 주관적 평가 결과의 차이는 근본적으로 두 가지 평가방법의 평가 관점, 대상, 기준, 측정 방법 등이 다르기 때문에 아무리 정확한 조사 설계와 체계적인 측정을 하더라도 다소의 차이가 발생할 수밖에 없다. 이러한 차이로 두 평가방법을 연계한 모형설계의 필요성이 제기된다.

성과평가의 핵심적 요소는 정부활동 전반에 걸친 책임성의 확보이며(Ammons, 1995), 이는 주민에 대한 책임성이라고 한다면 성과의 의미는 정부활동의 효율성가치뿐만 아니라 주민의 만족상태까지 내포하는 개념으로 보는 것이 타당할 것이다(Rogers, 1990; Hatry, 1980; Epstein, 1984; 박기관, 2001: 65).

사회복지관의 복지서비스에 대한 효율성 평가는 투입요소로는 재정과 인력(자원봉사자 포함)으로, 산출요소는 주민들에 대한 사회복지서비스에 대한 결과물 등으로 측정한다. 효율성 측정변수로는 여러 가지 고려할 수 있으나, 지역의 사회복지서비스를 비교하기 위해서는 사회복지관에서 공통적으로 적용가능 한 지표를 유연성 있게 설정되어야 한다. 또 지역별 사회복지관의 효율성 격차는 사회복지관을 둘러싼 경제적 상황, 인구규모 등 사회경제적 변수에 영향을 받을 것으로 가정하고 이를 <그림 1>의 효율성 평가모형(Ⅰ)을 도식화하였다. 복지서비스에 대한 산출은 주로 서비스의 형태로 이루어지기 때문에 이를 화폐로 환산하는 것이 곤란하다. 따라서 사회복지관 효율성 측정은 기술적 효율성 측정을 의미하는 것이 보통이다.

사회복지관 효율성에 관한 선행연구를 보면, 최재성(1999)은 투입요소로 ‘98년 11월간 총지출, 산출요소로 총 이용자수, 전문프로그램 이용자수, 프로그램운영실적, ’98년도실적평가점수, 상근사회복지사수로 제시하였다. 김용빈(2004)은 종사자수 대비 사회복지사비율, 자원봉사자수, 결산액, 후원금을 투입요소로, 이용자수, 총 프로그램수를 산출요소로 하여 측정하였다. 문경주외(2004)는 재정, 인력, 자원봉사자를 투입으로 이용자수, 총 프로그램을 산출요소로, 강환세(2004)는 예산, 인력(상근자수, 자원봉사자수), 규모(사회복지관면적)를 투입요소로, 6대사업 프로그램이용자수를 산출요소로 하여 평가하고 있다. 사회복지관 효율성 측정을 위한 연구에서 공통적으로 제시하고 있는 투입요소는 인력 및 예산이며, 산출요소는 프로그램 이용자수인 것으로 나타났다.

사회복지서비스는 사회복지관의 관점에서 최종산출물, 수량화할 수 있을 것, 질적 변화에 부응할 것 그리고 기관의 활동 중 중요한 부분을 형성할 것 등과 자료획득의 가능성을 고려하여 선정하였다(Hatry & Fisk, 1992: 142).

만족도 평가를 분석모형에서 보면 사회복지관 서비스 질과 성과(영향)변수를 제시하였다. 여기서 제시되고 있는 공공서비스 질은 많은 연구들 바탕으로 광역자치단체에 대한 지역주민들의 생각, 느낌, 주관적 판단 등에 해당하는 질 요소를 선정하였다. 여기서 사회복지관 서비스에 대한 만족도는 복지서비스가 주민의 요구에 얼마나 잘 부응하고 있으며, 차별 없이 골고루 배분하고 있는가 하는 대응성과 형평성 차원에서 평가할 수 있을 것이다. 특히, 사회복지관 만족도는 지역별, 기관별 요인에 따라 달라질 수 있을 것이며, 사회복지관 서비스에 대해 주민은 어떻게 인지하는지 여부를 만족도로 판단 할 수 있을 것이다.

사회복지관에 대한 주민만족도 평가연구를 보면, 서울시(1999)는 사회복지관의 위탁과 직영으로 구분하여 주민만족도를 비교‧평가하였고, 변재관(2001)은 사회복지관 규모에 따라 사회복지관의 수행능력을 평가하였다. 김희연(2002: 587-603)는 복지관 유형에 따라 서비스 만족도(프로그램, 필요서비스 제공정도, 요구서비스 만족정도)와 서비스 담당자에 대한 만족도(서비스 담당자의 이해정도, 서비스 담당자의 문제해결의 적극성 정도)로 평가하였고, 유삼희((2003: 177-223)는 사회복지관 서비스 질을 유형성, 신뢰성, 반응성, 확신성, 공감성 등으로 주민만족도를 평가하였다. 한편, 여성복지서비스에 대한 김순양‧윤기찬(2004: 213-245) 연구에서는 유형성, 신뢰성, 대응성, 보증성, 공감성을 분석차원으로 하여 측정하고 있다. 사회복지서비스에 대한 주민만족도 평가의 공통된 지표는 사회복지서비스를 주민요구에 적절하게 대응하고 있는가(대응성), 차별 없이 적정하게 배분하고 있는가(형평성) 차원으로 설명할 수 있을 것이다.

위의 연구목적을 달성하기 위하여 지역복지서비스에 대한 효율성 측면과 만족도 측면의 평가를 나누어 검토하고, 평가의 문제점을 제시하며, 이들 평가의 대안으로서 양 측면을 연계해서 평가할 수 있는 모형설계가 필요하다. 사회복지관 서비스에 대해 효율성 평가는 사회복지관의 산출프로그램에 초점을 두며, 만족도는 서비스에 대한 대응성과 형평성 차원에서 연구하며 양 평가를 연계할 수 있는 모형을 구성하면 <그림 1>과 같다.

양 평가 연계에 관한 연구는 삶의 질 측정, 주민의 만족도 측정, 서비스의 성과평가에 만족도(질적)지표와 효율성(양적) 지표의 사업평가 방법의 연구 등을 통해 제시되어 왔다(Brudney & England, 1982). 양 지표를 통한 평가는 상호대립적인 것이 아니라 상호보완적인 성격을 가지고 있으며, 근래에 들어 평가과정 전반을 통해 질적‧양적 접근방법의 장점을 혼합하는 접근방법이 제기되고 있다(김규덕, 1999; 37-38).

연계모형에서 보면, 투입물이 산출로 전환하는 과정에 대한 과정평가와 산출물에 대한 성과평가(모형Ⅰ), 그리고 산출물이 지역사회 및 지역주민에 미치는 결과에 대한 성과평가(모형Ⅱ)로 나누어진다. 모형Ⅰ의 성과(산출)평가는 서비스의 공급측면에서 효율성 및 효과성 차원으로 접근할 수 있다. 성과평가는 평가의 정확성과 신뢰성을 확보하기 위해서는 합리적인 지표체계의 구성을 바탕으로 하는 효율성 평가로 이루어져야 한다. 모형Ⅱ의 성과(영향)평가는 복지서비스가 실제로 지역사회 또는 지역주민들에 미친 영향을 파악하는 것이다. 여기에는 수요자인 주민의 입장에 지역복지서비스에 대한 평가가 이루어져야 하는 바, 만족도 평가는 설문 등과 같은 방법을 이용한 주민 만족도의 측정으로 실시된다. 모형Ⅲ의 연계모형은 효율성과 만족도 평가의 한계를 극복하는 동시에 장점을 최대한 반영한 성과평가로 이해할 수 있을 것이다.

<그림 1> 성과평가를 위한 연계모형

사회복지관 성과평가(모형Ⅲ)

투입

(물적,인적,서비스)

전환

(사회복지관)

산출

(복지서비스

프로그램)

결과(영향)

(대응‧형평)

효율성평가를 위한 모형(Ⅰ형)

사회복지관

서비스

사회복지관

(대응성, 형평성)

만족도평가를 위한 모형(Ⅱ형)

사회복지관 만족도

사회경제적요인

재정, 인력, 자원봉사자

사회복지관

(가정,아동,청소년,장애인,노인,지역)

사회복지관 효율성

지역환경요인

Ⅲ. 사회복지관서비스에 대한 성과측정

1. 방법 및 지표

대구시 사회복지관의 효율성을 측정하기 위해 2005년 8월1일부터 20일까지 각 자치구‧군별 사회복지관을 중심으로 기초 자료를 조사하였다. 여기서 평가대상은 대구광역시의 25개 사회복지관으로 하였다. 사회복지서비스의 경우 지역에 따라 지역고유의 특성과 복지수준의 차이를 보이고 있기 때문에 유사한 생활권역 및 행정구역으로 한정하였으며, 또 다른 이유는 연구조사자료 수집의 편의성으로 인해 대구광역시로 한정하였다. 대구시 사회복지관에 대한 만족도를 평가하기 위해 대구시 자치구‧군의 25개 사회복지관을 대상으로 2005.05.16~2005.7.15까지 2개월간에 걸쳐 설문조사를 실시하였다. 설문지는 8개 자치구․군별로 100부씩 800부를 배부하였고, 그 중 635부가 회수되어 통계분석에 활용하였다.

대구시 사회복지관별 프로그램의 투입‧산출데이터와 조사 자료는 오창근 논문(지방자치단체의 공공서비스 성과평가, 2005)의 원 자료(raw data) 중 일부를 저자의 허락을 득해 이용한 것임.

조사응답자를 보면, 남성이 341명(53.7%), 여성이 294명(46.3%)로 남성이 약간 많았고, 연령별로는 20~30대의 젊은 층이 458명(72.2%), 40대 이상이 176명(27.8%)으로 20~30대의 젊은 층의 응답자가 많았다. 학력별로는 고졸이하가 173명(27.3%)인데 비해 대졸이상이 461명(72.7%)으로 응답자의 학력은 매우 높은 것으로 나타났다. 또 10년 이하 거주한 자는 230명(36.6%)으로 나타났고, 10~20년 거주자는 200명(31.8%), 21년 이상 거주한 응답자는 199명(31.7%)으로 나타났다. 응답자 중 공무원이 94명(14.8%), 사회복지사가 19명(3.0%), 자원봉사자 53명(8.4%), 지역시민이 468명(73.8%)으로 지역주민의 수가 많았다. 주로 이용시설로는 사회복지관이 197명(31.9%)로 가장 많았다.

여기서는 사회복지관이 제공하는 서비스가 공공재의 성격을 가지고 있고 자원이 제약되어 있으며 재원이 감소하더라도 동일한 서비스를 유지하기를 원하기 때문에 투입지향적 분석을 행한다. 그리고 사회복지관과 같은 공공성을 띤 조직의 운영에 있어서 규모의 경제가 작용하고 있으나, 최근 DEA를 이용한 공공부문의 연구에서는 규모의 경제효과를 분리하지 않고 총체적인 기술적 효율성만을 다루고자 한다. 본 연구에서 사회복지관 효율성 평가를 위한 DEA모형의 투입과 산출요소를 제시하면 아래 <표 1>과 같다.

DEA는 Farrell(1957)에 의해 기술적 효율성을 측정하기 위해 개발되었다. Farrell은 분석단위가 되는 의사결정단위(Decision Making Unit: DMU)들 중에서 먼저 최상실행단위(the best practice unit)를 지정하고 지정된 최상실행단위와 비교하여 다른 DMU들의 상대적 효율성을 측정하기 위한 선형계획기법을 개발하였다. Charnes, Cooper and Rhodes(1978)는 하나의 산출물만을 측정하는 Farrell의 모형을 보다 일반화하여 비영리적 의사결정단위를 대상으로 복수의 투입물과 복수의 산출물을 사용하여 상대적 효율성 측정할 수 있도록 하였다.

① 사회복지관의 성과평가 산출요소: 사회복지관의 전반적인 효율성을 측정하려면 우선 사회복지관이 수행하는 주요업무에 관한 고찰이 필요하다. 특히 평가지표는 사회복지관별 핵심기능들을 면밀히 검토하여 선정되어야 한다. 여기서 예시된 산출요소는 6개 서비스 프로그램의 이용자 수로 제시하였다(사회복지관 설치‧운영규정 제6조에 근거).

② 사회복지관의 성과평가 투입요소: 효율성을 측정할 경우 가장 빈번히 사용되는 투입요소로는 인력과 예산을 들 수 있다. 예산(혹은 결산)을 투입요소로 사용할 경우 조직의 직접적인 투입을 포괄적으로 포착할 수 있다는 장점이 있지만, 사회복지관의 예산 운용의 특수성을 간과할 수도 있다. 따라서 효율성 측정을 위해서는 비교적 안정적인 투입요소로 볼 수 있는 인력지표를 사용하는 것이 높은 설득력을 지니기도 한다. 특히 사회복지관이 제공하는 서비스는 대개 인적 서비스의 성격을 지니고 있다는 점에서 이러한 접근의 타당성은 제고될 수 있다.

<표 1> 투입변수와 산출변수의 항목

변수유형		변수명	변수의 내용	참조자료
효율성 평가	투입	재정(재량변수)	1년 예산액 중 인건비 제외한 결산액	강환세(2004) 문경주‧강성철(2004) 송건섭(2004) 손광훈(2003) 임동진‧김상호(2000) 김성종(2000) 참조
		인력(재량변수)	자원봉사자수를 제외한 인력수
		자원봉사자	年자원봉사자수
	산출	가정복지사업	가정복지 프로그램 年이용자수(상담자)
		아동복지사업	아동복지 프로그램 年이용자수
		청소년복지사업	청소년복지 프로그램 年이용자수
		장애인복지사업	장애인복지 프로그램 年이용자수
		노인복지사업	노인복지 프로그램 年이용자수
		지역복지사업	지역복지 프로그램 年이용자수
만족도 평가	대응성	복지욕구조사	서비스 담당자는 주민요구를 철저조사	오창택(1998) 김규덕(1999) 박광봉(2001) 민경엽(2001) 송건섭‧이곤수(2004) 참조
		주민요구수렴도	서비스 담당자는 주민불평‧건의 수용
		홍보활동	서비스 담당자는 반상회‧소식지 통해 홍보
		정보공개	서비스 담당자는 서비스 진행 등 정보공개
	형평성	평등수용	서비스 관련 주민요구를 차별없이 수용
		수혜자선정적절	서비스 수혜자를 지역‧계층을 고려하여 결정
		공정제공	서비스 담당자는 서비스를 공정하게 제공
		균등제공	서비스 담당자는 서비스를 균등하게 제공

2. DEA를 이용한 지역별 사회복지관서비스의 효율성 평가

DEA모형을 이용하여 지역사회복지관 효율성을 평가하고자 2004년의 투입-산출자료를 이용하여, 자치구‧군별로 횡단면분석을 실시하였다. 이를 통하여 효율성을 제시하고, 비효율적인 지역사회복지관으로 식별된 DMU별로 우선순위를 부여하였다. 분석모형을 각 DMU마다 구성하여야 하므로 각 지역별 25개 사회복지관을 선형계획법을 구축하여 해를 구하였다. 위 지역사회복지관의 프로그램 평가에서 나타난 효율성 값을 이용해 DMU별 평균값을 제시하면 <부록>과 같다. 이 중에서 북구의 가정종합사회복지관, 중구의 남산종합사회복지관, 수성구의 황금종합사회복지관, 달성군의 달성군종합사회복지관의 효율성이 1.0000점을 차지하여 효율성이 높은 것으로 나타났다. 하지만 달서구의 월성종합사회복지관, 상인종합사회복지관, 동구의 대구종합사회복지관, 남구의 남구종합사회복지관의 효율성은 상대적으로 낮은 것으로 나타났다.

DMU는 Decision Making Unit의 약자로 DEA분석에서 효율성 평가의 기본단위이다. 따라서 이들의 효율적 DMU들이 경험적으로 형성되는 효율성 변경(frontier)을 통해 각 DMU와 상대적 효율성을 측정할 수 있다고 보며, 이를 위한 Ferrell 효율성 측정개념에 입각한 자료포락분석모델을 제시하고 있다(김성종, 2000:51; 임동진‧김상호, 2000: 217-234).

실증분석을 위한 쌍대모형(dual model)은 아래와 같다. [eqn: MIN{ }{ } Ep - ε( SUM from { k{ }=1} to m Sk + SUM from { i{ }=1} to t Si)], subject to [eqn: Xkp‧Ep - Sk= SUM from { c{ }=1} to z Xkc lambda c, Yip+Si= SUM from { c{ }=1} to zYic lambda c] and  λc> =0, Sk> =0, Si> =0 (Ep : DMU p의 효율성 점수, λc :각 DMU들에 대해 계산되는 가중치, Sk: 투입요소들의 슬랙, Si: 산출요소들의 슬랙, c=1,...., p,..., z, k=1,...,m,i=1,...t).

이를 바탕으로 하여 지역별 사회복지관의 효율성 평가를 지역별로 구분하여 평점 평균을 제시하면 아래 <표 2>와 같다. 지역별로 보면, 동구지역은 가정복지사업의 다른 사업에 비해 효율성이 높은 것으로 보이며, 청소년복지사업은 낮았다. 서구는 지역복지사업의 효율성이 높았고, 아동 및 청소년복지사업의 상대적 효율성은 낮았다. 남구는 지역복지사업을 제외하고는 효율성이 대체로 낮았으며, 장애인복지사업과 노인복지사업 프로그램은 없는 것으로 나타났다. 북구는 노인복지사업의 효율성이 높은 반면, 청소년복지사업은 상대적으로 효율성이 낮은 것으로 나타났다. 중구의 경우는 가정복지사업과 장애인복지사업, 노인복지사업의 효율성은 높았고, 다른 사업도 효율성에 근접하고 있음을 알 수 있다. 수성구는 지역복지사업의 효율성이 다른 사업에 비해 높았으나, 효율성은 다소 떨어지는 것으로 나타났다. 달성군은 모든 사업부문에서 효율적인 것으로 나타나고 있다.

<표 2> DEA모형에 의한 지역별 효율성 평가

DMU	프로그램 효율성
	가정복지사업	아동복지사업	청소년복지사업	장애인복지사업	노인복지사업	지역복지사업
#1 대구 동구	.92145	.88665	.76926	.77113	.78766	.87914
#2 대구 서구	.84241	.79980	.84241	.96991	.97147	1.0000
#3 대구 남구	.71980	.61538	.61538	-	-	.90192
#4 대구 북구	.90942	.95066	.88929	.93916	1.0000	.91802
#5 대구 중구	1.0000	.98713	.97199	1.0000	1.0000	.97199
#6 대구수성구	.89550	.80129	.89960	.76876	.82840	.90959
#7 대구달서구	.82152	.82012	.76258	.77087	.87185	.83230
#8 대구달성군	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000

대구지역별로 사회복지관의 효율성에 대한 평점을 통한 순위를 매겨보면 아래 <표 3>과 같다. 대구시 8개 자치구군 중 달성군의 효율성 평균이 1.0000점으로 가장 높았고, 그 다음으로 중구가 .98852점으로 나타났다. 사회복지관 효율성 평가에서 가장 높은 집단과 가장 낮은 집단 등 4개 집단으로 유형화하여 분류하면 대구시 달성군과 중구가 가장 높은 집단으로 분류되고, 북구와 서구가 90%이상의 효율성을 가진 높은 집단, 수성구와 동구가 낮은 집단, 달서구와 남구가 가장 낮은 집단으로 분류되었다. 낮은 집단으로 분류된 지역은 비효율성이 10%이상을 넘으며, 남구의 경우는 거의 30%가까이 비효율적인 것으로 나타나고 있다.

효율성 평점 부여방법은 다음과 같다. 우선 대구광역시 25개 사회복지관별 성과를 DEA를 이용하여 효율성 값을 구하고, 이를 대구시 8개 자치구군별(동구, 서구, 남구, 북구, 중구, 수성구, 달서구, 달성군 등), 사회복지관 6개 프로그램별(가정복지, 아동복지, 청소년복지, 장애인복지, 노인복지, 지역복지사업 등)로 평균값으로 계산하여 종합화하였다.

<표 3> DEA모형에 의한 전체 효율성 평가

구분	효율성 평점(E) 평균	순위	비고
대구 동구	.83588	6	◇
대구 서구	.90433	4	○
대구 남구	.71162	8	△
대구 북구	.93442	3	○
대구 중구	.98852	2	◎
대구수성구	.86253	5	◇
대구달서구	.82320	7	△
대구달성군	1.00000	1	◎

주: ◎가장 높음, ○높음, ◇낮은 편, △가장 낮음

3. SURVEY를 이용한 지역별 사회복지관서비스의 만족도 평가

지역별 사회복지관 서비스에 대한 만족도를 평가하기 위해 하위변수인 대응성과 형평성으로 구분하여 측정지표에 따라 지역별로 평가하여 보면 아래 <표 4>와 같다. 이들 변수를 구성하고 있는 문항의 값을 합쳐 평균을 구한 다음, 자치구‧군별로 F검증을 실시하였다(측정은 ‘매우낮다’-1점, ‘매우높다’-5점 등 5점 척도로 구성). 대응성 평가는 4개의 문항으로 측정했고, 대응성 평균은 전체적으로 중간이하로 낮게 나타나고 있다. 그 중에서도 남구와 북구가 높고, 동구와 달성군이 낮은 것으로 나타났다(p<.001). 형평성 평가도 4개의 문항으로 측정했는데, 남구가 보통을 약간상회하며, 달성군과 동구지역이 낮게 나타나고 있다(p<.05)

<표 4> 지역별 사회복지관 대응성 및 형평성 평가

구분	대응성				종합
	복지서비스 욕구조사	주민요구 수렴도	복지서비스 홍보활동	복지서비스 정보공개	평균	표준 편차	F	p
대구 동구	2.51	2.70	2.64	2.68	2.63	.67	4.337	.000
대구 서구	2.52	2.78	2.73	2.58	2.65	.57
대구 남구	3.02	3.14	2.94	2.84	2.99	.68
대구 북구	2.94	3.04	3.01	2.93	2.98	.75
대구 중구	2.99	3.01	2.93	2.84	2.94	.72
대구 수성구	2.53	2.79	2.68	2.64	2.66	.68
대구 달서구	2.92	3.06	2.98	2.86	2.95	.73
대구 달성군	2.45	2.55	2.80	2.73	2.63	.51

구분	형평성				종합
	복지서비스 평등수용	복지서비스 선정적절성	복지서비스 공정제공	복지서비스 균등제공	평균	표준 편차	F	p
대구 동구	2.90	2.79	2.79	2.81	2.82	.68	2.491	.016
대구 서구	2.83	2.92	2.93	2.88	2.89	.69
대구 남구	3.06	3.16	3.08	2.92	3.06	.75
대구 북구	2.81	2.93	2.89	2.98	2.90	.72
대구 중구	3.01	2.93	2.99	2.84	2.94	.65
대구 수성구	2.73	2.83	2.77	2.85	2.80	.73
대구 달서구	2.78	2.96	2.94	3.00	2.91	.70
대구 달성군	2.73	2.80	2.88	2.78	2.79	.52

전체 만족도를 대응성(4개 측정지표)과 형평성(4개 측정지표)으로 구성하여 지역별로 종합순위를 매겨보면 아래 <표 5>와 같다. 사회복지관 서비스에 대한 주민의 만족도가 가장 높은 지역은 남구로 나타났고, 그 다음으로 중구이며, 북구, 달서구, 수성구의 순으로 나타났고, 그 중에서도 동구와 달성군은 가장 낮은 것으로 조사되었다.

<표 5> SURVEY에 의한 전체 만족도 평가

구분	만족도 평균	순위	비고
대구 동구	2.7271	7	△
대구 서구	2.7729	6	◇
대구 남구	3.0204	1	◎
대구 북구	2.9412	3	○
대구 중구	2.9418	2	◎
대구수성구	2.7283	5	◇
대구달서구	2.9362	4	○
대구달성군	2.7125	8	△

주: ◎가장 높음, ○높음, ◇낮은 편, △가장 낮음

4. 평가결과에 대한 종합적 논의

앞 장에서 논의한 성과평가 연계모형은 효율성 차원과 주민만족도 차원을 연계한 평가를 의미하는 것으로, 이 모형에 근거하여 사회복지관에 대한 효율성을 파악하고, 나아가 복지관의 서비스가 실제로 지역사회나 지역주민에 미친 영향을 파악하자는 것이다. 사회복지관 성과평가에 관한 연계모형은 시스템 이론에 입각하여 제시된 것으로 양적 혹은 질적 측면의 단일평가에서 오는 한계를 보완하고 편견을 시정해 주는 역할을 할 수 있을 것이다. 연계모형에 의한 효율성 평가는 DEA방법을, 만족도 평가를 SURVEY방법을 통해 분석했다.

대구시 사회복지관에 대한 성과평가를 종합하면 아래 <표 6>과 같다. 지역별로 효율성 평가와 만족도 평가를 교차하여 평가수준을 제시하였고, 양 평가결과의 일치성 여부를 제시하였다. <표 6>에서 평가결과상 일치를 보이는 집단은 대구시 2개 지역인 북구와 수성구로 나타났고, 다른 지역은 불일치를 보이고 있다. 특이하게도 대구시 남구의 경우 공공서비스 질에 대한 만족도 평가는 가장 높으나, 효율성은 가장 낮은 평가를 받아 양 평가결과가 완전히 불일치하는 것으로 나타났고, 달성군은 효율성 평가에서는 가장 높은 점수를 받았으나, 서비스 질 만족도는 가장 낮게 나타났다.

<표 6> 사회복지관서비스의 성과평가 종합

구분	효율성 평가	만족도 평가	평가일치여부
대구 동구	◇	△	불일치
대구 서구	○	◇	불일치
대구 남구	△	◎	불일치
대구 북구	○	○	일치
대구 중구	◎	◎	일치
대구수성구	◇	◇	일치
대구달서구	△	○	불일치
대구달성군	◎	△	불일치

주: ◎가장 높음, ○높음, ◇낮은 편, △가장 낮음

대구시 25개 사회복지관에 대한 평가를 대구시 자치구군별로 유형화한 성과평가(효율성 및 만족도)의 결과를 종합하면 크게 4가지 유형으로 분류할 수 있다. 첫째, 효율성 평가와 만족도가 평가가 모두 높은 경우, 둘째, 효율성 평가는 높으나 만족도 평가는 낮은 경우, 셋째, 효율성 평가는 낮으나 만족도 평가는 높은 경우, 넷째, 효율성 평가와 만족도 평가가 모두 낮은 경우로 나눌 수 있다.

① Ⅰ형(유지관리지속) : 효율성과 만족도가 모두 높은 경우로 대구시 북구와 중구가 이에 해당된다. 이는 공급자 측면의 효율성이 높고, 수혜자 측면에서 공공서비스에 대한 공공서비스 질 만족도가 높은 이상적이고 바람직한 유형으로 볼 수 있다. 이러한 유형은 공공서비스의 생산에 있어 공급자와 수요자의 공동생산(co-production)이 잘 이루어지는 유형이라고 할 수 있다.

대구북구 산격종합사회복지관의 경우, 사회복지관련 기관 및 종사자, 공공기관 및 단체와 연계, 조직화를 통해 지역사회에 존재하는 문제공유, 해결을 위한 공동생산‧모임을 위해 자문위원회운영, 지역사회발전위원회 구성 및 운영, 통장회의, 주민대표모임, 통장면담 및 지역사회네트워크 형성을 통해 지역사회문제를 예방‧치료하고 있다(대구시북구, 산격종합사회복지관, 2005).

② Ⅱ형(만족성 개선요망) : 효율성은 높으나 만족도가 낮은 경우로 대구시 서구와 달성군이 해당된다. 이는 효율성이 높지만 수요자 측면에서 공공서비스 질에 대한 평가가 낮기 때문에 주민의 만족도를 제고하기 위한 공급자의 배려(consideration)가 필요한 유형이다. 우선 해당 사회복지관은 공공서비스 질을 제고하기 위해 주민수요를 보다 적극적으로 파악하여 주민의 요구나 기대를 충족시켜 줄 수 있어야 하며, 공공서비스의 투입‧전환‧산출과정에서 수요자 입장의 배려가 요구된다.

③ Ⅲ형(품질지수제고) : 공급자 측면의 효율성과 수요자 측면의 주민만족이 모두 낮은 경우로 대구시 동구와 수성구 지역이 해당된다. 이는 4개 유형 중 가장 성과가 낮은 유형으로 분류할 수 있다. 여기서는 공급자 측면의 효율성 제고와 수요자 측면의 만족도 향상이 동시에 이루어져야 할 것이다.

④ Ⅳ형(효율성 개선요망) : 효율성은 낮으나 만족도가 높은 경우로 대구시 남구와 달서구 지역이 해당된다. 이는 수혜자의 요구에는 민감하게 반응하면서 만족도 향상에 노력을 기울이지만 공공서비스 제공의 비효율성을 가지는 것으로 보인다. 따라서 공급자 측면의 능률성과 효과성을 제고하기 위해 사회복지관에 대한 정책적인 통제(control)가 필요하다.

<그림 2> Portfolio Map을 이용한 사회복지관 유형화

만족성개선요망

고

↑

효

율

성

↓

저

저       ←        만족도    →        고

품질지수제고

효율성개선요망

유지관리지속

제2사분면

(서구, 달서구)

제3사분면

(동구, 수성구)

제4사분면

(남구, 달서구)

제1사분면

(북구, 중구)

Ⅳ. 결  론

사회복지관의 성과평가는 다양한 차원에서 논의가 가능하다. 전통적으로 사회복지조직의 성과측정의 핵심요소는 주민에게 미친 영향력이다. 이는 사회복지관의 성과는 효율성 이상을 것을 의미하며, 체계이론의 관점(투입, 전환, 산출, 결과 단계)에서 조직성과의 효율성을 측정할 수 있으나, 여기에다 주민의 만족성을 추가하여 평가하는 것이 필요하다. Martin & Kettner(1997)는 질(quality)의 개념을 추가하여 특정수준의 질적 수준을 갖는 산출 및 결과를 효율성 평가의 근거로 제시하고 있다. 또한 강환세 연구(2004), 오창근 연구(2005)에서도 사회복지관 평가는 프로그램 측면과 질적인 측면의 동시에 고려해야 한다는 의견을 제시하고 있다. 본 연구에서 구성한 연계모형도 바로 체계적인 모형에 근거하여 주민만족도라는 질적 수준을 첨가하여 효율성과 만족성을 연계한 평가가 가능하도록 제시하였다. 분석결과를 요약하고 시사점을 제시하면 다음과 같다.

첫째, 효율성 평가와 만족도 평가결과에는 불일치가 존재한다. 이것은 사용되는 평가 기준이나 평가 지표가 상이하기 때문일 수도 있고, 그렇지 않을 수도 있다. 전자라면, 보다 통일한 평가지표, 타당성과 신뢰성을 갖춘 측정지표를 개발해야 할 것이다. 후자라면, 효율성과 만족도 차이를 비교‧분석해 봄으로써 보다 의미 있는 평가결과를 얻을 수 있다.

둘째, 대구시 사회복지관의 효율성(E)은 0.67~1.0사이에 있으며, 보통이상으로 높은 것으로 이해된다. 이는 가장 비효율적인 사회복지관의 효율성도 67%이상이라는 점을 말해주는 것이다. 하지만 본 연구에서의 성과평가의 차이는 상대적인 것이며, 평가자체도 매우 유동적이다. 현재 비효율적으로 평가된 사회복지관도 차후 약간의 성과만 확보되면 효율적이 될 수 있다. 여기서는 사회복지관 이용자수를 중심으로 분석했는데, 사회복지관의 효율성을 향상하기 위해서는 복지시설과 설비를 이용자들의 편의성이라는 관점에서 배치, 설치하며, 편리하게 이용하도록 하며, 민주적인 이사회 구성과 절차의 합리화를 통해 운영관리의 합리화를 마련해야 한다는 점이다. 문경주‧강성철 연구(2004)에서는 사회복지관 효율화를 위해서는 투입측면의 적정한 인력관리, 불필요한 재정지출 억제, 산출측면의 사회복지프로그램에 이용자 확대를 위한 프로그램개발 등을 제시하고 있다.

셋째, 대구시 사회복지관의 만족성은 5점 만점에 2.7~3.0정도로 전체적으로 보통이하로 낮게 나타나고 있다. 사회복지관에 대한 주민의 평가가 낮은 것은, 사회 환경이 급변하면서 사회복지의 수요가 급증하고 지역주민들의 욕구수준이 높아지고 있는데 반해 사회복지관의 위상과 기능은 그에 미치지 못하고 있으며, 정부로부터 그에 상응하는 충분한 지원이 이루어지지 않은 점에 기인한다. 따라서 사회복지관 만족도를 제고하기 위해서는 사회복지관 프로그램 개발 및 활성화, 사업과 대상에 맞는 홍보전략 및 체계적인 교육을 통한 자원봉사지도 및 활동, 서비스 질 개선 등이 필요한 것이다.

DEA방법을 이용한 평가의 가장 큰 특징은 효율성을 상대적으로 평가한다는 점이다. 효율성 자체가 절대적이지 않기 때문에 평가지표, 평가시기, 평가 사업에 따라 평가결과가 얼마든지 달라질 수 있다. 따라서 보다 객관적이고, 타당한 지표개발이 필요하지만, 측정가능한 평가지표의 개발이 쉽지가 않았다. 본 연구에서는 프로그램 이용자수를 중심으로 산출지표를 구성하였다는 점, 2004년 단일시점으로 평가하고, 측정 가능한 6대 프로그램 이용자수 위주로 평가했다는 점에서 한계를 지닌다. 주민만족도 조사는 대구광역시 자치구‧군별로 산재한 종합사회복지관 이용자를 중심으로 SURVEY 방법을 이용하였는데, 조사의 대표성 확보문제, 조사방법의 적합성 등에서 보완해야할 부분이 많은 것으로 보인다.

참 고 문 헌

강환세. (2004). 「사회복지관의 효율성 평가에 관한 연구-부산‧경남지역의 종합사회복지관을 중심으로」. 박사학위논문. 경상대대학원.

김규덕. (1999). 「지방정부 공공서비스의 성과평가에 관한 연구: 쓰레기 수거서비스를 중심으로」. 박사학위논문. 영남대대학원.

김성종. (2000). 지방공공서비스 공급의 생산효율성 구조분석. 「한국지방자치학회보」, 11(1).

김순양‧윤기찬. (2004). 여성복지서비스에 대한 수혜자 만족도 비교연구: 서비퀄(SERVQUAL) 기법의 적용. 「한국정책학회보」, 13(4): 213-245.

김영모 외. (2000). 「사회복지관 평가지표」. 한국복지정책연구소출판부.

문경주․강성철. (2004). DEA를 이용한 사회복지관의 효율성 측정: 부산광역시를 중심으로. 「한국행정논집」, 16(2): 333-362.

민경엽. (2001). 「기초자치단체 행정서비스의 주민만족도에 관한 연구: 송파구를 중심으로」.  박사학위논문. 성균관대학교대학원.

박기관. (2001). 지방정부의 행정성과평가 및 적용모형에 관한 연구-시‧군 성과 및 노력도 지표를 중심으로. 「한국지방자치학회보」, 13(1): 63-84.

박광봉. (2001). 「지방정부 행정서비스에 대한 주민만족도 연구」. 박사학위논문. 상지대대학원.

변재관 외. (2000).「사회복지시설 평가지표 개발 및 평가결과」. 한국보건사회연구원‧

손광훈. (2003). 자료포락분석을 이용한 사회복지관의 효율성 평가에 관한 연구: 부산지역사례를 중심으로. 「한국사회복지학회보」, 2003(52).

송건섭. (2004). 지방정부의 공공서비스 성과평가를 위한 통합시스템개발과 적용-16개 광역자치단체를 중심으로. 「한국행정논집」, 16(3):

송건섭‧이곤수. (2004). 광역자치단체의 성과평가: DEA와 SURVEY방법론 적용. 「한국행정학회보」, 38(6): 179-200.

오창근. (2005). 「지방자치단체의 공공서비스 성과평가」. 박사학위논문. 대구대대학원.

오창택. (1998). 서비스 질 구성차원의 관리 우선순위: 민원행정서비스를 중심으로. 「한국행정학보」, 32(2): 77-95.

유삼희. (2003). 사회복지서비스의 품질평가에서 SERVQUAL 척도의 검증. 「문명연지」, 5(1): 177-223.

이선우‧최상미. (2000). 사회복지시설 평가의 현실과 개선방안. 장애인복지시설을 중심으로. 「사회복지정책」, 15: 133-154.

이번송‧김진욱. (1996). 「서울시 사회복지서비스의 평가모형 개발」. 서울시정개발연구원.

이희태. (1997). 「준공공부문조직의 공공서비스 성과 영향요인분석」. 박사학위논문. 부산대대학원.

임성옥. (2003). 중앙정부의 사회복지시설 평가에 대한 비판적 분석. 메타평가를 중심으로. 「정부학연구」, 9(2): 261-296.

임동진․김상호. (2000). DEA를 통한 지방정부의 생산성 측정: 인력․재정과 공공서비스 관계를 중심으로. 「한국행정학보」, 34(4): 217-234.

조운희. (1998). 「사회복지관 운영관리의 평가모형 개발에 관한 연구」. 대구대박사학위논문.

최병선. (1993). 준공공부문 연구의 방향모색. 「행정논총」31(1), 서울대행정대학원.

최재성. (2000). 사회복지서비스 조직의 비용효율성에 관한 연구: 서울특별시 종합사회복지관을 중심으로. 「사회보장연구」, 15(1).

황성철‧황혜경. (1999).「사회복지관 및 재가복지사업 시범평가 보고서」. 한국사회복지관협회.

한국사회복지관협회. (2004). 「사회복지관백서」.

서울시 사회복지관협의회. (1999). 「98년도 서울특별시 사회복지관 실적평가 결과보고서」.

Ammons, D. N. (1995). Overcoming the Inadequacies of Performance Measurement in Local Government: The Case of Libraries and Leisure Services. Public Administration Review, 55(1).

Brudney, Jeffrey L. and England, Robert E. (1982). Urban Policy Making and Subjective Service Evaluation: Are They Compatible?.  Public Administration Review, 42(2): 127-135.

Charnes, A., Cooper, W., and Rhodes, E. (1978). Measuring the Efficiency of Decision Making Units. European Journal of Operational Research, 2(6): 429-444.

Epstein, Paul D. (1992). Get Ready: the Time for Performance Measurement is Finally Coming. PAR, 52(5).

Farrell, M. J. (1957). The Measurement of Productive Efficiency. Journal of Royal Statistical  Society, Series A.(General). 120(Ⅲ): 253-281.

Fried, Robert C. and Francine F. Ravinovitz. (1980). Comparative Urban Politics: A Performance Approach. New Jersey: Prentice Hall.

Hatry, P. H. (1980). Performance Measurement Principles and Techniques: An Overview for Local Government. Public Productivity Review, December.

Hatry, P. H. and D. M. Fisk. (1992). Measuring the Performance in the Public Sector, in M. Holzer (ed.). Public Productivity Handbook. New York.: Marcel Decker, Inc.

Martin & Ketter. (1997). Measurng the Performance of Human Service Programs.

Saloman, L. M. (1981). The Goals of Reorganization: A Framework for Analysis. Administration and Society, Februray: 481-484.

Rogers, Steve. (1990). Performance Management in Local Government. London: Longman.

송건섭(宋建燮): 경북대학교에서 행정학박사 학위를 취득하고, 현재 대구대학교 행정학과 조교수로 재직 중이다. 관심분야는 행정기획관리, 공공감사, 평가시스템, 행정학방법론 등이며, 저서로는 ‘공공서비스 성과평가와 측정(2005)’, 최근 논문은 ‘성과평가관리시스템구축과 적용: 기초자치단체를 중심으로(2005)’, ‘광역생활권내 자치단체 간 삶의 질의 비교평가(2005)’등이 있다.

<E-mail: kssong@daegu.ac.kr/논문접수일: 2006. 2. 11 /심사완료일: 2006. 5. 8>

<부록> DEA모형에 의한 효율성 평가(전체)

지역	DMU(의사결정단위)	효율성 값						평균	종합 순위
		가정 복지	아동 복지	청소년복지	장애인복지	노인 복지	지역 복지
대구동구	# 1 대구종합사회복지관	.80538	.76759	.61583	.62518	.61961	.83233	.71099	24
	# 2 동촌종합사회복지관	.89548	.84401	.69846	.69846	.70692	.77376	.76952	19
	# 3 안심제1종합사회복지관	.96371	.95451	.80000	.80000	.80000	1.0000	.88637	11
	# 4 안심종합사회복지관	.95096	.87544	.74032	.74032	.81177	.78959	.81807	17
	# 5 제일기독종합사회복지관	.99170	.99170	.99170	.99170	1.0000	1.0000	.99447	5
대구서구	# 6 서구종합사회복지관	.93293	.93293	.93293	.93982	.94293	1.0000	.94692	10
	# 7 제일종합사회복지관	.75189	.66667	.75189	1.0000	1.0000	1.0000	.86174	13
대구남구	# 8 남구종합사회복지관	.71380	.61538	.61538	-	-	.90192	.71162	23
대구북구	# 9 가정종합사회복지관	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1
	#10 산격종합사회복지관	.72827	.89592	.71182	.86142	1.0000	.79001	.83124	15
	#11 선린종합사회복지관	1.0000	.95605	.95605	.95605	1.0000	.96404	.97203	7
대구중구	#12 남산기독종합사회복지관	1.0000	.97426	.94397	1.0000	1.0000	.94397	.97703	6
	#13 남산종합사회복지관	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1
대 구 수성구	#14 범물종합사회복지관	.84316	.56728	1.0000	.57702	.72727	.84752	.76038	21
	#15 지산종합사회복지관	.70818	.70818	.70818	.70818	.77274	1.0000	.76758	20
	#16 청곡종합사회복지관	1.0000	.78984	.78984	.78984	.81359	.79046	.82893	16
	#17 홀트대구종합사회복지관	.92617	.94117	1.0000	-	-	-	.95578	9
	#18 황금종합사회복지관	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1
대 구 달서구	#19 본동종합사회복지관	.72727	1.0000	.81989	.72727	.96922	1.0000	.87394	12
	#20 상인종합사회복지관	.61538	.61538	1.0000	.66506	.89078	.64141	.73800	22
	#21 성서종합사회복지관	.83025	1.0000	.61757	.73671	.75359	.70124	.77323	18
	#22 신당종합사회복지관	1.0000	1.0000	.91983	.92477	1.0000	.95916	.96729	8
	#23 월성종합사회복지관	1.0000	.57143	.57173	.61752	.61752	.69197	.67063	25
	#24 학산종합사회복지관	.75619	.73388	.64644	1.0000	1.0000	1.0000	.85609	14
대 구 달성군	#25 달성군종합사회복지관	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1.0000	1