서베이를 활용한 행정연구 방법론에서

｢지방정부연구｣ 제13권 제3호(2009 가을) : 363～377

□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□

분석의 단위와 수준에 관한 분석

: ｢지방정부연구｣ 게재논문을 대상으로

An Analysis of the Unit and Level of Analysis in the Methodology for Public Administration Using Survey

: Focused on the Papers Published in The Korean Journal of Local Government Studies

강 윤 호

본 연구는 ｢지방정부연구｣에 게재된 서베이 조사연구 방법을 활용한 논문들을 대상으로 하여, 분석의 단위와 수준과 관련된 연구방법론상의 특성과 오류를 발견하는 것을 목적으로 하고 있다. 분석결과, 상당히 많은 논문에서 그러한 오류들이 발견되었으며, 오류가 발견된 논문들은 모두 설명적 연구에 해당되었으며, 특히 그 중에서도 환원을 한 설명적 연구에서 오류가 많이 발견되었다. 기술적 연구로부터는 어떤 오류도 발견되지 않았다. 분석결과는 많은 연구자들이 환원을 통해 자료수집 및 인과분석을 수행하는 과정에서 분석단위와 수준에 상당한 혼란을 겪고 있음을 말해준다.

주제어 : 분석단위와 수준, 서베이, 연구방법론

I. 연구의 목적

서베이 조사연구 방법은 행정학을 포함한 사회과학 연구방법으로 널리 활용되고 있다. 서베이 조사연구 방법은 표본추출, 척도의 구성, 통계분석 등의 과정에서 상당한 주의와 노력을 요구하고, 그 과정에서 고려해야할 사항들도 상당히 많다. 연구의 목적과 특성에 맞게 연구설계를 작성하지 못할 경우, 서베이를 활용한 연구의 결과는 왜곡되거나 신뢰성이 많이 떨어질 수밖에 없다.

현실적으로 행정현상의 연구에 서베이 조사연구 방법을 활용하는 과정에서, 그와 같은 사항들에 대한 본질적 고민 없이, 관련되거나 유사한 선행연구들이 활용한 잘못된 방법론을 그대로 모방함으로써, 방법론적 오류가 재생산 되는 경우가 많다. 저자가 평소 행정학 학술지 게재 논문들을 읽으면서 느끼기에는, 서베이 조사연구 방법을 활용하여 연구를 수행하는 과정에서 특히 분석의 단위와 수준 선정과 관련하여 방법론상의 오류가 많이 생겨나고 있는 듯하다.

이와 같은 문제의식 하에서, 본 연구는 서베이 조사연구 방법을 활용한 행정 연구 논문들이 지니고 있는 분석의 단위와 수준의 문제와 관련된 방법론상의 특징과 오류를 발견하는 것을 목적으로 한다. 아울러 그러한 분석결과를 바탕으로 하여, 향후 서베이를 활용한 행정 연구 수행 시에 그와 같은 오류들을 방지하거나 줄이는 데에 도움을 줄 수 있는 시사점을 발견하고자 한다.

분석은 ｢지방행정연구｣ 제12권 제1호-제4호(2008년)에 게재된 논문들 중에서 서베이 조사연구 방법을 활용한 것들을 대상으로 하여 이루어진다. 동기간 ｢지방정부연구｣에 게재된 논문은 총 58편이며, 그 중에서 24편(약 41.4%)이 서베이 조사연구 방법을 활용한 것으로 확인 되었다. 국내의 행정학 관련 학술지 사이에 방법론적인 특성화가 되어 있지 않아서 ｢지방정부연구｣ 게재논문들의 방법론적 특성이 다른 행정학 관련 학술지 게재논문들의 방법론과 거의 유사하기 때문에, ｢지방정부연구｣에 게재된 논문만을 연구대상으로 해도 그 결과의 일반화 가능성은 높다고 본다. 또한 국내 행정학 연구에 활용되는 서베이 조사연구 방법들이 다양하지 않기 때문에, 본 연구에서 분석되는 24편의 논문은 분석단위와 수준 관련 방법론상의 특성과 오류를 발견하는 데에 충분할 것으로 보여 진다.

저자가 본 논문을 쓰게 된 동기는 저자가 평소 ｢한국행정학보｣를 포함하여 우리 나라에서 출간되는 주요 행정학 학술지 게재 논문들을 읽으면서, 서베이를 활용한 논문들에서 분석의 단위와 수준과 관련된 오류들을 아주 흔하게 발견할 수 있었고 그런 오류들의 발생을 줄이는 데에 조금이라도 기여하고자 한 데에 있다. 여러 학술지 중에서 ｢지방정부연구｣를 연구대상으로 선정한 이유는 이 학술지가 저자의 전공분야와 가장 가깝다고 생각하였기 때문이다. 애초에 연구계획은 이 학술지의 약 3년간의 논문을 분석하고자 하였으나, 1년간의 논문을 분석한 결과 그것만으로도 저자가 설명하고자 하는 오류들을 충분히 발견할 수 있었기 때문에, 즉 1년간의 논문 분석 결과만으로도 본 연구의 목적을 충분히 실현할 수 있다고 생각되었기 때문에 연구대상의 범위를 1년간의 논문으로 한정하였다. 이것은, 제III장에서 본 연구의 분석결과가 말해 주는 바와 같이, 국내 행정학 논문들에서 그런 오류들이 그만큼 많이 발생하고 있다는 반증이라고 볼 수 있다.

서베이를 활용한 행정연구 방법론에서 분석의 단위와 수준에 관한 분석

｢지방정부연구｣ 제13권 제3호(2009 가을)

II. 이론적 논의와 분석기준

1. 이론적 논의

1) 서베이 조사방법의 의의와 특징

설문조사방법은 좁은 의미에서 사전에 인쇄된 설문지에 응답자기 직접 기입하게 하는 방법을 의미한다. 넓은 의미의 설문조사 방법은 이와 같은 좁은 의미의 설문조사방법에 더하여 사전에 작성된 설문지를 면접용으로 사용하는 경우도 포함한다. 이러한 넓은 의미의 설문조사법을 서베이 조사방법으로 본다. 서베이 조사방법의 핵심적 구성요소 중의 하나가 표준화된 설문지를 사용하는 것이기 때문에, 보통 설문조사방법이 서베이 조사방법으로 불리기도 한다(남궁 근, 2003).

서베이 조사방법의 특징은 표본추출, 구조화된 설문지, 통계분석 등 세 가지로 요약된다(Babbie, 1973). 표본추출은 설문조사 대상을 연구 대상인 모집단으로부터 선발하는 것이다. 표본의 모집단 대표성, 표본의 수, 표본추출의 단위(sampling unit) 선정 등이 중요한 요소가 된다. 분석단위와 수준과 관련해서는 적절한 표본추출 단위를 선정하는 것이 중요하다. 모집단의 단일 구성요소가 표본추출 단위가 된다. 표본추출 단위는 반드시 개인일 필요는 없으며, 사건, 도시, 국가 등이 될 수도 있다. 문화 횡단적 연구에서는 사회가 표본추출 단위가 될 수 있다(Chava Nachmias & David Nachmias, 1981: 295).

서베이 조사연구에서는 구조화된 설문지를 작성하여 표본으로 선발된 설문조사 대상자들을 대상으로 자료를 수집한다. 설문지 작성 시 척도의 신뢰성과 타당성을 확보하는 것이 중요하다. 이때 분석단위와 수준의 문제와 관련해서 설문을 통해 어떤 단위의 속성을 측정할 것인지를 잘 선택하여야 한다. 이와 관련된 척도의 타당성에 관한 논의가 이루어진 적이 없지만, 이것은 여러 가지 타당성의 종류 중에서 Chava Nachmias & David Nachmias(1981: 139-140)가 말하는 액면 타당성(face validity)에 해당되는 것으로 보인다.

Chava Nachmias & David Nachmias(1981)는 척도의 타당성의 종류를 내용 타당성(content validity), 경험적 타당성(empirical validity), 구성 타당성(construct validity) 등 세 가지로 분류한다. 그들은 또한 내용 타당성을 액면 타당성과 표본추출 타당성(sampling validity)으로 구분한다. 액면 타당성은 측정도구가 측정되는 개념에 관련된 정도(extent)에 관한 것으로, 그것에 관해 척도의 내용을 전문가들이 주관적 관점에서 평가하게 된다. 표본추출 타당성은 측정도구의 내용이 측정되는 속성(개념)의 내용적 모집단(content population)을 충분히 대표하는가에 관한 것이다. 즉 이것은 어떤 변수를 측정하고자 할 때, 그 변수에 대한 많은 측정 도구들(내용적 모집단)로부터 대표성 있는 표본이 측정도구로 추출 되었는가에 관한 것이다.

국내에서 이루어지는 많은 서베이 조사방법을 활용한 연구들이 척도의 타당성 검증 방법으로 요인분석을 사용한다. 요인분석은 다양한 종류의 타당성 중에서, 구성 타당성의 두 가지 구성요소인 수렴적 타당성과 차별적 타당성을 검증하고자 하는 것이다. 수렴적 타당성은 같은 개념을 상이한 측정방법으로 측정하였을 때, 그 측정값들 사이의 상관관계의 정도를 나타낸다. 같은 개념을 측정하는 여러 측정도구들간에 상관관계가 높으면 그 측정도구의 타당성이 높다고 보는 것이다. 반면, 차별적 타당성은 서로 다른 개념을 측정하는 측정도구들간에 상관관계가 낮을 경우 그 측정도구의 타당성이 높다고 보는 것이다(남궁 근, 2003). 요인분석을 통해 이 두 가지 타당성이 검증되었다 하더라도, 척도의 내용에는 문제가 있을 수 있다. 왜냐하면, 수렴적 타당성을 예로 들어 보면, 동일한 개념을 측정하는 도구들이 공통적으로 체계적인 오류를 범하고 있으면 그들간에 상관관계는 얼마든지 높게 나타날 수 있기 때문이다.

이런 면에서 보면 측정도구의 내용 타당성에 관한 관심을 우선적으로 갖는 것이 무엇보다 중요하다고 하겠다.

국내에서 수행되는 서베이를 활용하는 조사연구에서 측정의 신뢰성을 추정하는 방법으로 Cronbach의 α값이 많이 이용된다(Cronbach, 1951). 이것은 측정의 신뢰도의 여러 차원 중에서 동등성 신뢰도(equivalence reliability)를 추정하고자 하는 방법이다. 동등성 신뢰도는 하나의 개념을 복수의 측정도구를 사용하여 측정할 때 그 측정 결과에 일관성이 있으면 측정도구의 신뢰도가 있는 것으로 보는 것이다. Cronbach의 α값을 통해 척도의 신뢰도가 검증되었다 하더라도, 그 척도는 여전히 문제를 지니고 있을 수 있다. 왜냐하면 동일 개념을 측정하고자 하는 여러 측정도구들이 체계적으로 동일한 오류를 지니고 있는 경우에, 그 측정도구들의 측정 결과가 일관성 있게 나올 수 있기 때문이다.

이런 면에서 측정도구의 내용 타당성의 중요성이 다시 한번 강조 될 수 있다.

설문지를 통해 수집된 자료는 회귀분석 등 통계분석 방법을 통해 분석된다. 통계분석 방법의 선택 시 자료의 성격, 분석단위와 수준, 연구목적 등에 부합하는 적절한 방법을 선택하는 것이 중요하다.

2) 분석단위와 수준

사회과학 연구에서 분석단위와 수준과 관련하여, 연구방법론은 크게 방법론적 개체주의(methodological individualism)와 형이상학적 전체주의(metaphysical (w)holism)로 구분된다. 방법론적 개체주의는 사회과학에서 사용되는 용어와 이론은 모두 개인(개체; 부분) 수준의 용어와 이론으로 정의되고 환원(reduce)될 수 있다고 본다. 반면 형이상학적 전체주의는 집단수준의 분석단위는 개인수준의 속성들만으로 정의될 수 없는 집단수준의 독자적인 용어가 있다고 주장한다. 또한 전체주의는 개인수준의 이론으로 환원될 수 없는 집단수준의 독자적인 이론이 있는 것으로 본다(강신택, 2005).

방법론적 개체주의는 방법론적 개인주의, 형이상학적 전체주의는 형이상학적 신비주의로 각각 사용되기도 한다.

이런 관점에서 방법론적 개체주의에서는 집단을 구성하는 개체 수준으로 분석의 단위와 수준이 환원(reduction)될 수 있으며, 개체 수준에서의 속성으로부터 집단 수준의 속성이 구성(composition)될 수 있다. 이런 견해를 환원주의(reductionism)라고 부른다.

환원은 상위의 대상단위의 속성을 알기 위하여 낮은 수준의 주제단위로 분석의 수준을 낮추는 것이며, 구성은 하위의 주제단위의 속성으로부터 상위의 대상단위의 속성을 추론하는 것을 의미한다(강신택, 1995).

분석단위는 대상단위(object unit)와 주제단위(subject unit)로 구분될 수 있다. 분석의 대상단위는 연구자가 설명하려는 단위이고, 분석의 주제단위는 대상단위의 속성을 설명하기 위하여 관찰하는 단위이다. 분석수준의 설정은 대상단위와 주제단위의 관념적 관계에서만 이해될 수 있다(Eulau, 1969). 실제 경험적으로는 동일한 단위(예, 집단)가 설명단위인 동시에 주제단위가 될 수 있는데, 이것은 동일 수준에서 관찰․설명(분석)하는 경우이고, 주제단위가 대상단위와 다른 수준에 있으면(예, 주제단위는 개인, 대상단위는 집단) 관찰은 다른 수준에서 하고 설명은 자체수준에서 하는 것이 된다(강신택, 1995). 결국 분석(관찰․설명)의 수준은 주제단위의 선정에 의하여 결정됨을 알 수 있다.

대상단위와 주제단위는 학자에 따라 다른 용어로 사용된다. 이 두 가지 용어를 남궁 근(2003)은 설명단위와 분석단위, Ragin(1987)은 설명단위와 관찰단위로 각각 사용한다.

사회과학 연구에서 분석단위는 개인, 집단 이나 조직, 프로그램, 제도, 사회, 지방정부, 국가 등이 될 수 있다. 분석단위의 선정을 잘못하면 분석방법론상에 오류를 범할 가능성이 클 뿐만 아니라 그 결과를 해석하는 데에도 논리적 오류를 범할 수 있다. 분석단위의 선정 및 해석과 관련하여 범할 수 있는 오류로는 크게 생태적 오류(ecological fallacy)와 환원주의적 오류(reductionism) 혹은 개체주의적 오류(individualistic fallacy)의 두 가지로 나누어 질 수 있다. 생태적 오류는 주로 집단을 분석단위로 채택하여 연구한 결과를 개인 등 하위단위에 적용시켜 해석할 때 나타날 수 있는 오류를 말한다. 반면, 환원주의적 오류(개체주의적 오류)는 개인을 분석단위로 한 연구결과를 기초로 집단이나 사회와 같은 상위단위의 특성을 추론할 때 나타날 수 있는 오류이다.

이 두 가지 오류는 설명대상과 다른 수준(상위 혹은 하위)의 분석단위의 관찰 결과(속성)를 설명대상 단위의 속성을 추론하는 데에 적용할 때 나타나는 오류이다. 이것은 분석단위와 수준의 선정과 지표구성이 잘못되면 그 분석결과의 해석에서 큰 오류를 범할 수 있음을 잘 설명해 준다. 이에 대한 자세한 논의는 남궁 근(2003)의 연구를 참조하기 바란다.

분석단위 및 수준과 관련하여, 설문조사의 경우 집단수준 속성을 개인 대상 설문조사를 통해 밝힐 수도 있다. 예를 들어, 조직의 속성을 대변해주는 객관적 자료가 존재하지 않을 경우 개인에게 조직 속성에 관한 질문을 하고 그 응답에 기초하여 조직 속성 자료를 수집하는 것이다. 또한 집단 속성을 추정할 때, 환원주의에 따라 설문으로 개인 속성을 측정하여 그것을 집단 수준 속성으로 구성할 수도 있다. 어느 경우든, 대상단위가 조직(집단)이면 전체주의에 따르던지 환원주의에 따르던지 관계없이, 최종적 설명은 집단을 사례로 하여 집단 속성에 대한 설명이나 집단 속성간 비교분석이 이루어져야한다.

2. 분석기준

서베이 조사연구 방법에서 분석단위와 수준 선정의 잘못은 설문지(척도) 구성, 표본추출, 통계분석방법, 분석결과의 해석 등 연구의 전 과정에서 오류를 초래할 수 있다. 서베이를 활용한 연구에서 분석의 단위와 수준과 관련된 이러한 오류들을 평가하기 위해서는, 서베이 조사방법의 구성요소나 특징별로 체크리스트를 작성하는 것이 유용하다. 즉 구조화된 설문지 작성(척도의 구성), 표본추출(자료수집 대상의 선정), 통계분석 등 세 가지 관점에서 연구의 타당성이나 오류를 평가하고 분석하기 위한 체크리스트를 작성할 수 있다. 본 연구에서는 앞에서 살펴 본 이론과 그동안 저자의 서베이 조사방법 수행 경험에 기초하여 <표 1>과 같이, 네 가지 관점에서 분석을 위한 기준이나 체크리스트들을 작성하여 분석에 활용하고자 한다. 아래의 체크리스트들은 앞에서 언급한 생태적 오류와 환원주의적 오류 외에 분석단위와 수준의 선정과 관련된 여러 가지 방법론상의 오류들을 체크할 수 있도록 작성되었다.

<표 1> 서베이 조사연구 방법의 오류 체크 리스트

서베이 방법의 구성요소	오류의 체크 리스트
척도의 구성	- 척도를 통해 측정하고자 하는 내용이 주제단위의 속성에 부합하는가(액면 타당성의 문제)? - 척도의 구성이 환원과 구성에 적합하도록 되었는가?
표본추출	- 모집단은 제대로 선정되었는가? - 표본이 대표성을 갖는가? - 표본의 단위와 수준은 분석의 단위와 수준에 맞게 설정되었는가?
통계분석	- 사례(case 혹은 observation)의 수준 선정이 통계분석 방법과 조화가 되었는가? - 통계분석 방법은 분석의 단위와 수준에 부합하도록 적절하게 선택되었는가? - 인과관계의 추정 방법은 타당한가?
분석결과해석	- 환원주의적 방법을 취했을 경우, 해석 시 구성이 적절하게 이루어졌는가? - 해석에서 대상단위와 주제단위 사이에 혼란은 없는가?

III. 분석결과: 오류의 발견

1. 전반적 연구 특성 분석

분석은 한국지방정부학회에서 출간하는 ｢지방정부연구｣ 제12권 제1호~제4호(2008년)에 게재된 논문 중에 서베이 조사연구 방법을 사용한 논문들을 대상으로 이루어졌다. 그 기간 동안 게재된 총 58편의 논문 중 24편(약 41.4%)이 서베이 방법을 활용한 것으로 분석되었으며, 이를 통해 행정연구에서 서베이 조사방법의 활용도가 대단히 높다는 것을 알 수 있다.

분석대상 논문들의 연구 유형을 살펴보면, 총 24편 중 설명적 분석이 17편 기술적 분석이 8편으로, 설명을 목적으로 하는 연구의 비중이 기술을 목적으로 하는 것의 2배가 넘는 것으로 나타났다. 이것은 우리 나라의 행정학 관련 학술지의 경우, 설명적 연구가 기술적 연구에 비해 게재 가능성이 훨씬 더 높기 때문에 나타난 현상으로 생각된다.

2. 분석기준에 따른 분석(<부록> 참조)

분석기준에 따라 24편의 논문의 방법론상 특성과 오류를 분석한 결과가 <부록>에 자세히 나타나 있다. 그 중에서 오류가 발견되었거나 특별히 언급할 만한 것들은 다음과 같다.

재난 관리 조직의 자원보유 정도와 조직간 협력수준 사이의 관계를 분석한 김석곤․최영훈(2008)의 연구는 분석의 단위와 수준이 조직 차원이다. 따라서 조직에 속한 개인들을 대상으로 설문을 통해 조직의 속성(자원보유정도 등)을 측정하였다면, 각 조직별로 소속 개인들의 응답결과를 집계(혹은 평균)한 후 그 조직을 단위로 한 군집분석을 통해 조직들을 군집으로 분류한 후 군집간 비교 분석이 이루어져야 했다. 그러나 그런 집계 과정 없이 응답자 개인들을 단위로 군집화 시킴으로써, 동일한 조직에 속한 개인들이 서로 다른 군집에 속하고 상이한 조직 소속 개인들이 같은 군집으로 분류되는 결과를 초래하였다. 이런 경우는 한 개인(개인 단위)을 하나의 조직(조직 단위)으로 간주하게 되는 오류를 범하게 되며, 개인을 대상으로 분류한 군집간 속성의 차이를 마치 재난 관리 조직간의 속성 차이로 잘못 생각하고 해석하는 오류 역시 범하게 된다.

오세윤(2008)은 규제정책 집행 과정에서 담당 공무원들을 대상으로, 감성이 지각(인식)과 순응(저항) 사이에 매개 변수적 역할을 하는지를 검증하였다. 그러나 순응 개념을 측정하기 위한 측정도구들의 대부분(규제내용 이해정도, 내용 명확성, 규제 필요성, 규제 수준의 적절성, 목적달성 부합도, 규제의 집행력, 벌칙의 적절성 등)은 순응 개념 자체 보다는 순응에 영향을 주는 변수들을 구성하는 개념들이라고 볼 수 있다. 또한 규제 준수율은 주제단위인 개인 차원이 아니라 조직 차원의 순응 측정 도구라고 볼 수 있다. 이런 면에서 이 척도는 액면 타당성을 확보하지 못하고 있는 것으로 보인다.

성영태 외(2008)는 8개 지방자치단체를 대상으로 단체장의 리더쉽 유형이 조직몰입에 미치는 영향을 구조방정식 모형을 활용하여 분석하였다. 이것은 지방자치단체간 비교분석을 통해 자치단체 사이에 단체장의 리더쉽의 차이가 구성원들의 조직몰입도의 차이를 초래하는지에 관한 인관관계를 추정하는 것이다. 자치단체의 속성을 파악하기 위해서 각 자치단체로부터 수십명의 응답자를 추출하여 개인적 속성에 관한 설문조사를 수행하였으므로(환원), 지방정부가 대상단위이며 개인이 주제단위가 된다. 이 경우, 지방자치단체 별로 구성원들의 응답치를 집계(혹은 평균)하여(구성) 지방자치단체를 사례로 한 통계분석이 이루어져야 한다. 우선 8개의 자치단체는 구조방정식 모형을 통해 그런 분석을 하기에는 사례수가 지나치게 적다. 하나의 사례는 독립변수와 종속변수를 각각 하나씩 지니고 있어야 한다. 이 연구에서는 개인을 사례로 하여 인과분석을 수행함으로써, 마치 응답자의 수만큼 독립변수인 단체장 리더쉽의 유형(자치단체의 수)이 존재하는 것으로 가정하는 오류를 범하고 있다. 즉 1개 자치단체에 단체장의 리더쉽 유형은 하나임에도 불구하고, 1개 자치단체에서 수십명(그 조직 내의 응답자 수만큼)의 자치단체장(그리고 그 리더쉽 유형)이 존재하고 그 숫자만큼 조직몰입도의 유형이 존재하는 것으로 간주하는 오류를 범하고 있다. 이 연구에서 분석 대상인 자치단체의 수가 실제는 8개이지만, 마치 그 수를 응답자 수만큼(552개)으로 가정(혹은 착각)하고 분석을 수행한 것이 되어버린다. 따라서 결과의 해석에서도, 개인을 사례로 비교분석 한 분석결과를 마치 자치단체간의 비교분석 결과인 것처럼 해석하는 오류를 범하게 된다. 이 경우 자치단체장별 혹은 그 리더쉽 유형별 종속변수의 평균 차이를 비교분석하는 ANOVA 방법을 활용하는 것이 더 타당할 수 있다.

실제로 국내에서 이루어지는 서베이 조사방법을 활용한 많은 행정연구들, 특히 행정조직 몰입도 등에 관한 조직론 분야의 상당수의 연구들은 이와 동일한 오류를 대단히 많이 범하고 있다.

이 경우, 구조방정식 모형을 통계분석방법으로 활용한 것이 잘못이라고 볼 수 있지만, 다른 한편으로 표본추출에도 문제가 있다고 볼 수 있다. 즉 구조방정식 모형을 활용하여 지방정부(조직) 단위에서 인과관계분석을 수행하기 위해서는, 구조방정식 모형이 적용될 수 있을 정도의 충분한 숫자의 지방정부를 표본으로 추출해야하지만, 이 연구는 오직 8개의 지방정부만을 표본으로 추출함으로써 조직 단위에서 구조방정식 모형의 적용이 불가능하게 되어버렸다. 이것은 표본의 단위와 수준이 지방정부이어야 하는데 그 하위단위인 개인으로 오해함으로써 나타난 오류로서, 실제 추출된 ‘표본의 단위와 수준(개인)’이 ‘분석의 단위와 수준(조직)’과 불일치함으로써, 분석이 개인단위에서 이루어지는 오류에 해당된다고 볼 수 있다.

공공서비스 관리이론의 한국적 적실성을 분석한 우양호(2008)의 연구는 논문의 내용과 논문에 제시된 자료만으로는 주제단위를 명확히 판단하기 어렵지만, 지방자치단체 소속(산하)의 분야별 하부 조직이 주제단위일 것으로 판단되며, 그 경우 분석의 오류는 없다고 볼 수 있다. 공공서비스 관리이론의 한국사회(대상단위)에서의 적실성을 설명하기 위해, 지방정부의 하부조직 단위(주제단위)의 속성을 관찰(환원)한 다음 그 분석 결과에 기초하여 상위 단위인 한국사회의 속성(이론의 적실성)을 추론(구성)하고 있기 때문에, 분석의 단위와 수준의 선정이 적절하다고 볼 수 있다.

우양호(2008)의 논문에서 저자는 대상단위는 서비스기관(지방정부의 하부(소속) 조직)이며 주제단위는 구체적 분석내용에 따라 행정기관(서비스기관) 혹은 주민 개인이라고 설명하고 있지만, 이것은 ‘분석단위와 수준’에 대한 저자의 오해에서 비롯된 것으로 보인다. 이 논문은 이와 같이 표현 상의 잘못은 있지만, 본문에서 설명하였듯이 논리적으로는 분석의 단위와 수준 관련 방법론상의 오류는 없을 것으로 판단된다. 그러나 그 논문의 설명 내용만으로는 주제단위와 척도의 액면타당성에 대한 판단이 확실하지 않으므로, 일단은 방법론상의 오류 유무에 대한 판단 역시 불확실 한 것으로 보기로 한다.

하미승․심기환(2008)은 지방자치경찰제가 아직 실시되지도 않은 지역을 대상으로, 그 제도 실시에 따른 치안서비스의 결정요인을 주민 인식에 기초하여 분석하고 있다는 데에서 오류를 범하고 있다. 제도 실시에 따른 공공 서비스 수준의 결정요인은 실시 이후의 경험적 자료에 기초하여 분석이 이루어져야할 것이다. 분석단위와 수준과 관련해서도, 종속변수인 치안 서비스 수준을 지역별(지역 단위)로 설명하고자 하고 있으므로, 독립 및 종속변수에 대한 개인의 응답치를 지역별로 평균하여 지역을 사례로 비교분석함으로써, 지역간의 차이를 밝히는 데 초점을 두어야 하지만, 개인의 설문 응답치를 그대로 인과분석에 활용하여 개인을 사례로 비교함으로써 한 개인을 한 지역으로 가정한 오류를 범하고 있다. 자치경찰제 도입에 따른 경찰의 자율적 권한 수준, 정치적 중립성, 국가경찰과 지방경찰간의 권한책임 관계 등의 많은 변수들은 국가적 단위의 속성이므로 각 지역간에도 논리적으로나 실제적으로 차이가 없다고 보아야하므로, 이들을 독립변수로 사용하여 종속변수의 지역간 차이를 분석하는 것은 오류이다. 설령 이들 국가단위 변수들의 속성을 응답자들의 인식차이에 의존하여 그 차이의 존재를 인정한다고 하더라도, 설명단위가 지역단위이므로 지역별로 응답치의 평균값을 계산하여 분석에 투입하여야 할 것이다. 이것은 무리하게 회귀분석 방법을 활용하고자 함으로써 나타난 오류로 보여 진다. 이런 경우는 특정 분석방법을 고집하기 보다는, “자치경찰제의 실시에 따라 경찰조직의 분권화 수준이 높아질수록 치안서비스는 높아질 것이다” 와 같은 논문에 제시되고 있는 연구가설들을 그대로 설문문항으로 하여, 전문가나 이해관계자들을 대상으로 조사를 함으로써, 무난히 연구의 목적을 달성할 수 있을 것으로 보인다.

개인의 인식에 기초하여 반부패정책 효과의 영향요인을 분석한 민병익․이상범(2008)의 연구는 분석의 대상단위가 국가 수준이다. 국가단위의 정책효과의 영향요인 분석은 복수의 국가간 비교분석을 해야 하는 데(그들의 논문에서는 개인들의 응답치를 국가별로 집계하여 분석해야 하는 데), 1개 국가의 속성을 개인들의 인식에 기초하여 측정한 후 그 개인들 하나 하나를 사례로 하여 개인간을 비교분석함으로써, 1개인을 1국가로 간주한 오류를 범하고 있다. 개인의 인식에 기초하여 속성을 측정한 후 개인을 사례로 하는 분석은 개인 단위의 반부패정책 효과의 영향요인 분석에 적합한 방법이다. 그들의 논문은 분석결과의 해석에서도 논리적 비약이 있다. 한 가지 예를 들어, 분석을 통해 밝혀진 반부패정책 효과성 변수와 시민참여 변수 사이의 정의 인과관계는, 시민참여가 잘되고 있다고 인식하는 설문 응답자가 반부패정책 효과성도 클 것으로 생각(인식)하고 있다는 의미이지, 두 변수간 실증적 인과관계를 의미하는 것이 아니다. 따라서 그 변수들 사이의 인과관계에 기초하여, 시민참여가 공직부패의 근절에 기여를 할 수 있다는 저자들의 해석은 오류이다.

김은희 외(2008)는 지방행정조직의 환경적 특성이 공무원의 혁신적 행동에 미치는 영향을 분석하였다. 그들은 분석단위와 수준에 대한 혼란을 겪어서 분석방법에 오류를 범하고 있다. 즉 그들 논문의 대상단위는 조직이며 주제단위는 개인(종속변수)과 조직(독립변수)이다. 따라서 개개인의 응답치를 조직단위로 집계하여(이때 종속변수의 경우는 개인의 특성을 조직의 특성으로 구성하는 것임) 조직을 사례로 하여 조직간 비교분석이 이루어져야 했다. 그러나 그들은 하나의 조직에서 수십 명의 응답자가 추출되었음에도 불구하고, 그들 개인을 그대로 사례로 하여 분석을 수행함으로써, 개인을 상위 단위인 조직으로 간주하는 오류를 범하고 있다.

3. 분석결과의 종합

방법론적으로 분석의 단위와 수준 관련 오류가 발견된 논문은 총 24편 중 6편(25%)으로 나타났다. 총 24편 중 4편은 논문에 제시된 설명과 자료만으로는 오류 유무를 판단하기가 확실하지 않았다. 이들 오류는 모두 설명적 연구에서 발견되었으며, 기술적 연구에서는 오류가 한건도 발견되지 않았다. 즉 설명적 연구 17편 중 6편에서 오류가 발견되어서, 설명적 연구의 오류의 비중이 1/3을 넘는 수준(약 35.3%)이다. 이것은 회귀분석이나 구조방정식 모형으로 인과관계를 검증하는 과정에서, 분석의 단위(사례)가 조직 수준인데도 하위 단위인 개인을 사례로 하여 분석을 수행하는 경우가 많기 때문에 나타난 결과이다. 이런 경우는 거의 대부분 연구자가 분석의 단위와 수준에 혼란을 겪어서, 표본 추출 과정에서 조직 단위의 사례를 충분히 확보하지 않고 하위 단위인 개인을 사례(분석단위)로 간주하여 분석을 수행하기 때문이다.

이들 오류 유무가 불명확한 4편을 제외하면 총 20편 중 6편에서 오류가 발견되어 약 30%의 논문이 오류를 범하고 있다.

특히 많은 논문들이 척도(설문)의 내용을 공개하지 않거나 공개하더라도 간략히 압축하여 공개함으로써, 척도의 액면타당성을 판단하기 어려운 경우가 많았다. <부록>에서 척도의 액면타당성이 ‘불확실’로 되어있는 논문들이 이 경우에 해당된다.

오류 유무의 판단이 불명확한 4편 중 3편이 설명적 연구이다. 이 3편을 제외하면 14편의 설명적 연구 중 6편에서 오류가 발견되어서, 오류를 범한 논문의 비율이 절반에 가까운 약 43%나 된다.

이런 현상은 환원을 시도한 연구에서 오류가 많이 발견되었다는 사실을 통해서도 알 수 있다. 24편 논문 중 11편이 환원을 하였고 13편이 환원을 하지 않았다. 오류가 발견된 6편의 논문 중 4편이 환원을 한 11편에서 나왔고, 나머지 2편은 환원을 하지 않은 13편 중에서 나왔다. 즉 환원을 한 논문 11편 중 4편(약 36.4%)이 오류를 범했으며, 환원을 하지 않은 논문 13편 중에서는 2편에서 오류가 발견되었다. 연구에서 환원을 할 경우 주제단위와 대상단위의 수준이 분리됨으로써 분석의 단위와 수준의 이해에 혼란이 생길 수 있기 때문에, 환원을 한 논문에서 오류 발견율이 이렇게 크게 나타난 것으로 볼 수 있다.

오류 유무가 불확실한 논문 4편 모두 환원을 한 논문이므로 이 4편을 제외하면, 환원을 한 논문 7편 중에서 4편이 오류를 범한 셈이므로 오류를 지닌 논문의 비율이 절반이 훨씬 넘는 약 57.1%에 이른다.

설명과 환원을 둘 다 시도한 연구, 즉 환원을 한 설명적 연구는 9편이며 그 중 4편에서 오류가 발견되어서, 오류를 범한 논문의 비중이 약 44.4%로 대단히 높게 나타났다. 이것은 설명적 연구에서 환원을 하는 과정에서 특히 방법론상의 오류를 많이 범하고 있다는 의미이다. <부록>에서 볼 수 있듯이, 성영태 외(2008), 하미승․심기환(2008), 민병익․이상범(2008), 김은희 외(2008) 등 4편의 논문이 환원을 하였고, 동시에 회귀분석이나 구조방정식 모형을 통해 인과분석(설명적 연구)을 시도하였다. 이들 4편의 논문은 모두 환원 과정에서 분석단위와 수준에 혼란을 겪었고, 그런 과정에서 분석단위(사례)가 조직임에도 불구하고 하위 단위인 개인을 사례로 회귀분석을 수행한 오류를 범하였다. 이것은 이들 저자들이 회귀분석이나 구조방정식 모형을 통한 인과분석에 지나치게 집착한 결과 나타난 오류일 것으로 보여 진다.

오류의 판단이 불명확한 4편의 논문 중 환원을 한 설명적 연구는 3편이다. 이를 제외하면 설명과 환원을 동시에 시도한 논문 6편 중 4편이 오류를 범하고 있으므로, 오류를 범한 논문의 비중이 2/3(66.6%)에 이른다.

IV. 결론 및 연구의 시사점: 오류 줄이기

본 연구는 ｢지방정부연구｣에 게재된 서베이 조사연구 방법을 활용한 논문들을 대상으로 하여, 분석의 단위와 수준과 관련된 방법론상의 특성과 오류를 발견하는 것을 목적으로 하였다. 분석결과, 오류가 발견된 논문들은 모두 설명적 연구에 해당되었으며, 특히 그 중에서도 환원을 한 설명적 연구에서 오류가 많이 발견되었다. 이것은 환원을 통해 인과분석을 수행하는 과정에서 연구자들이 분석단위와 수준에 많은 혼란을 겪고 있음을 말해준다.

분석을 통해 서베이 조사연구 방법을 통한 행정연구의 오류를 줄이는 데에 도움을 줄 수 있는 다음과 같은 시사점들을 발견할 수 있었다. 첫째, 서베이를 활용한 설명적 연구에서 회귀분석(구조방정식 모형 포함)이 만능인가 하는 점을 생각해 볼 필요가 있다. 분석의 단위가 조직인 경우, 회귀분석을 하려면 사례(case 혹은 observation)인 조직의 수를 회귀분석이 가능할 만큼 충분히 늘리던지, 아니면 그것이 곤란할 경우 회귀분석 대신 교차분석, ANOVA, t-test 등의 분석방법을 사용하여 분석을 수행하는 것이 좋다. 그렇게 하면 조직단위의 분석에서 조직 대신 개인을 단위로 하여 회귀분석을 하는 오류를 피할 수 있을 것이다.

분석의 단위가 조직인 경우, 사례는 횡단면적 분석에서는 조직이 종단면적 분석에서는 월, 연도 등 시계열자료의 수집 단위가 된다. 사회과학 연구에서 서베이 방법은 거의 대부분 횡단면적 연구에서 활용된다.

둘째, 분석 대상인 논문들에서, 분석의 단위와 수준 관련 오류는 모두 설명적 연구에서 나타났으며 기술적 연구에서는 나타나지 않았다. 현실적으로 국내 행정학계에서 기술적 연구에 비해 설명적 연구의 학술지 게재 가능성이 높기 때문에, 연구의 여건 상 기술적 연구를 수행하는 것이 적합하거나 바람직한 경우도 무리하게 설명적 연구로 전환시켜 분석하는 과정에서 방법론상의 오류를 범하는 경우가 많다. 예를 들어, 하나의 조직 당 복수의 개인(예를 들어 수십 명)을 대상으로 설문조사를 수행한, 분석단위가 조직인 연구에서 빈도수, 평균값 등을 활용한 해당 조직들의 속성 기술을 통해서도 충분히 연구의 의의를 찾을 수 있는 경우도 있다. 그런데 연구대상으로 선정된, 분석단위로서의 조직의 수가 한 개 혹은 소수임에도 (그래서 회귀분석을 수행하는 것이 적합하지 않음에도) 회귀분석 등과 같은 방법을 통해 인과관계를 찾으려고 하는 경우가 많다. 이 경우, 조직의 수가 회귀분석을 수행하기에 너무 적으므로 설문조사 대상인 개인을 단위(사례)로 하여 회귀분석을 수행하게 된다. 이것은 연구의 특성 상 회귀분석이 적합하지 않음에도 불구하고, 무리하게 회귀분석을 고집하는 과정에서 분석 단위와 수준에 대한 혼란을 겪음으로서 나타나는 오류이다. 설명적 연구에서 분석의 단위와 수준 관련 오류들이 많이 나타난 반면, 기술적 연구에서는 그러한 오류들이 발견되지 않은 이유가 이것과 큰 관련이 있는 것으로 보인다.

셋째, 분석 과정에서 환원을 한 논문에서 분석의 단위와 수준 관련 오류가 많이 발견되었다. 이것은 주제단위를 대상단위 보다 하위 수준으로 낮출 경우, ‘분석단위와 수준’과 ‘분석방법’에 대해 연구자들이 혼란을 많이 겪는다는 것을 말해준다. 이런 혼란과 오류를 피하기 위해서는 일단 환원이 이루어졌으면, 이후의 분석 과정이나 분석결과 해석 과정에서 반드시 구성이 이루어져야 한다는 점을 염두에 두어야할 것이다. 구성의 시점은 분석 과정, 분석결과 해석 과정 등 환원 이후의 어느 한 단계에서 이루어져야 하는데, 그 적절한 시점은 연구의 상황에 따라 다르므로 그 판단은 연구자가 신중히 결정하여야 할 것이다.

넷째, 현실적으로 사회과학 연구를 수행하는 과정에서 유사한 혹은 관련된 선행연구의 잘못된 연구방법론을 그대로 모방하여 활용함으로써, 오류를 확대 재생산하는 경우가 많이 발견된다. 연구의 목적이나 연구대상, 혹은 연구자료의 특성 등의 상황에 따라 각 연구에 적합한 방법론이 다르므로, 연구자는 연구 수행 과정에서 방법론에 대한 본질적 고민을 충분히 할 필요가 있다.

참 고 문 헌

강신택. (2005). ｢행정학의 논리｣. 서울: 박영사.

곽현근. (2008). 개인의 자아존중감과 자기효능감에 미치는 동네효과 연구. ｢지방정부연구｣, 12(4).

김상호. (2008). 한국경찰의 전문직업화 분석. ｢지방정부연구｣, 12(2).

김석태. (2008). 지역간 정의와 분권 및 분산 정책간 선택: 정책 실무자의 인식을 중심으로. ｢지방정부연구｣, 12(1).

김석곤․최영훈. (2008). 지방자치단체 재난관리의 자원보유인식과 협력에 관한 연구. ｢지방정부연구｣, 12(1).

김은희 외. (2008). 지방정부의 조직환경적 특성이 공무원의 혁신적 업무행동에 미치는 영향. ｢지방정부연구｣, 12(4).

김인주․주효진. (2008). 노인복지시설 생활지도원의 소진에 관한 경험적 연구: 충청북도 시설을 중심으로. ｢지방정부연구｣, 12(1).

문유석․허용훈. (2008). 사회적 자본이 적극적 경찰활동에 미치는 영향. ｢지방정부연구｣, 12(3).

민병익․이상범. (2008). 반부패정책 효과의 영향요인. ｢지방정부연구｣, 12(3).

박국흠. (2008). 지방공무원의 조직몰입과 혁신형태가 지식관리에 미치는 영향. ｢지방정부연구｣, 12(2).

박선경. (2008). NGO활동이 여성의 정치자본에 미치는 영향: NGO구성원과 비구성원의 인식차이를 중심으로. ｢지방정부연구｣, 12(1).

성영태 외. (2008). 기초자치단체장의 리더쉽 유형이 공무원의 조직몰입에 미치는 영향: 대구광역시를 중심으로. ｢지방정부연구｣, 12(1).

송건섭 외. (2008). 삶의 질에 관한 평가지표의 구성과 적용. ｢지방정부연구｣, 12(4).

오세윤. (2008). 규제정책 집행과정에서 감성의 매개변수적 역할 검증. ｢지방정부연구｣, 12(1).

우양호. (2008). 공공서비스 관리이론의 한국적 적실성에 관한 비교연구: 신공공관리론과 신공공서비스론을 중심으로. ｢지방정부연구｣, 12(2).

윤권중. (2008). 지방공무원의 노조몰입 결정요인 분석. ｢지방정부연구｣, 12(3).

이강웅. (2008). 혐오시설 입지갈등관리의 우선순위 모색. ｢지방정부연구｣, 12(2).

이동수. (2008). 사회복지시설 종사자의 공정성 인식이 직무태도에 미친 영향: 노인복지시설 및 장애인 복지시설을 대상으로. ｢지방정부연구｣, 12(2).

이동수. (2008). 종합사회복지관 종사자의 공정성과 클라이언트만족간의 관계요인에 따른 조절효과 분석. ｢지방정부연구｣, 12(4).

이희태. (2008). 사회복지관의 TQM 도입효과 분석. ｢지방정부연구｣, 12(2).

초의수. (2008). 참여정부 국가균형발전정책에 대한 평가 연구: 국민의식조사를 중심으로. ｢지방정부연구｣, 12(3).

최용부․민병익. (2008). 주거만족과 주택가격간의 관계분석: 경상남도 진주시 아파트형 주택을 중심으로. ｢지방정부연구｣, 12(1).

하미승․심기환. (2008). 치안서비스 결정요인에 관한 연구: 지방자치경찰제를 중심으로. ｢지방정부연구｣, 12(3).

한동효 외. (2008). 지방정부 정책과정의 단계별 성과의 영향분석: 진주시 25개 주요 사업에 대한 주관적 평가를 중심으로. ｢지방정부연구｣, 12(4).

홍준현. (2008). 혁신 확산을 위한 지방행정 혁신역량에 대한 평가. ｢지방정부연구｣, 12(4).

Babbie, Earl R. (1973). Survey Research Methods, Belmont, California: Wadsworth Publishing Co.

Chava Nachmias and David Nachmias. (1981). Research Methods in the Social Sciences. St. Martin's Press, Inc.

Cronbach, L. J. (1951). Coefficient Alpha and the Internal Structure of Tests, Psychometrika, 16.

Eulau, E. (1969). Micro-Macro Political Anlaysis: Accents of Inquiry. Chicago: Aldine Publishing Co.

Ragin, Charles C, (1987). The Comparative Method: Moving Beyond Qualitative and Quantitative Strategies, Berkeley Calif.: University of California Press.

강윤호(姜閏鎬): 서울대학교 대학원에서 행정학 박사학위를 취득(논문제목: 지방정부 관료의 예산결정형태에 관한 연구, 1999)하고, 현재 한국해양대학교 해양행정학과 부교수로 재직 중이다. 2007년 1월부터 2008년 7월까지 미국 Indiana University의 Workshop in Political Theory and Policy Analysis에서 한국연구재단 지원 객원교수를 역임하였다. 주요 관심분야는 재무행정론, 지방행정론, 해양행정론 등이다.

<E-mail: yhkang@hhu.ac.kr / 논문접수일: 2009. 10. 11 / 심사개시일: 2009. 10. 16 / 심사완료일: 2009. 10. 29>

<부록> 서베이 조사연구 방법을 활용한 연구방법론의 분석 결과

저자	주제	분석단위와 수준		척도의 구성 (액면타당성)	표본추출	통계분석방법의 적절성	분석결과해석의 타당성	연구 유형 (오류유무)
		대상단위	주제단위
김석곤 최영훈	재난관리조직들의 자원보유정도가 타조직과의 협력에 미치는 영향	조직	조직	불확실 (척도미공개)	모집단: 재난관리조직 표본단위: 관련 개별조직 표본: 서울시 관련조직	χ2 검정 ANOVA, 응답자들을 군집으로 재분류하여 군집간 비교분석한 오류	군집간의 비교분석 결과를 재난관리 조직간 비교결과로 본 오류	설명적 (오류유)
김석태	지역간 정의(형평성)와 분권 및 분산정책에 대한 공무원의 인식도	개인	개인	타당	전국의 분산과 분권정책 담당 공무원 및 관련 연구원	평균분석 t검정	타당	기술적 (오류무)
오세윤	규제정책집행에서 감성의 지각(인식)과 순응(저항)사이 매개변수적 역할 검증	개인	개인	규제의 필요성, 벌칙의 적절성 등 대부분 문항은 순응에 영향을 미치는 요인이지 순응자체는 아님. 규제 준수율은 조직단위의 척도임	1개광역시청과 그 구역내 5개자치구청의 행정규제업무 담당 공무원	구조방정식 모형	타당	설명적 (오류유)
성영태 외	자치단체장의 리더쉽유형이 조직몰입에 미치는 영향	조직	개인 (환원)	타당	대구광역시의 8개 구․군 공무원 552명	구조방정식 모형, 개인의 응답을 자치단체별로 집계(구성)하여 자치단체를 사례로 하여 통계분석이 이루어져야함, 8개조직은 구조방정식 모형을 통한 인과분석을 하기에 사례수가 적음, 개인을 사례로 통계분석을 시행함으써 자치단체(장)을 552개로 가정하는 오류 범함. 8개 자치단체에 대한 ANOVA 방법을 활용하는 방법이 적절	개인을 사례로한 분석결과를 조직을 사례로한 분석결과인 듯 해석한 오류	설명적 (오류유)
박선경	NGO활동이 여성 정치자본에 미치는 영향: NGO구성원 집단과 비구성원 집단간 비교분석	집단	개인 (환원)	불확실	여성정치인(17대 총선당선자, 4대 지방선거당선자): NGO 구성원집단과 비구성원집단으로 구분	t검정, 회귀분석. 개인에 대한 속성을 집계하여 집단속성으로 구성하고 집단간 평균비교분석. 개인속성 자료로 각 집단별로 회귀분석 수행하고, 그 결과를 집단차원에서 비교분석.	타당	설명적 (오류 불확실)
김인주, 주효진	노인복지시설 생활지도원의 소진에의 영향요인	개인	개인	타당	충북지역 43개노인복지시설 생활지도원 262명	회귀분석	타당	설명적 (오류무)

저자	주제	분석단위와 수준		척도의 구성 (액면타당성)	표본추출	통계분석방법의 적절성	분석결과해석의 타당성	연구 유형 (오류 유무)
		대상단위	주제단위
최용부, 민병익	주거만족과 주택가격간 불일치도에 영향요인	아파트	물리적특성, 단지, 입지	타당	진주시 아파트	회귀분석	타당	설명적 (오류무)
박국흠	공무원의 조직몰입과 혁신형태가 지식관리에 미치는 영향	개인	개인	타당	경기지역 5개지방정부의 공무원 288명	구조방정식 모형	타당	설명적 (오류무)
이희태	사회복지관의 TQM 도입효과	조직	조직	타당	부산지역 4개복지관(TQM도입 2개, 미도입 2개) 직원과 서비스 이용자	t 검정, TQM 도입기관과 미도입기관간 평균비교	타당	기술적 (오류무)
이동수	복지시설종사자의 공정성 인식이 직무태도에 미친 영향	개인	개인	타당	광주시 5개구의 복지시설 종사자 393명	구조방정식 모형	타당	설명적 (오류무)
이강웅	혐오시설 입지갈등관리의 우선순위 모색	사회 (국가)	사회 (국가)	타당	공무원, 연구원, 대학교수, 언론인, 시민단체 등 5개집단 40명	Q 방법론	타당	기술적 (오류무)
우양호	신공공관리론과 신공공서비스론의 한국적 적실성 비교	사회 (국가)	지방정부 소속 하부조직 (추정) (환원)	불확실(하부조직단위의 속성을 측정한 것으로 추정)	30개도시의 관료와 시민(고객); 하부조직별 일정 수 추출	t 검정, 경로분석. 경로분석의 사례가 하부조직이면 분석방법 적절	주제단위가 하부조직이라면 타당. 하부조직의 관찰된 속성을 사회(국가)단위 속성으로 구성하여 해석.	설명적 (오류 불확실)
김상호	한국경찰의 전문직업화 분석	사회 (기술적 연구) 개인 (설명적 연구)	개인 (환원)	타당	수준별 10개 경찰서에서 819명	평균분석, 회귀분석	타당	기술적,설명적 (오류무)
문유석, 허용훈	사회자본이 적극적 경찰활동에 미치는 영향	개인	개인	타당	부산시 5개광역시 5개 경찰서 순찰지구대원	회귀분석	타당	기술적 (오류무)
하미승, 심기환	치안서비스 결정요인	지역	국가, 지역, 지방정부, 조직, 개인 (환원)	불확실	공무원, 경찰, 주민 1100명	회귀분석, 종속변수(치안서비스 수준)의 대상단위가 지역이므로 종속변수와 독립변수들에 대한 응답치를 지역별로 집계하여 지역을 사례로한 분석이 이루어져야하는데, 개인의 응답치를 그대로 분석에 사용한 오류. 국가를 주제단위로하여 측정한 국가적 속성은 지역간에 차이가 없으므로 독립변수로 부적절	개인단위의 인식 자료에 기초한 인과관계를 지역을 단위로 한 인과관계처럼 해석한 오류. 하나의 국가단위의 속성이 그 국가내 지역간 종속변수의 차이에 영향을 주는 것으로 해석한 오류	설명적 (오류유)

저자	주제	분석단위와 수준		척도의 구성 (액면타당성)	표본추출	통계분석방법의 적절성	분석결과해석의 타당성	연구 유형 (오류 유무)
		대상단위	주제단위
윤권종	지방공무원 노조몰입 결정요인	개인	개인	타당	충남지역 공무원 546명	회귀분석	타당	설명적 (오류무)
민병익, 이상범	반부패정책 효과의 영향요인	국가	국가, 사회, 지자체, 조직, 개인 (환원)	타당	김해시, 진주시의 공무원 273명	회귀분석, 국가단위의 정책효과의 영향요인 분석은 국가간 비교분석을 해야하는데, 1개 국가에 대해 개인의 인식자료에 기초하여 개인을 사례로 분석함으로써, 1개인을 1국가로 간주한 오류. 개인을 사례로 한 분석은 개인 분석단위의 반부패효과 영향요인분석에 적합함.	예를 들어, 반부패정책 정책효과성과 시민참여간의 인과관계는, 시민참여가 잘되고 있다고 인식하는 응답자가 정책효과성도 크다고 생각한다는 의미이며, 두 변수간 실증적 인과관계를 의미하는 것이 아님. 따라서 시민참여가 공직부패의 근절에 기여 할 수 있다는 해석은 오류.	설명적 (오류유)
초의수	국가균형발전정책 평가	정책	정책	타당	전국 일반시민 2041명	t 검정 및 변량분석	타당	기술적 (오류무)
김은희 외	조직환경적 특성이 공무원의 혁신적 업무행동에 미치는 영향	조직	조직 (독립변수) 개인 (종속변수) (환원)	타당	광주시청과 관내 5개자치구청, 동사무소 공무원 548명	구조방정식 모형, 대상단위가 조직이므로 조직을 사례로 조직간 비교분석이 이루어져야하나, 개인을 사례로 하여 분석함으로써 1개인을 1조직으로 간주한 오류	해석방법은 적절하나 분석방법상의 오류로 분석결과의 신뢰성이 낮으므로 결과해석 역시 신뢰성이 떨어짐	설명적 (오류유)
홍준현	지방행정 혁신역량 평가	지방정부	혁신활동 (절차) (환원)	타당	9개 지방정부 공무원 266명	평균차이분석	타당	기술적 (오류무)
한동효 외	정책성과의 영향요인 분석	정책 (사업)	정책, 행정기관, 행정기관외부집단	타당	정책: 진주시의 25개 사업, 평가자: 각 정책부문별 전문가 10명	회귀분석	타당	설명적 (오류무)
이동수	복지관 종사자의 공정성인식과 클라이언트만족간 관계	조직	개인 (환원)	불확실 (미공개)	광주와 전남지역복지관 종사자와 클라이언트 각 231명(대상단위인 복지관의 수는 미공개)	구조방정식 모형	타당	설명적 (오류 불확실)
곽현근	개인의 자아존중감과 자기효능감에 미치는 동네효과 연구	집단 (동네)	집단, 개인 (환원)	타당	대전광역시 소재 52 동네 주민 3,204명	위계적 선형모형	타당	설명적 (오류무)
송건섭 외	삶의 질 평가지표의 구성과 적용	지역	개인, 집단, 지역 (환원)	불확실 (미공개)	대구광역시와 인근지역의 자치구,시,군 주민 819명	평균분석 교차분석	타당	기술적 (오류 불확실)