행정학 정책론 6 - 정책평가와 환류: 타당도, 신뢰도, 여러 변수

 

제6절 정책평가와 환류

01. 정책평가-

Ⅰ. 의의

1. 개념

∙정책집행이 이루어진 후 그 정책대안이 소기의 효과를 져왔는지를 판단하는 단계로서 정책이나 공공사업기획이 그 대상에 미친 효과(정임팩트)를 달성하고자 하는 정책목표와 관련지어 객관적이고 체계적. 실증적으로 검토하는 것

∙정책수단과 정책목표 또는 효과(종속변수, 결과변수)간의 인과관계를 설정. 검증하려는 것으로 평가결과를 정책과정에 환류시켜 정 책과정을 개선하려는 것

2. 발달

Ⅱ 필요성과 목적★

1. 일반적인 목적(정당한 평가)★

∙정책개선과 합리적 결정을 위한 정보제공

∙정책환류의 기준

∙정책담당자의 책임성 확보: 정책담당자의 법적. 관리적. 정치적 책임을 확보할 수 있다.

∙사회과학의 발전: 학문적 인과성을 밝혀 줌으로써 사회과학 발전에도 기여

∙기타: 정책집행의 효율성, 정책결정의 타당성 제고

2. 정당하지 못한 평가: 의사평가

∙이해관계자, 정책결정자, 전문가, 집행자, 평가자 등이 정당치 못한, 즉 자신들에게 유리한 개인적. 정치적 목적으로 정책을 평가하 는 것

∙★W. Dunn은 이러한 정당하지 못한 평가를 사이비평가(유사평가: pesudo evaluation)라 하였으며 이를 막기 위해서는 평가성 검 토가 필요하다고 주장

Ⅲ 정책평가의 단계

(1)목표의 확인

(2)기준의 설정

(3)인과M의 설정

(4)연구설계의 개발

(5)자료수집

(6)자료분석과 해석

 

 

 

Ⅳ 정책평가의 기준

1. Nakamura & Smallwood 의 견해★★★※

(1) 평가기준

①정책목표의 달성도(효과성): 정책이 의도한 목표를 달성하였는지의 여부로서 목표의 명확성이 중요하고, 행정관료가 선호하는 고전적 기준

②경제성(능률성): 비용과 관련시켜 산출의 양과 질을 파악하는 것으로 수단의 극대화에 중점을 둔다

③주민만족도: 조직외부집단인 주민(선거구민)의 이해관계를 얼마나 잘 받아들이고 타협. 조정했는가 파악(정치적 지지도)

④수익자대응도: 수익자집단이 정책에 의하여 어떠한 혜택을 받으며 이러한 혜택은 수익자의 인지된 욕구에 어느정도 대응하고 있는가를 중요시(프로그램의 신축성)

⑤체제유지도: 정책이 체제의 적응력. 활동을 높여 체제유지에 어느 정도 기여하였는가를 평가

*①에서⑤로 나아갈수록 현대적. 포괄적 기준, ①②는 행정가가, ③④⑤는 정치인들이 선호하는 기준, 정책평가기준은 상화에 따 라 달라지며, 고전적, 안정적 상황에서는 정책목표의 달성도를, 불확실한 상황에서는 정책의 가치를 재음미 하는 것

(2) 집행모형과의 관계: Nakamura & Smallwood는 집행M에 따라 평가기준이 달라진다고 주장

정책집행자모형	적용해야 할 정책평가 기준
고전적 기술자형	능률성, 효과성
지시적 위임가형	능률성, 효과성(목표달성도)
협상자형	주민만족도
재량적 실험가형	수익자대응성
관료적 기업가형	체제유지도

2. 기타기준

(1)적합성: 정책목표나 가치가 사회정책적 입장에서 바람직했는지의 정도(정책목표가 사회가치를 잘 반영하고 있는지의 정도)

(2)적절성 또는 적정성: 목표달성 수준의 충분성으로서 프로그램의 효과가 프로그램의 수요의 충족에 어느정도 기여했는지의 문제

(3)응답성: 정책이 수혜자의 욕구(원하는 것)를 얼마나 충족시켰는지의 정도

(4)형평성: 공평한 배분이 이루어졌는지의 정도

Ⅴ 정책평가의 종류와 방법

* 정책평가의 유형과 체계★★★※

과정평가	결정단계에서의 평가: 교통영향평가, 환경영향평가 협의의 과정평가: 총괄평가의 보완수단으로서 정책의 인과경로를 밝히는 것 형성평가(집행과정평가): 정책집행도중에 진행상황 및 진도 등을 점검. 확인하여 프로그램의 문제점을 발견 시 정하는 모니터링 제도(일명 도중평가) 프로그램집행 모니터링: 의도대로 집행되고 있니? 프로그램성과 모니터링: 의도한 중간성과가 나오고 있나?(예: 울나라의 정부업무평가) 집행활동의 중간결과인 산출 또는 성과를 주기적으로 점검하는 것 균형성 모니터링: 관련된 단위사업들간의 균형적인 추진여부 등을 평가하는 것 * 평가성 검토(사정): 일종의 예비평가, 평가체제와 전략에 대한 사전 설계
총괄평가	정책집행의 사후평가(일반적의미, 영향평가, 임펙트 평가): 정책효과와 수단간의 인과관계 분석 사전분석(착수직전분석): 평가기획 협의의 총괄평가(영향평가): 능률성, 효과성, 수익자대응도, 체제유지도, 주민만족, 적합성, 대응성 등 * 메타평가(상위평가): 정책평가의 결과를 다시 평가하는 것

1. 과정평가(사전평가)

(1)결정단계 평가

(2)협의의 과정평가(사후적 과정평가)★:

총괄평가(효과성 평가)의 완성을 위한 보완적 수단으로 정책의 효과가 인과경로를 통하여 발생하였는지, 그렇지 않은 경우 어떤 경로에서 문제가 있었는지 등을 밝히는 것으로 정책효과 발생의 경로를 밝혀서 총괄평가를 보완하고 다른 상화에 대한 정책의 적용여부와 장책실패의 중요한 원인 중의 하나인 인과경로의 잘못을 밝힌다.

(3)형성평가(집행분석 또는 집행과정평가)★:정책이 의도했던 대로 집행되었는지를 확인. 점검하는것

프로그램의 문제점 발견시점이나 집행활동의 설계상의 약점을 파악. 보완하고 잡행담당자의 책임성을 확보하며, 성공적 집행을 위한 효율적인 집행 전략을 수립하게 한다. 한마디로 프로그램 모니터링

 

 

(4)평가성 검토(평가성 사정)★

공식평가나 의사평가의 결함을 극복하기 위하여 W. Dunn이 주장한 개념으로 미래의 평가작업을 위한 분위기를 제공하기 위하 여 취해지는 프로그램 설계에 대한 하나의 예비평가

평가의 소망성과 가능성, 필요성, 평가결과의 활용가능성, 평가범위 등을 검토하는 사전적 과정평가

2. 총괄평가(사후평가)

(1)총괄평가: 집행이 완료된 후 정책이 사회에 미친 영향이나 충격 등 그 효과를 평가하는 것으로 효과평가 또는 영향평가에 해당

(2)사전분석(착수직전분석): 새로운 프로그램의 개시를 결정하기 바로 직전에 수행하는 평가작업으로서 기획과 유사하며 맥락분석 또는 조망적 평가종합과 동일(사전적 총괄평가)

(3)평가결산(평가종합): 평가결과를 다시 평가하는 메타평가(상위평가)로서 사후적 총괄평가에 해당, 제3의 기관이 수행

* 정책평가의 단계별 유형

	과정평가	총괄평가
사전적	평가성 검토(사정), 형성평가(사업감시)	사전분석(착수직전분석)
사후적	협의의 과정평가(사후적 과정평가)	영향평가(협의의 총괄평가), 평가결산(평가종합)

Ⅵ 정책평가를 위한 사회실험★★★※

1. 의의

정책수단과 정책효과간 인과관계를 규명하는 방식으로 주로 총괄평가에 이용되며 이에는 크게 비실험 과 실험(준실험, 진실험)이 있음

2.종류★★★※

(1) 비실험적 설계

1) 대표적 비실험

실시전후비교 또는 사후비교집단 선정방법 등이 이에 해당

사건효과, 선정효과, 성숙효과 등 외생변수의 개입으로 내적타당도는 낮으나 실행가능성, 외적타당도는 높음

2) 통계적 비실험

시계열분석, 다중회귀분석, 인과관계분석 등을 사용하는 것

주로 내적 타당도가 낮은 준실험의 약점을 보완하는데 사용

(2) 실험적 설계

1) 준실험: 실험집단과 통제집단(비교대상)간의 동질성을 확보되지 못한 실험

내적타당도는 낮다, 외적타당도와 실행가능성은 높다.

2) 진실험

동일성 확보방안: 동질성이란 두집단이 구성상, 경험상, 성향상으로 동일해야 한다는 것으로 난수표에 의한 무작위수출이 대 표적 방법

장단점: 무작위배정에 의한 인위적인 실험이므로 외생변수가 통제되어 특정상황내에서의 내적 타당도는 비교적 높으나, 그 결 과를 일반화시킬수 있는가 하는 외적타당도는 낮은것이 최대의 약점

실행가능성이 낮고, 체제의 변화로 인한 영향, 모방효과, 정책내용의 유출(이전효과), 부자연스런 반응, 정치적. 도의적 문제로 인한 내적타당도의 제약 등의 문제가 있다.

Ⅶ 정책평가의 타당도와 신뢰도★★★※

1. 타당도의 의의와 종류(Cook & Campbell)

(1)구성적타당도: 처리, 결과, 모집단 및 상황들에 대한 이론적 구성요소들이 성공적으로 조직화된 정도

(2)통계적 결론의 타당도

(3)내적타당도: 특정상황하에서의 타당도로서 조작화된 결과에 대하여 찾아낸 효과가 다른 경쟁적인 원인(외생변수)들에 의해서라기 보다는 조작화된 처리(원인변수)에 기인된 것이라고 볼수 있는 정도(1차적으로 확보되어야 할 타당도)

(4)외적타당도: 실험결과를 다른 상황에까지 일반화((이론화)시킬수 있는지의 정도를 말하는 것

2. 타당도 저해요인

내적타당도 저해요인	역사적요소(사건효과)	실험기간 동안에 일어난 역사적 사건이 실험에 영향을 미치는 것
	선정효과	실험집단과 통제집단의 표본산정과정상의 오류(동질성의 부족)
	성숙효과(성장효과)	실험기간 중 집단구성원의 자연적 성장이나 발전에 의한 효과로서 실험기간이 길어질수록 사건효과나 성장효과는 커진다
	상실요소	연구기간 중 집단으로부터 이탈 등 두집단 구성상 변화에 의한 효과
	회귀-인공요소	실험이 진행되는 동안 구성원들이 원래 자신의 성향으로 돌아갈 경우에 나타나는 오차(실험직전 측정이나 단한번의 측정만으로 집단구성시 나타나는 일종의 실험적인 반응효과로서 정책효과가 없어도 처음과는 달라지는 오류발생
	측정요소	실험전에 측정한 사실 그 자체가 연구되고 있는 현상에 영향을 주는 것으로 이를 제거하기 위해서는 솔로몬식실험설계(사전에 측정을 받은 집단과 받지 않은 4개집단을 모두 교차적으로 비교하는 방법)가 필요
	모방효과	통제집단의 구성원이 실험집단 구성원의 행동을 모방하는 것(오염 또는 확산효과)
	측정도구의 변화	프로그램의 집행전과 집행후에 사용하는 측정절차, 측정도구의 변화로 인한 오류(측정도구의 일관성 문제로 평가의 신뢰도와 관련됨)
	선발과 성숙의 상호작용	두 집단의 선발에서부터 차이가 있었을뿐 아니라 두 집단의 성숙속도가 다름으로 인한 내적타당성 저해현상
외적타당도 저해요인	호손효과	실험집단 구성원이 실험의 대상이라는 사실로 인하여 평소와는 다른 특별한 심리적 행동을 보이는 현상으로 외적타당도를 저해하는 대표적요인
	다수적 처리에 의한 간섭	동일집단에 여러번의 실험적 처리를 실시하는 경우 실험조직에 익슥해짐으로 인한 영향이 발생
	표본의 대표성 부족	두집단간 동질성이 있더라도 사회적 대표성이 없으면 일반화 곤란

* 정책평가에 있어 내적타당도를 제고하기 위한 변수의 통제방법

<정리> 정책평가의 내적타당도를 저해하는 변수

1) 허위변수(외재적 변수) : 두 변수간에 전혀 상관관계가 없는데도(원인변수가 결과변수에 아무 영향을 미치지 못하는 데도) 상관관계가 있는 것처럼 나타나도록 두 변수 모두에 영향을 미치는 변수

2) 혼란변수 : 두 변수간에 일부 상관관계가 있는 상태에서(원인변수가 결과변수에 일부 영향을 미치는 상태) 두 변수 모두에 영향을 미치는 변수

3) 매개변수 : 독립변수와 종속변수의 사이에서 독립변수의 결과인 동시에 종속변수의 원인이 되는 변수

4) 선행변수 : 인과관계에서 독립변수에 앞서면서 독립변수에 대해 유효한 영향력을 행사하는 변수

5) 구성변수 : 포괄적 개념의 하위변수를 말한다. 예를 들어 사회계층은 ‘포괄적 개념’이며, 교육수준, 수입, 직업, 가족적 배경 등은 이를 구성하는 ‘하위변수’이다.

6) 억제변수 : 두 변수가 서로 상관관계가 있는데도 없는 것으로 나타나게 하는 변수를 말한다. 억제변수는 독립변수와 종속변수간의 사실적인 인과관계를 약화시키거나 아예 소멸시켜 버리게 된다.

7) 왜곡변수 : 두 변수간의 사실상의 관계를 정반대의 관계로 나타나게 하는 변수를 의미한다.

3. 신뢰도★

(1) 의의: 측정도구의 일관성에 관한 것으로서 동일한ㄴ 측정도구가 동일한 현상을 되풀이해서 측정했을 경우 동일한 결론이 나오 는지의 확률을 의미

(2) 타당도와의 관계: 신뢰도는 타당도의 필요조건, 따라서 신뢰도가 낮으면 타당도도 낮아지나 신뢰도가 높다고 하여 반드시 높아 지는 것은 아님

(3) 신뢰도 검증방법

①재검사법: 동일한 측정도구를 동일한 대상자에게 상이한 시점에서 두 번 측정하여 비교하는 방법

②평행양식법(동질이형법): 유사하다고 인정되는 2가지 측정도구를 사용하여 결과를 비교하는 방법

③반분법: 하나의 측정도구에서 반으로 나누어 검사하여 비교하는 방법으로 내적일관성검증법이라고도 함.

3. 내적타당도 제고를 위한 변수의 통제방법

(1)무작위배정에 의한 통제: 홀짝 추첨방식의 무작위추출에 의하여 실험집단과 통제집단을 동질적으로 구성하여 외생변수의 영향이 두 집단에 동질적으로 나타나도록 하는 실험 - 가장 일반적

(2)축조에 의한 통제: 특정정책이 실시되는 지역과 실시되지 않는 지역이 구분되어 무작위배정을 하기 어려운때 연구대상을 비슷한 대상끼리 둘씩 짝을 지어 배정하는 매칭에 의한 방법

(3)재귀적 통제: 정책이 전국적으로 실시되기 때문에 실험집단과 통제집단을 구분하기 곤란한 경우에는 별도의 통제집단 없이 동일 한 집단에 대하여 정책을 집행한 후에 일정기간동안 나타난 산출의 변화를 정책실시전의 일정기간동안 나타났던 산출의 변화와 비 교

(4)통계적 통제: 통계적기법(시계열분석)을 통하여 외생변수를 추정. 제거하는 방법

(5)포괄적 통제: 유사한 집단에 정책을 집행하면 어떤 변화가 일어날 것이라고 기대되는 규범이나 목표들과 비교하여 정책효과를 판단하는 방법

(6)잠재적 통제: 정책으로 인하여 일어난 변화에 대하여 전문가들의 의견을 구하는 방법

Ⅷ 정책평가의 한계와 효율적 활용

(1)방법론상의 장애: 공공부문은 민주성, 형평서 등 추상적 가치를 추구하므로 계량적 평가보다는 규범적 평가를 해야 할 경우가 많다. 기술적으로 평가가 어렵고 평가기법이나 평가시점에 따라 평가결과가 달라질 수도 있다.

(2)인과관계의 입증곤란: 공공부문은 정책효과의 원인과 결과간의 인과성 규명이 쉽지 않다

(3)정책영향의 확산으로 실험집단의 선정 곤란

(4)관료들의 저항과 비협조

(5)평가의 객관성(공정성)및 적실성 문제

(6)평가결과의 활용 미흡

* 정부업부평가(심사평가)------B

총리실, 과정평가, 프로그램모니터링

1. 개념

∙ 정부가 시행하는 사업이나 시책에 대하여 그 집행상황을 파악하고 시행결과 또는 집행과정을 분석. 평가 하는 성과 monitoring (사업감시)제도로서 종전의 심사분석 또는 심사평가제도

∙ 시책이나 사업의 문제점을 발견. 시정하고, 그 집행성과를 체계적, 객관적으로 평가하야 사업기획의 질적 향상을 기하려는 일종 의 내부통제수단

4. 우리나라 정부업무등의 평가에 관한 기본법★

∙제정취지: 중앙행정기관 및 그 소속기관과 지단체가 추진하는 업무의 추진내용 및 집행성 등을 점검. 분석. 평정하거 그 결과를 정부업무 등에 반영하기 위한 제도

* 종전 정부업무심사 평가 및 조정에 과한 규정 폐지

∙ 주요골자

①중앙행정기관에 대하여 기관평가를 실시하고, 지자체에 대하여는 국가위임사무. 국고보조사업 그 밖에 대통령이 정하는 국가의 주요시책 등에 대한 평가를 실시할수 있도록 함.

②중앙행정기관 및 지단체장은 당해기관에 대한 자체평가를 실시하고, 중잉행정기관장은 소속기관에 대한 기관평가를 실시할수 있 도록 하며 그 결과를 국무총리에게 보고하도록 함.

③정부는 평가결과를 공개하며 중앙행정기관평가. 지자체평가 및 특정과제평가 결과와 관련된 보고서를 매년 국회에 제출하도록함

④정부업무 등의 평가를 효율적으로 실시하기 위하여 국무총리 소속하에 정책평가위원회를 두고, 중앙행정기관 및 지자체가 수행 하는 평가를 효율적으로 실시하기 위하여 당해기관의 장 소속하에 평가위원회를 둘수 있도록 함

⑤자치단체 평가시 중앙행정기관과 관련된 업무는 합동평가를 실시할수 있다.

 

02. 정책변동과 환류

Ⅰ 정책변동의 의의와 유형

(1)정책유지

(2)정책종결

(3)정책혁신

(4)정책승계

Ⅱ 정책종결

Ⅲ 정책환류

 

03 사회지표-------D

Ⅰ 의의

1. 연혁 및 개념L 사회지표는 과거. 현재. 미래에 걸친 인간의 복지수준이나 삶의 질에 관한 정보로서 사회적인 가치와 목표에 정보를 내포하며 사회개발정책의 형성을 위한 통계를 의미

2. 필요성

 

* 경제지표와의 차이

경제지표(EI)	사회지표(SI)
총체적, 양적, 성장위주, 객관적, 물질중심, 경제분야 중심 발전행정론	분배적, 개인적, 질적(QOL), 주관적, 인본주의적, 사회분야 포함, 선행정론

Ⅱ 기능★

(1)사회상태의 종합적 측정 (2)국민복지수준 등 사회보고의 제도화

(3)사회개발정책의 개발과 성과측정 (4)사회변화의 파악. 예측과 사회적 변동의 관리

Ⅲ 사회지표의 유형

(2)정(正)의 지표

부(負)의 지표

Ⅳ 사회지표의 요건★

∙인본주의적 성격 ∙규범성

∙종합성. 통합성 ∙시대적 변동성

∙개인에 대한 배분적 성격 ∙산출정보적 성격★

Ⅴ 사회지표의 현실과 한계★

∙수량적 측정이 곤란한 요소가 허다하고 지표화되기 쉬운 계량적 요인만 지표화되는 점

∙중복계산하거나 누락되는 경우가 많은 점

∙지수의 수적 가치에 집착하여 지표의 왜곡과 일방적인 판단을 할 우려

∙지표간의 불일치 문제:: 특히 주관적 지표와 객관적 지표간 불일치

∙지표설계상의 기술적. 경제적 애로: 기술부족 및 시간. 비용 과다