sailing toward
sustainable future

Social Impact Bond Magazine

SIB 강의 8 : 성과측정의 방법

[소셜임팩트본드 매거진 2018년 8월호]

 
SIB 사업은 독립된 평가기관에 의해 성과측정이 이루어지게 된다. 성과측정에는 꽤나 많은 방법들이 있지만 여기에서는 SIB에 국한하여 가장 기본적인 측정 방법들을 소개하고자 한다.
 

<성과측정의 주요 방법들>

구 분 측정 방법
데이터 수집 방법 – 사전·사후 데이터 직접 측정
– 외부 통계자료 활용
성과 확인 방법 – 처치집단과 통제집단의 비교
– 시계열 데이터 비교
– 사회적 손익분기점 산출
– 특정 기준점 도달 여부 확인

 
1. 데이터 수집 방법

성과측정을 위해 데이터를 수집하는 방법에는 평가기관에 의한 직접 측정과 외부 통계자료를 사용하는 두 가지가 있다.
 
(1) 사전·사후 데이터 직접 측정

가장 일반적인 데이터 수집방법은 사업 대상이 확정되면 정해진 지표를 사용하여 평가기관이 사전/사후 측정을 실시하는 것이다. 대상 집단을 특정하여 SIB를 위해 정의된 가장 적합한 지표를 사용하기 때문에 수혜집단의 변화와 인과에 대한 정확한 검증이 가능한 것이 장점이다.

수혜집단을 대상으로 직접 측정하기 때문에 필연적으로 간접비가 발생하며, 광범위한 지역이나 인원을 대상으로 하는 사업의 경우에는 비용이 많이 들 수 있다는 점을 고려해야 한다.
 
(2) 외부 통계자료 활용

정부, 연구기관, 국제기구 등 공신력 있는 외부의 통계자료를 사용하여 성과를 확인하는 것도 가능하다. 이는 외부 통계자료가 더욱 정확한 데이터를 제공하는 경우, 광범위한 수혜집단을 대상으로 하여 과다한 비용이 소요되는 경우 등 특별한 상황에 사용할 수 있는 대체적인 방법이다.

외부 통계자료를 쓰려면 명확히 정의된 통계지표가 있고, 반드시 신뢰할 수 있는 제공자의 자료여야 하며, 그 자료가 SIB의 성과목표와 직접적인 관련이 있어야 한다는 점에 꼭 유의해야 한다. 그리고 측정의 방식이나 대상에 일관성이 없거나, 이의 변경이 예상된다면 이 방법을 쓰지 않는 것이 좋다.

 
2. 성과 확인 방법
 

SIB 사업의 성과 확인 방법, 즉 제공된 개입 프로그램으로 목표한 성과를 달성했는지 확인하는 방법에도 여러 가지가 있다. 여기서는 처치집단과 통제집단의 비교, 시계열 데이터 비교, 사회적 손익분기점 산출, 특정 기준점 도달 여부 확인의 네 가지를 설명하고자 한다.

 
(1) 처치집단과 통제집단의 비교

문제를 개선하기 위한 개입 서비스가 제공되는 처치집단(수혜집단)과 서비스가 제공되지 않으면서 동일한 성질을 지닌 통제집단을 비교하여 성과를 판단하는 방법이다. 즉 통제집단에서 도출되는 통계값을 비교의 기준으로 삼아 수혜집단으로부터 도출된 상대적인 성과를 확인하는 것이다. 때때로 양 집단의 외생변수(개입 서비스와 관계없이 결과에 영향을 미치는 요소)를 통제하여 독립변인(개입 서비스에 의해 성과에 영향을 미치는 변인)을 구별하고 인과의 오류를 방지하는 설계가 필요한 경우도 있다.

이 방법은 제공되는 프로그램의 효과를 정확히 확인할 수 있는 장점이 있으며, 우선적으로 고려할 수 있는 기본적인 성과측정 방식이다. 그러나 대상의 성격에 따라 통제집단에 대한 모니터링 병행이 작업량 상승을 요구하기도 하며, 통제집단이 겪는 문제를 고의적으로 방치하는 것으로 오해하는 사람들도 있어 유의해야 한다. 또한 외생변인이 많아 실질적인 통제가 불가능한 경우도 많으며, 처치집단이나 통제집단에 별도의 서비스가 제공될 경우 종속변인(결과)의 원인을 구별하고 정확한 인과를 분석하는 노력이 뒤따라야 한다.

 
(2) 시계열 데이터 비교

통제집단 없이 단순히 처치집단의 과거 데이터와 개입 서비스 제공 후의 데이터를 비교하여 성과를 판단하는 방법이다. 이를 위해 특정 지표에 대해 서비스 제공 전 대상집단에 대한 지표 측정값과 서비스 제공 후 측정값을 비교하게 되며, 전후 데이터를 비교하기 때문에 비교적 간편하게 문제의 개선 정도를 파악할 수 있다.

그러나 정확한 판단을 위해 외생변수의 존재 여부를 파악해야 하며, 중요한 것은 서비스를 제공하지 않아도 변화되는 자연적인 지표 변화율과의 비교가 필수적이나 이를 고려하지 않을 경우 결과가 왜곡될 수밖에 없어 주의해야 한다. 자연 변화율과의 비교가 어려울 경우 사전값으로 장기간의 지표 평균값을 사용할 수도 있으나, 데이터들의 편차가 작고 안정적인 경우에만 유용하다.

 
(3) 사회적 손익분기점 산출

사업을 위해 투입되는 총 비용과 절감되는 사회비용이 같아지는 성과 수준을 사업의 손익분기점으로 삼아 성과를 판단하는 방법이다. 이 분기점을 기준으로 더 높은 성과가 달성될 경우 성공으로 인정하는 것이다. 물론 이 분기점을 찾을 때 통제집단을 두는 방식과 유사하게 기준값을 정하고 그보다 더 개선된 결과만 성과로 인정하여야 결과가 왜곡·과장되지 않는다.

예외적으로 사업을 통해 외부효과 없이 부가적인 순편익이 발생하는 경우에는 기준값을 두지 않아도 된다.

 
(4) 특정 기준점 도달여부 확인

정부, 국제기구와 같이 공신력 있는 기관에서 공표한 구체적인 지표와 목표를 사업의 성과목표로 삼는 방법이다.

이 방법의 경우 지정된 목표가 합리적·논리적 근거를 가지고 추진되는 SIB 사업 프로그램과 부합하는 경우에는 문제가 없으나, 이와 같은 근거와 연관성이 없을 경우에는 사용해서는 안 되는 방법이다. 어떤 방법을 쓰던 성과기준의 타당한 근거를 잃지 않도록 신경 써야 한다.
 

// 참고 : SIB 평가에 대한 오해 //

SIB 사업에서 평가기관의 평가를 임팩트투자 평가와 관련하여 종종 언급되는 산출물(output), 성과(outcome), 장기적 파급효과(impact)로 이어지는 임팩트/사회가치 평가로 오해하는 경우가 많다. 그러나 SIB 사업에서 이와 같은 임팩트 평가는 사업 종료 후가 아니라 SIB 사업 기획 시 사전적으로 수행해야 하는 작업이다.

사전에 성과 및 임팩트가 산출되지 않으면 SIB 사업의 근거를 마련하고 성과구조를 설계할 수 없기 때문에 이는 기획의 과정에 포함시켜야 하며, 사업 종료 후에는 선택적으로 할 수 있는 작업이다. 그리고 이러한 사전 검증은 어떠한 측정 방법을 쓰던 공통적이고 필수적이다. 만약 사전 작업 없이 사후적으로만 임팩트를 산출한다면 타당성 조사나 성과구조에 근거가 부족하다고 추측할 수 있다.

심지어는 일부 해외의 자료들에서도 SIB 성과평가를 사전 평가 작업 없이 사후적으로만 실행하는 것으로 설명하는 경우가 있는데 별도 설명이 누락됐거나 오류가 있다고 볼 수 있다.

평가기관은 지표를 사용한 객관적인 ‘측정’을 수행하고, 필요한 경우 기획 당시 수행된 임팩트 평가를 참고하여 보고서를 작성하게 된다. 따라서 SIB 사업의 평가기관은 정해진 지표에 대한 올바른 이해와 측정능력을 갖추는 것이 기본적인 자격요건이며, 임팩트 평가에 대한 이해는 선택사항이라 할 수 있다.

 

<평가기관은 합의된 지표로 성과를 ‘측정’한다.>

 
작성 : 곽제훈
팬임팩트코리아
 


 
[ 지난 강의 보기 ]

2018년 7월호 : 운영기관이 필요한 이유
2018년 6월호 : 민자사업과 사회성과보상사업
2018년 5월호 : SIB 사업을 통한 정부의 예산절감 원리
2018년 4월호 : SIB 투자손실과 원금의 보장
2018년 3월호 : 사회성과보상사업 추진가능 조건들
2018년 2월호 : 사회성과보상사업의 참여자들
2018년 1월호 : 사회성과연계채권(SIB)의 기본 개념