'청소년 교육을 목적으로 하는 비영리법인의 성과 측정 보고서(이하 보고서)'가 발간되었습니다. 아래 내용은 연구의 목적과 연구 과정 그리고 연구의 의미를 정리한 글입니다. 교육의 성과 확인을 고민하고 계신 교육기관이나 연구자에게 참고가 되기를 바랍니다. 전체 보고서는 사단법인 교육실험실21(contact@gschool.kr)로 신청자의 성명과 연구물의 활용 목적 등과 함께 신청하시면 전자문서(pdf 파일)형태로 받아보실 수 있습니다.
청소년 교육을 목적으로 하는 비영리법인의 성과 측정 연구
교육의 중요성을 강조할 때 가장 흔히 쓰이는 말이 ‘교육은 백년지대계(百年之大計)’이다. 이 말은 중국 춘추 시대 제나라의 정치가이자 사상가인 관중이 쓴 <관자(管子)>에서 유래된 것이다. <관자(管子)>의 권수(權修)편에 다음과 같은 구절이 있다.
“일 년의 계획은 곡식을 심는 것보다 중요한 것이 없고, 십년의 계획은 나무를 심는 것보다 중요한 것이 없으며, 일생의 계획은 사람을 키우는 것보다 중요한 것이 없다. 한 번 심어서 한 번 거두는 것이 곡식이고, 한 번 심어서 열 배를 얻는 것은 나무이며, 한 번 키워서 백 배를 얻는 것이 사람이다”
사람을 기르는 일을 우리는 ‘교육’이라 하기에, 이 말은 사람을 잘 교육하면 백 배의 효과를 거둘 수 있으므로 교육이 무엇보다 중요하다는 것으로 해석될 수 있으며, 또한 교육은 일생의 계획이므로 코 앞이 아닌 먼 미래를 내다보며 계획되고 실행되어야 함을 강조하는 것으로도 해석될 수 있다. 지금부터 2,700년 전 사람들도 교육을 먼 미래를 내다보며 계획해서 실행해야 하는 중요한 것으로 생각하고 있음을 알 수 있다.
그러나 아쉽게도 오늘날 우리의 현실은 이러한 격언과는 거리가 먼 듯하다. 이는 급격한 사회 변화나 일관되지 못한 교육 정책과 같은 외부적인 요인에 영향을 받은 부분도 있지만, 100년은 아니더라도 30~40년 앞을 내다보며 목표를 설정하고 이에 따라 계획을 세우고, 계획에 따라 실행하기에는 ‘현재 우리가 올바른 방향으로 가고 있는가’에 대한 불안이 너무 크다는 것에도 기인한다. 망망대해를 항해하고 있는 여행자에게는 목적지로 길을 안내하는 등대가 필요한 것이다.
현대 경영의 아버지로 일컬어지는 피터 드러커(Peter Drucker)는 “측정하지 않으면 관리할 수 없다”고 하였다. 백년의 큰 계획을 세우고 이에 따라 길을 잃지 않고 올바른 방향으로 나아가기 위해서는 현재 교육이 잘 이루어지고 있는지를 끊임없이 측정하고, 분석하여, 환류하는 선순환 구조가 만들어져야한다. 즉 망망대해를 항해하기 위해 등대나 나침반이 필요하듯이, 교육이라는 백년지대계를 성공하기 위해서는 교육의 성과를 측정하고 확인할 수 있는 ‘교육 성과측정모형’이 필요하다.
대표적인 성과 측정 모형으로 기업에서 흔히 쓰는 ‘투자수익률(Return on Investment, ROI)’를 들 수 있다. ROI는 ‘특정 투자에 대한 이익의 크기를 원래 투자한 금액에 비례하여 표현’하여 성과를 확인하는 지표이다. 사회적 기업이나 비영리 조직에서는 ROI를 사회적 성과 측정에 원용하기 위해 개발한 ‘SROI(Social Return on Investment)’를 성과측정모형으로 사용하기도 한다. SROI는 ROI에 사회(Social)를 붙여서 만든 합성어로 사회적 가치와 경제적 가치를 통합해 정량적으로 측정하는 방법으로, 주관적인 판단이 개입하기 쉬운 사회적 가치를 화폐가치로 객관화하였다는 점에서 활용도가 크다. 그러나 교육의 성과를 화폐가치로 나타내는 것은 여간 어려운 문제가 아니다. 설령 그것이 가능하다고 해도 교육 성과를 확인하기까지 오랜 시간이 필요하기 때문에 교육의 성과를 SROI로 측정하기에는 많은 무리가 따른다. 어쩌면 이러한 이유에서 많은 학교에서 단순히 좋은 상급 학교로의 진학률이나 취업률로 자신의 성과를 과시하고 있는 지도 모르겠다. 이와 같은 상황을 개선하고 학교 교육의 질적 향상과 책무성 이행을 목적으로 우리나라에서는 1995년부터 ‘학교자체평가’ 제도를 도입하여 운영하고 있지만 학교 교육의 최종적 성과보다는 ‘정책이나 계획이 얼마나 잘 이루졌는가를 확인하는가’에 머무르고 있다는 아쉬움이 크다.
현대 교육의 주된 목적은 단순히 지식의 전달이나 스킬 향상이 아니라 그 결과로써 학습자가 더 나은 인생을 영위하게 되는 것이다. 따라서 교육의 특성을 잘 반영하면서 과학적이고 객관적으로 성과를 측정하여 교육 목적 달성을 위한 의사 결정의 준거를 제시하기 위해서는 아웃컴씽킹(Outcome Thinking) 기반의 성과측정모형이 필요하다. 아웃컴씽킹이란 프로세스나 활동 자체에만 집중하는 것이 아니라 그 활동이 가져올 결과에 초점을 맞추는, 결과 중심의 사고 방식을 의미한다. 아웃컴씽킹을 기반으로 한 성과 측정을 통해 우리는 교육이 얼마나 효과적인지 명확하게 파악할 수 있고, 이에 따라 자원을 더 효율적으로 배치할 수 있으며, 문제점을 발견하고 이를 개선함으로써 교육의 질을 지속적으로 높일 수 있을 것이다. 본 연구는 이러한 필요성에 따라 아웃컴씽킹 기반의 교육 성과측정모형을 개발하고, 이를 적용하여 그 타당성과 효과성을 검증하는 것을 목적으로 진행되었다.
연구 목적 달성을 위하여 본 연구는 크게 두 단계로 이루어졌다. 첫 단계는 성과측정모형을 개발하고 이를 적용하기 위한 것으로 2022년 1월에 시작하여 7월까지 약 7개월동안 진행되었다. 진행 과정을 요약하면 다음과 같다.
[성과측정모형 개발 및 적용 프로세스]
성과측정모형을 개발하고 이를 적용하기 위한 첫 단계는 광범위한 환경 분석으로 시작되었다. 청소년 교육을 목적사업으로 하는 비영리기관(이하 대안교육기관)을 둘러싼 법·제도·사회변화 등 외부환경을 분석하고 교육과정 및 운영현황, 대·내외적 이슈를 총망라하여 분석하고자 하였다. 이와 함께 학생·학부모·교사 등 교육의 구성원 뿐만 아니라 경영진, 졸업생, 후원자 등 이해관계자들이 교육을 통하여 얻고자 하는 요구 사항을 면밀히 검토하였다. 이는 교육의 구성원과 이해관계자의 기대와 요구가 결과적으로 이루어지고 있는가를 확인하기 위해서였다. 이러한 환경분석을 통해 도출된 시사점을 정리하여 성과측정모형 개발에 반영하였다.
첫 단계의 두 번째 장(phase)은 ‘성과측정모형’의 개발 과정이었다. 이 과정은 아웃컴씽킹의 기반하에 객관적이고 과학적인 성과측정모형 개발을 위하여 변화이론(Theory of Change)에 이론적 기초를 두고 진행되었다. 변화이론(Theory of Change, ToC)은 특정 개입이나 활동을 통해 원하는 변화(결과)를 가져오기 위한 과정과 그 관련 가정들을 명확하게 설명하는 개념 및 도구를 의미한다. 변화이론을 통해 성과측정모형 개발 과정을 시각화하여, 원하는 결과를 가져오는 데 어떻게 영향을 주는지를 명확하게 이해하고, 이를 통해 효과적인 계획과 평가를 하기 위해서였다.
성과측정모형은 아래 그림과 같이 변화이론에 따라 로직모델(Logic Model)을 중심축으로 5개의 성과지표영역을 중심으로 개발되었다.
[로직모델에 따른 5개의 성과지표영역]
로직모델은 프로그램이나 프로젝트의 입력, 활동, 출력, 결과 등의 구성 요소를 체계적으로 표현하는 그래픽 표현 도구을 말한다. 로직모델은 교육 프로그램의 모든 구성 요소와 그 관계를 체계적으로 나타내어 교육의 전체 구조와 프로세스를 명확하게 이해하는데 도움을 주며, 각 단계별로 어떤 성과가 예상되는지 확인이 가능하게 하므로 성과 측정을 위한 지표 설정을 용이하게 한다. 또한 로직모델을 통해 교육 프로그램의 강점과 약점을 파악하고, 이를 바탕으로 개선 사항을 도출할 수 있었다. 일반적인 로직모델의 ‘활동(Activities)’을 ‘변화(Transform)’으로 표현하여 교육 구성원들의 변화를 강조하였고, ‘장기 결과(Long-term Outcomes)’를 ‘영향력(Impact)’으로 표현하여 교육이 학생과 교사 및 사회에 미치는 장기적인 영향력을 측정하고자 하였다.
로직모델로 측정하기 어려운 다각적 성과를 놓치지 않도록 '척도와 사다리 모형'과 '결과 매핑 모형'의 일부 요소를 반영하였다. 이는 학생·학부모·교사 등 교육 구성원과 이해관계자를 대상으로 한 인터뷰와 FGI (Focus Group Interview), FGD (Focus Group Discussion)를 통하여 정량적으로 분석된 결과를 해석하고, 자칫 유실될 수 있는 의미를 파악하기 위해서였다. 이렇게 개발된 성과측정모형은 다음과 같다.
[교육 성과측정모형]
첫 단계의 세 번째 장(phase)은 개발된 성과측정모형을 적용하여 타당성과 효과성을 검토하는 단계였다. 서울특별시 소재 대안교육기관인 거꾸로캠퍼스를 대상으로 2022년 4월말부터 5월초까지 약 한 달간 측정이 진행되었으며, 학생, 학부모, 교사, 졸업생, 외부강사(알파랩 전문가) 등 약 160명이 측정에 참여하였다. 측정은 Moaform을 활용한 온라인 설문과 서면평가, 인터뷰 등으로 진행되었으며, 측정 결과는 전산화하여 분석되었다.
이후 서울교육발전협의회 의장, 대학교수, 교육학 박사(혁신 교육 성과 측정 전문가) 등 전문가로 구성된 평가위원회를 별도 구성하여 측정으로 도출된 정량적 결과를 분석하고 그 의미를 해석하는 과정을 거쳤으며, 연구진과 거꾸로캠퍼스의 헤드티처(교장)이 참여하는 '결과 분석 회의', 거꾸로캠퍼스 전체 교사가 참여하는 비전 워크숍을 통해 성과 측정 결과를 분석하고 도출된 결론을 어떻게 활용할 것인지에 대해 토론하는 과정을 진행하였다.
[거꾸로캠퍼스 비전 수립 워크숍 모습]
2022년 8월부터 2023년 4월까지 진행된 본 연구의 두 번째 단계는 성과측정 결과가 실제 대안교육기관에 어떤 영향을 주는지 관찰하고, 타당성과 효과성을 검증하는 것을 목적으로 진행되었다. 성과측정의 목적을 단순히 현재 상황을 확인하는 것에만 두지 않고, 측정 결과로부터 발전을 위한 시사점을 도출하고 환류하는 것까지로 설정하였기 때문이다.
본 연구를 바탕으로 도출한 성과를 정리하면 다음과 같다.
첫째, 성과측정모형은 교육 과정 전반에 걸친 다양한 성과를 확인하는데 효과적이었다. 자칫 놓치기 쉬운 학생, 학부모의 요구가 실제 교육에 반영하는지를 확인할 수 있었고, 특히 실제 교육이 목표와 같은 방향으로 진행되고 있는지를 확인할 수 있었다.
둘째, 성과측정모형이 의사결정에 필요한 의미 있는 정보를 줄 수 있다는 점에서 효용성을 확인할 수 있었다. 측정 결과의 해석 과정에서 여러 의견이 제시되었다. 교사 또는 학교가 막연하게 생각하고 있는 교육 성과와 학생 또는 학부모가 생각하는 교육 성과에 다소의 차이가 있었기 때문이다. 이러한 차이는 성과측정모형에 포함된 여러 지표가 평가 참여자의 주관적 관점에서 자유로울 수 없는 것과 관련이 있다. 그러나 이러한 한계에도 불구하고, 정기적으로 성과 측정이 이루어진다면 변화 추이로부터 의사 결정에 필요한 유용한 정보를 얻을 수 있을 것이라는 점에는 동의가 이루어졌다.
셋째, 더 좋은 교육을 위해 성과 측정 결과로부터 얻어지는 정보가 매우 유용함을 확인할 수 있었다. 정보의 유용성을 두가지 측면에서 볼 수 있었다. 하나는 성공 요인을 분석할 수 있다는 측면이었다. 여러 가지 교육활동 중에서 어떤 것이 더 효과적인지 또 교육의 성과를 이끌고 있는 원동력이 무엇인지를 도출할 수 있었고, 이를 바탕으로 유지되거나 더 강화해야할 요소가 무엇인지를 구분할 수 있었다. 다른 하나는 투자된 자원 대비 성과를 내고 있지 못한 것은 무엇인지 또 교육 목표와 방향이 일치하고 있지 못한 것은 무엇인지 확인할 수 있었다. 이는 원인 분석과 대책 마련을 위한 추가적인 토론으로 이어질 수 있는 소중한 씨앗이 되었고, 거꾸로캠퍼스의 사례에서 이러한 씨앗이 보완과 개선을 거쳐 더 좋은 교육이라는 열매로 성장하는 것을 확인할 수 있었다.
소위 '임팩트 생태계'가 빠르게 성장하고 있다. 피터 드러커는 "21세기는 비영리기관의 세기가 될 것이다. 더 많은 경제, 돈과 정보가 지구화되고, 더 많은 공동체가 중요해질 것이다. 그리고 오로지 비영리단체만이 공동체에서 성과를 만들고, 기회를 개척해서 지역의 자원을 활성화하여 결국 문제를 해결할 수 있다" 고 비영리기관의 역할을 강조하였다. 'ESG 경영'으로 대표되는 기업의 사회에 대한 책무성 강화 노력도 과거 어느 때보다 더 커지고 있다. 이 대목에서 '진짜와 가짜를 구별'하는 문제 또한 대두되고 있다. 이른바 '임팩트 워싱(impact washing)'에 대한 문제이다. 교육 분야로 눈을 돌리면 교육이 잘 이루어지고 있는지 확인하고, 교육 목표와 교육 활동의 방향성이 일치하고 있는지 확인하는 것에 대한 요구 또한 적지 않다.
교육실험실21에서 오랜 시간 많은 비용과 시간, 그리고 노력을 투자하여 진행한 ‘청소년 교육을 목적사업으로 하는 비영리법인의 성과 측정 연구’는 이런 요구에 응답하는 의미 있는 시도라고 생각한다. 거꾸로캠퍼스 하나의 학교를 대상으로 진행된 연구이므로 이를 전체로 일반화하는 것에는 한계가 있을 것이다. 또 제한된 자원으로 인해 발생한 여러 부족한 부분도 있을 것이다. 그러나 교육 분야의 성과를 확인하기 위한 의미 있는 시도라는 점만은 인정받을 수 있을 것으로 믿는다. 본 연구가 이후 교육 발전을 위한 참고가 되기를 바라는 이유이다.
'청소년 교육을 목적으로 하는 비영리법인의 성과 측정 보고서(이하 보고서)'가 발간되었습니다. 아래 내용은 연구의 목적과 연구 과정 그리고 연구의 의미를 정리한 글입니다. 교육의 성과 확인을 고민하고 계신 교육기관이나 연구자에게 참고가 되기를 바랍니다. 전체 보고서는 사단법인 교육실험실21(contact@gschool.kr)로 신청자의 성명과 연구물의 활용 목적 등과 함께 신청하시면 전자문서(pdf 파일)형태로 받아보실 수 있습니다.
청소년 교육을 목적으로 하는 비영리법인의 성과 측정 연구
교육의 중요성을 강조할 때 가장 흔히 쓰이는 말이 ‘교육은 백년지대계(百年之大計)’이다. 이 말은 중국 춘추 시대 제나라의 정치가이자 사상가인 관중이 쓴 <관자(管子)>에서 유래된 것이다. <관자(管子)>의 권수(權修)편에 다음과 같은 구절이 있다.
“일 년의 계획은 곡식을 심는 것보다 중요한 것이 없고, 십년의 계획은 나무를 심는 것보다 중요한 것이 없으며, 일생의 계획은 사람을 키우는 것보다 중요한 것이 없다. 한 번 심어서 한 번 거두는 것이 곡식이고, 한 번 심어서 열 배를 얻는 것은 나무이며, 한 번 키워서 백 배를 얻는 것이 사람이다”
사람을 기르는 일을 우리는 ‘교육’이라 하기에, 이 말은 사람을 잘 교육하면 백 배의 효과를 거둘 수 있으므로 교육이 무엇보다 중요하다는 것으로 해석될 수 있으며, 또한 교육은 일생의 계획이므로 코 앞이 아닌 먼 미래를 내다보며 계획되고 실행되어야 함을 강조하는 것으로도 해석될 수 있다. 지금부터 2,700년 전 사람들도 교육을 먼 미래를 내다보며 계획해서 실행해야 하는 중요한 것으로 생각하고 있음을 알 수 있다.
그러나 아쉽게도 오늘날 우리의 현실은 이러한 격언과는 거리가 먼 듯하다. 이는 급격한 사회 변화나 일관되지 못한 교육 정책과 같은 외부적인 요인에 영향을 받은 부분도 있지만, 100년은 아니더라도 30~40년 앞을 내다보며 목표를 설정하고 이에 따라 계획을 세우고, 계획에 따라 실행하기에는 ‘현재 우리가 올바른 방향으로 가고 있는가’에 대한 불안이 너무 크다는 것에도 기인한다. 망망대해를 항해하고 있는 여행자에게는 목적지로 길을 안내하는 등대가 필요한 것이다.
현대 경영의 아버지로 일컬어지는 피터 드러커(Peter Drucker)는 “측정하지 않으면 관리할 수 없다”고 하였다. 백년의 큰 계획을 세우고 이에 따라 길을 잃지 않고 올바른 방향으로 나아가기 위해서는 현재 교육이 잘 이루어지고 있는지를 끊임없이 측정하고, 분석하여, 환류하는 선순환 구조가 만들어져야한다. 즉 망망대해를 항해하기 위해 등대나 나침반이 필요하듯이, 교육이라는 백년지대계를 성공하기 위해서는 교육의 성과를 측정하고 확인할 수 있는 ‘교육 성과측정모형’이 필요하다.
대표적인 성과 측정 모형으로 기업에서 흔히 쓰는 ‘투자수익률(Return on Investment, ROI)’를 들 수 있다. ROI는 ‘특정 투자에 대한 이익의 크기를 원래 투자한 금액에 비례하여 표현’하여 성과를 확인하는 지표이다. 사회적 기업이나 비영리 조직에서는 ROI를 사회적 성과 측정에 원용하기 위해 개발한 ‘SROI(Social Return on Investment)’를 성과측정모형으로 사용하기도 한다. SROI는 ROI에 사회(Social)를 붙여서 만든 합성어로 사회적 가치와 경제적 가치를 통합해 정량적으로 측정하는 방법으로, 주관적인 판단이 개입하기 쉬운 사회적 가치를 화폐가치로 객관화하였다는 점에서 활용도가 크다. 그러나 교육의 성과를 화폐가치로 나타내는 것은 여간 어려운 문제가 아니다. 설령 그것이 가능하다고 해도 교육 성과를 확인하기까지 오랜 시간이 필요하기 때문에 교육의 성과를 SROI로 측정하기에는 많은 무리가 따른다. 어쩌면 이러한 이유에서 많은 학교에서 단순히 좋은 상급 학교로의 진학률이나 취업률로 자신의 성과를 과시하고 있는 지도 모르겠다. 이와 같은 상황을 개선하고 학교 교육의 질적 향상과 책무성 이행을 목적으로 우리나라에서는 1995년부터 ‘학교자체평가’ 제도를 도입하여 운영하고 있지만 학교 교육의 최종적 성과보다는 ‘정책이나 계획이 얼마나 잘 이루졌는가를 확인하는가’에 머무르고 있다는 아쉬움이 크다.
현대 교육의 주된 목적은 단순히 지식의 전달이나 스킬 향상이 아니라 그 결과로써 학습자가 더 나은 인생을 영위하게 되는 것이다. 따라서 교육의 특성을 잘 반영하면서 과학적이고 객관적으로 성과를 측정하여 교육 목적 달성을 위한 의사 결정의 준거를 제시하기 위해서는 아웃컴씽킹(Outcome Thinking) 기반의 성과측정모형이 필요하다. 아웃컴씽킹이란 프로세스나 활동 자체에만 집중하는 것이 아니라 그 활동이 가져올 결과에 초점을 맞추는, 결과 중심의 사고 방식을 의미한다. 아웃컴씽킹을 기반으로 한 성과 측정을 통해 우리는 교육이 얼마나 효과적인지 명확하게 파악할 수 있고, 이에 따라 자원을 더 효율적으로 배치할 수 있으며, 문제점을 발견하고 이를 개선함으로써 교육의 질을 지속적으로 높일 수 있을 것이다. 본 연구는 이러한 필요성에 따라 아웃컴씽킹 기반의 교육 성과측정모형을 개발하고, 이를 적용하여 그 타당성과 효과성을 검증하는 것을 목적으로 진행되었다.
연구 목적 달성을 위하여 본 연구는 크게 두 단계로 이루어졌다. 첫 단계는 성과측정모형을 개발하고 이를 적용하기 위한 것으로 2022년 1월에 시작하여 7월까지 약 7개월동안 진행되었다. 진행 과정을 요약하면 다음과 같다.
[성과측정모형 개발 및 적용 프로세스]
성과측정모형을 개발하고 이를 적용하기 위한 첫 단계는 광범위한 환경 분석으로 시작되었다. 청소년 교육을 목적사업으로 하는 비영리기관(이하 대안교육기관)을 둘러싼 법·제도·사회변화 등 외부환경을 분석하고 교육과정 및 운영현황, 대·내외적 이슈를 총망라하여 분석하고자 하였다. 이와 함께 학생·학부모·교사 등 교육의 구성원 뿐만 아니라 경영진, 졸업생, 후원자 등 이해관계자들이 교육을 통하여 얻고자 하는 요구 사항을 면밀히 검토하였다. 이는 교육의 구성원과 이해관계자의 기대와 요구가 결과적으로 이루어지고 있는가를 확인하기 위해서였다. 이러한 환경분석을 통해 도출된 시사점을 정리하여 성과측정모형 개발에 반영하였다.
첫 단계의 두 번째 장(phase)은 ‘성과측정모형’의 개발 과정이었다. 이 과정은 아웃컴씽킹의 기반하에 객관적이고 과학적인 성과측정모형 개발을 위하여 변화이론(Theory of Change)에 이론적 기초를 두고 진행되었다. 변화이론(Theory of Change, ToC)은 특정 개입이나 활동을 통해 원하는 변화(결과)를 가져오기 위한 과정과 그 관련 가정들을 명확하게 설명하는 개념 및 도구를 의미한다. 변화이론을 통해 성과측정모형 개발 과정을 시각화하여, 원하는 결과를 가져오는 데 어떻게 영향을 주는지를 명확하게 이해하고, 이를 통해 효과적인 계획과 평가를 하기 위해서였다.
성과측정모형은 아래 그림과 같이 변화이론에 따라 로직모델(Logic Model)을 중심축으로 5개의 성과지표영역을 중심으로 개발되었다.
[로직모델에 따른 5개의 성과지표영역]
로직모델은 프로그램이나 프로젝트의 입력, 활동, 출력, 결과 등의 구성 요소를 체계적으로 표현하는 그래픽 표현 도구을 말한다. 로직모델은 교육 프로그램의 모든 구성 요소와 그 관계를 체계적으로 나타내어 교육의 전체 구조와 프로세스를 명확하게 이해하는데 도움을 주며, 각 단계별로 어떤 성과가 예상되는지 확인이 가능하게 하므로 성과 측정을 위한 지표 설정을 용이하게 한다. 또한 로직모델을 통해 교육 프로그램의 강점과 약점을 파악하고, 이를 바탕으로 개선 사항을 도출할 수 있었다. 일반적인 로직모델의 ‘활동(Activities)’을 ‘변화(Transform)’으로 표현하여 교육 구성원들의 변화를 강조하였고, ‘장기 결과(Long-term Outcomes)’를 ‘영향력(Impact)’으로 표현하여 교육이 학생과 교사 및 사회에 미치는 장기적인 영향력을 측정하고자 하였다.
로직모델로 측정하기 어려운 다각적 성과를 놓치지 않도록 '척도와 사다리 모형'과 '결과 매핑 모형'의 일부 요소를 반영하였다. 이는 학생·학부모·교사 등 교육 구성원과 이해관계자를 대상으로 한 인터뷰와 FGI (Focus Group Interview), FGD (Focus Group Discussion)를 통하여 정량적으로 분석된 결과를 해석하고, 자칫 유실될 수 있는 의미를 파악하기 위해서였다. 이렇게 개발된 성과측정모형은 다음과 같다.
[교육 성과측정모형]
첫 단계의 세 번째 장(phase)은 개발된 성과측정모형을 적용하여 타당성과 효과성을 검토하는 단계였다. 서울특별시 소재 대안교육기관인 거꾸로캠퍼스를 대상으로 2022년 4월말부터 5월초까지 약 한 달간 측정이 진행되었으며, 학생, 학부모, 교사, 졸업생, 외부강사(알파랩 전문가) 등 약 160명이 측정에 참여하였다. 측정은 Moaform을 활용한 온라인 설문과 서면평가, 인터뷰 등으로 진행되었으며, 측정 결과는 전산화하여 분석되었다.
이후 서울교육발전협의회 의장, 대학교수, 교육학 박사(혁신 교육 성과 측정 전문가) 등 전문가로 구성된 평가위원회를 별도 구성하여 측정으로 도출된 정량적 결과를 분석하고 그 의미를 해석하는 과정을 거쳤으며, 연구진과 거꾸로캠퍼스의 헤드티처(교장)이 참여하는 '결과 분석 회의', 거꾸로캠퍼스 전체 교사가 참여하는 비전 워크숍을 통해 성과 측정 결과를 분석하고 도출된 결론을 어떻게 활용할 것인지에 대해 토론하는 과정을 진행하였다.
[거꾸로캠퍼스 비전 수립 워크숍 모습]
2022년 8월부터 2023년 4월까지 진행된 본 연구의 두 번째 단계는 성과측정 결과가 실제 대안교육기관에 어떤 영향을 주는지 관찰하고, 타당성과 효과성을 검증하는 것을 목적으로 진행되었다. 성과측정의 목적을 단순히 현재 상황을 확인하는 것에만 두지 않고, 측정 결과로부터 발전을 위한 시사점을 도출하고 환류하는 것까지로 설정하였기 때문이다.
본 연구를 바탕으로 도출한 성과를 정리하면 다음과 같다.
첫째, 성과측정모형은 교육 과정 전반에 걸친 다양한 성과를 확인하는데 효과적이었다. 자칫 놓치기 쉬운 학생, 학부모의 요구가 실제 교육에 반영하는지를 확인할 수 있었고, 특히 실제 교육이 목표와 같은 방향으로 진행되고 있는지를 확인할 수 있었다.
둘째, 성과측정모형이 의사결정에 필요한 의미 있는 정보를 줄 수 있다는 점에서 효용성을 확인할 수 있었다. 측정 결과의 해석 과정에서 여러 의견이 제시되었다. 교사 또는 학교가 막연하게 생각하고 있는 교육 성과와 학생 또는 학부모가 생각하는 교육 성과에 다소의 차이가 있었기 때문이다. 이러한 차이는 성과측정모형에 포함된 여러 지표가 평가 참여자의 주관적 관점에서 자유로울 수 없는 것과 관련이 있다. 그러나 이러한 한계에도 불구하고, 정기적으로 성과 측정이 이루어진다면 변화 추이로부터 의사 결정에 필요한 유용한 정보를 얻을 수 있을 것이라는 점에는 동의가 이루어졌다.
셋째, 더 좋은 교육을 위해 성과 측정 결과로부터 얻어지는 정보가 매우 유용함을 확인할 수 있었다. 정보의 유용성을 두가지 측면에서 볼 수 있었다. 하나는 성공 요인을 분석할 수 있다는 측면이었다. 여러 가지 교육활동 중에서 어떤 것이 더 효과적인지 또 교육의 성과를 이끌고 있는 원동력이 무엇인지를 도출할 수 있었고, 이를 바탕으로 유지되거나 더 강화해야할 요소가 무엇인지를 구분할 수 있었다. 다른 하나는 투자된 자원 대비 성과를 내고 있지 못한 것은 무엇인지 또 교육 목표와 방향이 일치하고 있지 못한 것은 무엇인지 확인할 수 있었다. 이는 원인 분석과 대책 마련을 위한 추가적인 토론으로 이어질 수 있는 소중한 씨앗이 되었고, 거꾸로캠퍼스의 사례에서 이러한 씨앗이 보완과 개선을 거쳐 더 좋은 교육이라는 열매로 성장하는 것을 확인할 수 있었다.
소위 '임팩트 생태계'가 빠르게 성장하고 있다. 피터 드러커는 "21세기는 비영리기관의 세기가 될 것이다. 더 많은 경제, 돈과 정보가 지구화되고, 더 많은 공동체가 중요해질 것이다. 그리고 오로지 비영리단체만이 공동체에서 성과를 만들고, 기회를 개척해서 지역의 자원을 활성화하여 결국 문제를 해결할 수 있다" 고 비영리기관의 역할을 강조하였다. 'ESG 경영'으로 대표되는 기업의 사회에 대한 책무성 강화 노력도 과거 어느 때보다 더 커지고 있다. 이 대목에서 '진짜와 가짜를 구별'하는 문제 또한 대두되고 있다. 이른바 '임팩트 워싱(impact washing)'에 대한 문제이다. 교육 분야로 눈을 돌리면 교육이 잘 이루어지고 있는지 확인하고, 교육 목표와 교육 활동의 방향성이 일치하고 있는지 확인하는 것에 대한 요구 또한 적지 않다.
교육실험실21에서 오랜 시간 많은 비용과 시간, 그리고 노력을 투자하여 진행한 ‘청소년 교육을 목적사업으로 하는 비영리법인의 성과 측정 연구’는 이런 요구에 응답하는 의미 있는 시도라고 생각한다. 거꾸로캠퍼스 하나의 학교를 대상으로 진행된 연구이므로 이를 전체로 일반화하는 것에는 한계가 있을 것이다. 또 제한된 자원으로 인해 발생한 여러 부족한 부분도 있을 것이다. 그러나 교육 분야의 성과를 확인하기 위한 의미 있는 시도라는 점만은 인정받을 수 있을 것으로 믿는다. 본 연구가 이후 교육 발전을 위한 참고가 되기를 바라는 이유이다.