대상 을 통제하기 | 통제집단의 중요성

모든 과학은 진정한 실험이 요구하는 완벽한 통제를 가하지 못한 연구에서 이끌어낸 잘못된 결론의 사례들로 가득 차 있다.

로스와 니스벳은  한 때 간경화증 치료법으로 유행하였던 문정맥-공정맥 교체술에 관한 의학 연구결과를 논의하고 있다.

1966년에 그 치료법에 관한 연구들을 수합하였을 때 흥미를 끄는 결과패턴이 나타났다. 통제집단을 전혀 포함하지 않은 연구의 96.9%에서 의사들은 그 치료법이 적어도 어느 정도는 효과가 있다고 판단하였다. 통제집단이 있기는 하지만 각

조건에 무선 할당이 이루어지지 않은 연구(따라서 진정한 실험설계에 미치지 못한 연구)들은 86.7%가 적어도 어느 정도는 적어도 어느 정도는 효과가 있는 것으로 판정하였다. 그러나 제대로 적어도 어느 정도는 효과가 없는 것으로 알려진 이 특정 치료법의 효과는 철저한 실험 통제를 채택하지 않은  연구들에 의해서 엄청나게 과대평가되었던 것이다. 

 

로스와 니스벳은 "공식적이지 못한 절차를 사용하여 찾아낸 긍정적 결과는 '가짜약 효과'의 산문이거나 아니면 무선적이지 않은 임의적 할당이 초래한 편향의 소산"이라고 지적하였다. 이들은 무선 할당을 사용하지 않을 때 어떻게 선택효과가 사이비 긍정효과를 초래하도록 작동할 수 있는 것인지를 논의하고 있다. 예컨대, 치료를 받도록 선택된 환자들이 "(상태가) 좋은 후보자"이거나 아니면 이들과 통제집단 사이에는 치료 효과에 관계없이 차이가 있을 가능성이 있는 것이다.

 

일반대중들에게는 많은 사람들을 돕기 위하여 세금을 효율적으로 사용하는 방안을 마련하기 위하여 실험이 필요하다는 사실을 이해하기 힘들 때가 많이 있다. 예컨대, 미국 뉴욕시는 사람들이 노숙자가 되는 것을 막고자 시도하는 프로그램의 하나인 홈베이스를 실험을 통하여 검증하고자 시도하였다.

 

즉, 어떤 사람은 홈베이스 프로그램에 할당하고 이 프로그램에 할당하지 못한 동일한 수의 다른 사람들을 추적 조사하였다.

이 설계는 시당국으로 하여금 2,300만 달러 결정할 수 있게 해 주었다. 결과가 어떤 것이든지 간에 그 답은 기금을 보다

잘 배정할 수 있게 해 줄 것이다. 만일 이 수준의 예산으로는 극소수의 사람들만을 노숙상태에서 구제할 수 있다면, 아마도 그 예산을 다른 곳으로 돌려야 할 것이다. 반대로 노숙생활의 사회적. 경제적 비용을 감안할 때, 상당한 수의 사람들을 구제할 수 있다면 이 프로그램은 우선순위를 상향시켜 확장할 필요가 있겠다. 어느 방향으로든지 뉴욕 시민들은 더 많은 도움을 받게 되는 것이다.

 

홈베이스 사례와 같은 현장실험에 관한 혼란은 지극히 보편적인 것이다. 사람들은 실제 환경에서 사회적 지원의 효과에 관한 실제 실험을 수행함으로써 어떤 프로그램이 가장 잘 작동하는지를 찾아내어 서비스받는 사람의 수를 극대화시킬 수 있다는 사실을 이해하지 못하는 것으로 보인다. 국제원조 전문가인 에스터 듀플로가 지적하는 바와 같이, "이것이 세상에 관한 거대한 혁신적 견해같이 보이지 않는데도 경제학자가 아닌 많은 사람들은 이것을 이해하지 못한다.

 

사람들은 예산에 제한이 있다는 생각을 하지 않는다. 듀플로의 지적을 읽으면서 그의 목소리에서 약간의 좌절감을 쉽게

탐지할 수 있다. 듀플로는 이 책에서 여러 차례 논의하고 있는 사실, 즉 과학자에게는 자명한 것을 일반인을 완전히 놓치기 십상이라는 사실에 직면하고 있는 것이다.  한 프로그램이 정해진 지원 예상을 가시고 서비스를 제공할 수 있는 사람의 숫자는 정해져 있다는 사실이 듀플에게는 자명한 것으로 보인다. 보다 효율적인 또 다른 프로그램은 동일한 예산을 가지고 더 많은 사람들에게 서비스를 제종 할 것이다. 그리고 어느 프로그램이 더 효율적인지를 밝히는 유일한 방법은 진정한 실험을 수행하는 것뿐이다.

 

아마도 틀을 다르게 짜는 것이 사람들에게 도움이 되겠다. 가난한 국가에서 실시하는 원조에 관한 듀플로의 실험을 돕고 있는 한 동료는 자신이 "사람들을 가지고 실험을 수행하면 안 된다"는 말을 자주 들으며, 그때마다 "알겠어요, 그런데 당신은 당신 프로그램이 어떻게 작동하는지에 대해서 아무런 아이디어도 없잖아요. 그리고 당시 프로그램은 실험적이지 않은가요?"라고 답한다는 사실을 언급하고 있다. 현 상태, 즉 그 효율성을 검증받고 있는 원래의 프로그램을 실험이라고 부를 수

있지만, 그것은 현편없이 설계된 실험일 뿐이다! 그것도 "사람들에게 시행하는 실험"인 것이다! 이러한 유형의 틀 만들기는 무엇이 사람들을 가장 많이 도와주는 것인지를 찾아내기 위한 객관적 방법에 대한 어리석기 짝이 없는 저항을 해소하는 데

도움을 줄 수 있겠다.