| <colbgcolor=#000> 과학 연구 · 실험 Scientific Research · Experiment | ||||
| {{{#!wiki style="margin: 0 -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -6px -1px -11px" | <colbgcolor=#000><colcolor=#fff><rowcolor=#000,#fff> 배경 | 과학적 방법 | ||
| 기반 | 수학(미적분학 · 선형대수학 · 미분방정식) · 통계학(수리통계학 · 추론통계학 · 기술통계학) | |||
| 연구·탐구 | 논증(귀납법 · 연역법 · 유추(내삽법 · 외삽법)) · 이론(법칙 · 공리 · 증명 · 정의 · 근거이론 · 이론적 조망) · 가설 · 복잡계(창발) · 모형화(수학적 모형화) · 관측 · 자료 수집 · 교차검증 · 오컴의 면도날 · 일반화 | |||
| 연구방법론 | 합리주의 · 경험주의 · 환원주의 · 복잡계 연구방법론 · 재현성(연구노트) | |||
| 통계적 방법 | 혼동행렬 · 회귀 분석 · 메타 분석 · 주성분 분석 · 추론통계학(모형(구조방정식) · 통계적 검정 · 인과관계와 상관관계 · 통계의 함정 · 신뢰도와 타당도) | |||
| 측정·물리량 | 물리량(물리 상수 · 무차원량) · 차원(차원분석) · 측도 · 단위(단위계(SI 단위계 · 자연 단위계) · 단위 변환) · 계측기구 · 오차(불확도 · 유효숫자 · 과학적 기수법) | |||
| 실험 | 실험설계 · 정성실험과 정량실험 · 실험군과 대조군 · 변인(독립 변인 · 조작 변인 · 종속 변인 · 변인 통제) · 모의 실험(수치해석) · 맹검법 · 사고실험 · 인체실험 · 임상시험 · 실험 기구 | |||
| 연구윤리 | 뉘른베르크 강령 · 헬싱키 선언 · 연구투명성 · 연구 동의서 · 연구부정행위 · 표절(표절검사서비스) · 편향 · 문헌오염 · 자기교정성 · 연구윤리위원회 | |||
| 논문·과학 공동체 | 소논문 · 리포트 · 논문제출자격시험 · 연구계획서 · 형식(초록 · 인용(양식 · 참고문헌) · 감사의 글) · 저자 · 학회 · 세미나 · 학술대회 · 동료평가 · 지표 · 학술 데이터베이스 · 게재 철회 · 학제간 연구 | |||
| 철학 관련 정보 · 연구방법론 관련 정보 · 수학 관련 정보 · 자연과학 관련 정보 · 물리학 관련 정보 · 통계 관련 정보 · 사회과학 조사연구방법론 | }}}}}}}}} | |||
1. 개요
Control group and Experimental group (CG/EG)과학적 방법의 요체이자 실험이 실험답다고 말할 수 있는 핵심적인 개념이다. 학술세계에서 어떤 연구활동이 실험으로 인정받기 위해서는 이와 같은 집단 분류가 전제되어야만 한다. 이하를 읽어보면 학계에서 뛰는 연구자들이 지적 성실성을 보장하기 위해 얼마나 애를 쓰고 있는지 짐작할 수 있겠지만, 사실 이는 흔한 과학자들의 영업철학이며,(…) 그야말로 숨쉬는 것처럼 자연스러운 기초적인 활동이다.
2. 왜 필요한가: 가상의 이야기
어떤 연구를 하면서 실험을 실시할 필요를 느꼈다고 가정하자. 우선 연구자는 자신이 궁금해하는 인과관계의 주제에 개입해 있는 변인(variable)이 극도로 많다는 것을 확인하게 된다. 물론 연구자는 그 중에서도 (임의로 표현하자면) a, b, c, d, e 다섯 가지의 변인을 연구에 반영하기로 하고, 그중에서도 변인 a 의 유무가 연구대상으로 삼은 것에 얼마나 영향을 미치는지를 확인하고 싶어할 것이다. 즉, 변인 a 를 독립변인(IV)으로, 연구대상의 측정가능한 수치를 종속변인(DV)으로 설정하는 것이 우선이다. 그러려면 다른 모든 실험 조건들은 건드리지 않고, 독립변인 하나만 건드려서 그 변화의 결과를 지켜봐야 할 것이다.그런데 이 연구자는 초짜(…)였다고 가정하자. 연구자는 대상으로 삼은 집단에다 먼저 변인 a 를 처치(treatment)[1]하기로 했다. 즉, 최초의 실험 조건에서 우선 그 집단을 관찰하고, 독립변인 a 에 대해서만 더하거나 빼는 방식으로 실험 조건을 변경시킨 다음, 다시 집단을 관찰하여 종속변인 수치가 어떻게 증감하는지 살펴본 것이다.[2] 하지만 이 연구자는 곧 지도교수에게 심한 갈굼을 당했다. 변인 a 의 변화가 없었더라도 자연 상태에서 변화가 있을 수 있으므로, 그 변화가 변인 a 때문인지 장담할 수 없다는 것이다.
곧 연구자는 새로운 실험설계를 제안했다. 자신이 관찰하고 싶은 집단과 잘 비교해 볼 수 있도록 집단을 하나 더 선정해서, 최초 조건에서 두 집단을 관찰하고, 자신이 관찰하고 싶은 집단에만 독립변인 a 를 "처치" 하고, 그 이후 두 집단을 다시 관찰해서 두 집단의 종속변인 수치가 어떻게 증감하는지 살펴본 것이다. 즉, 연구자가 보고 싶은 처치된 집단은 실험집단(EG)이 되고, 대조하기 위해서 기본상태로 놓아둔 집단은 통제집단(CG)이 되는 것이다. 하지만 이 연구자는 다시 지도교수에게 심한 갈굼을 당했다.(…) 실험 환경이 "잘 통제되어 있다" 고 장담할 수 없기 때문에, 그 변화가 변인 a 때문인지, 아니면 실험집단에만 발생한 제3의 외생변인(extraneous variable)의 개입 때문인지 장담할 수 없다는 것이다.
이 연구자는 실험 장소를 자기 집 뒷마당에서(…) 대학원 연구실로 옮겼다. 자신이 찾아냈던 기타 변인들인 b, c, d, e 가 개입하지 못하도록 이래저래 신경을 썼고, 그 결과 일체의 외생변인들이 "잘 통제되었다" 고 장담할 수 있는 환경을 만들어냈다. 이제 두 집단에서 어떤 변화가 발생한다면 그것은 순전히 변인 a 덕분일 터였다.[3] 하지만 이 연구자는 아직도 지도교수를 만족시킬 수 없었다. 변인의 통제는 그럭저럭 이루어졌지만, 애초에 두 집단으로 선정된 구성 단위들이 서로 동질적(equivalent)이라는 보장이 없지 않느냐는 것이다.
그래서 이 연구자는 다시 실험을 했다. 우선 실험대상들을 무작위 표본추출해서 무작위로 통제집단과 실험집단에 배정시켰다. 이를 통해 그 연구자는 두 집단이 처치 이전에는 본질적으로 동일한 집단이라고 통계학적으로 보장할 수 있게 되었다. 그 이후, 연구자는 조심스럽게 사전 관찰을 한 뒤, 통제집단은 그대로 두고 실험집단에만 변인 a 의 처치를 가했다. 그리고 그 결과 발생하는 변화의 증감을 파악하기 위해 두 집단의 종속변인을 다시 관찰하여 데이터를 뽑아냈다. [4] 연구자는 변인 a 가 여전히 유의미하게 영향을 미치고 있다는 결론을 얻었다. 드디어 제대로 된 "실험" 이라고 부를 만한 것이 진행된 것이다.
아무튼 통제집단과 실험집단을 통한 실험의 설계를 표 형식으로 옮기면 다음과 같다. 대상이 된 실험설계는 통제집단 사전사후 설계.
| 집단 | 무선추출 | 사전측정 | 처치 | 사후측정 |
| EG → | R | O1 | X | O2 |
| CG → | R | O1 | O2 |
보다시피 실험의 전 과정과 요건들이 심히 논리적이며, 일말의 예외적 가능성조차 이중 삼중으로 꽉꽉 틀어막고 있음을 볼 수 있다. 그리고 이런 연구들이 전 세계 대학교들의 실험실에서 반복되고 누적되고 있으며, 그 결과 얻어진 "확실히 인과관계가 존재한다!" 는 결론들이 쌓이고 쌓이면서 인간 지성의 한계를 넓혀 가고 있는 것이다.
3. 사회문화를 배우는 고등학생들을 위한 예시
야간자율학습이 성적 향상에 도움이 된다는 것[5]을 증명하고자 한다.실험1. 우리 반 애들[6]한테 야자를 강제로 시켜보자!
결과➡ 모두 성적이 상승했지만...야자 안 했어도 성적이 늘었을지도 몰라
실험2. 다른 반 아이들[7]한테는 야자를 시키지 말고 우리반 애들한테만 시키자!
결과➡ 우리 반 애들만 성적이 상승했지만...우리 반 애들이 다른 반 애들보다 과외랑 학원도 많이 다니는 거 같아.[8] 그것 때문에 성적이 늘었을 수도 있어!
실험3. 학원이랑 과외도 모두 그만두게 하자! 공부도 교과서로만! 다른 반 애들은 아무것도 시키지 않게 하는 것도 잊지 말고
결과➡야자만으로 우리반 애들이 성적이 늘었지만...우리 반 애들 원래 머리가 좋았을 수도 있어.[9] 좀 더 확실한 방법 없을까?
실험4. 전국에 있는 모든 학생들을 추첨해서 뽑아야지![10] 그중에서 야자를 시키는 놈들이랑 안 시키는 놈들이랑 무작위로 두면 가장 확실한 결과가 나올 거야!
결과➡역시 야자만으로도 성적이 느는 걸 볼 수 있군! 야자는 역시 좋은 공부법이야![11]
4. 기타
콘서트장에서의 코로나19 전염성에 대한 독일 과학자들의 실험은 연구 현장에서 통제집단과 실험집단이 어떻게 비교되는지를 보여주는 좋은 사례이다. # 여기서는 실험적 처치의 수준을 두 단계로 세분화해서 비교하였는데, 이처럼 실험집단을 여럿으로 나누어 볼 경우에는 단순히 통제집단과 비교하는 것보다 더 설득력 있는 결과가 얻어질 수 있다. 예컨대 이렇게 한다면 사회적 거리두기가 효과적이라는 결론에서 더 나아가서 "거리를 두면 둘수록 좋다" 혹은 "거리두기는 기본적인 수준만 지키면 충분하다" 중 하나의 더 구체적인 연구성과를 얻을 수 있기 때문. 특히 이 실험은 실험법치고는 무려 1,500명의 참가자들이 동원된 대규모 연구라는 것도 특징적이다.참고로 사회과학(특히 심리학이나 교육학)의 경우, 조작(처치) 이후에는 자신이 조작한 게 제대로 먹혀들었는지(?) 확인하는 과정을 추가할 수도 있는데 이 경우에는 조작 점검(manipulation check)이라고 한다. 즉 처음에는 서로 같았던 두 집단의 특성이 정말로 연구자의 생각처럼 서로 달라졌는지 t-검정 등을 통해 확인해 보는 것이다. 비단 통제집단/실험집단 대조가 아니더라도, 실험에 쓰이는 모든 개념과 구성, 자료들은 전부 탐색연구(pilot study)를 따로 수행해서 그 내용 타당도(content validity)를 입증해 보여야 한다![12] 현장에서 연구자들이 지적 진실성을 지키기 위한 노력은 상당히 고달프다.
의약학 분야에서 신약을 개발하면 일반적으로 그 효능을 알아보기 위해 "가짜약" 즉 플라시보를 써서 그것이 정말로 효과가 있는지를 대조해보게 되는데, 이때 플라시보를 쓰는 집단이 바로 통제집단, 실제 신약을 쓰는 집단이 바로 실험집단이 된다. 이때 두 집단 사이에 병세가 차이가 없다면 신약은 약으로서의 효능을 인정받지 못하지만, 플라시보 집단에 비해 실험집단에서 상당한 차도가 보이게 된다면 이 신약은 비로소 약으로서 인정받고 대량생산에 돌입한다.
간혹 어떤 경우에는 통제집단을 두는 것이 도의적으로 문제가 되는 사례도 있다. 예를 들어, ADHD 환아들을 위한 새로운 심리치료 요법이 개발되었다고 가정하자. 이때 환아의 부모들에게 "귀하의 자녀는 무작위 선정의 결과로 6개월의 치료기간 동안 무처치 집단에 배정될 수도 있습니다" 를 알렸다가는 당장 참여율이 확 감소할 것이다. 자신의 자녀가 6개월 동안 아무 치료도 받지 못한 채 ADHD를 계속 달고 살아야 할 가능성이 있기 때문이다. 그렇기 때문에 이런 심리치료 등의 분야에서는 통제집단 구성원들에게 "무처치 집단에 배정될 경우, 치료기간이 끝나고 치료효과가 입증되면 그때부터 6개월간 무상으로 동일한 치료를 실시해 드립니다" 의 약속을 하기도 한다. 그 때문에 이 분야들에서는 통제집단이라는 용어 대신 대기집단이라는 용어를 쓰는 경우도 있다. 연구가 끝날 때까지 대기했다가 나중에 치료를 받도록 하겠다고 약속한다는 의미.
외과 수술 현장에서도 통제집단을 두는 경우가 있는데, 이런 경우는 전신마취에 개복에 모든 것이 똑같지만 정작 아무런 치료를 하지 않고 도로 봉합하고 회복시킨다.(…)
5. 둘러보기
| 🏬 사회과학 조사·연구 방법론 둘러보기 | |||
| {{{#!wiki style="margin: 0px -10px -5px; min-height: 26px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -5px -2px -11px" | <colbgcolor=#C1F3FF>📝 서론 | <colbgcolor=#F7FFFF,#191919>사회과학 · 과학적 방법 · 사회조사 · 연구 · 가설 · 이론(이론적 조망) · 연구윤리 | |
| 🔍 조사방법론 I | 변인 · 정의 · 상관관계와 인과관계 · 실험(실험설계 · 통제 · 통제집단과 실험집단) · 사례연구 | ||
| 자료 · 자료수집(면접법 · 초점집단면접법 · 질문지법 · 관찰법) · 코딩 | |||
| 📈 조사방법론 II | 표본조사 · 지표 · 측정 · 신뢰도와 타당도 · 지수 · 척도 | ||
| 📊 사회통계 | 통계적 방법 · 기술통계학 · 확률 및 분포 · 추론통계학 · SPSS · 분석기법(분산분석 · 회귀분석) | ||
| 👔 공인 자격증 | 사회조사분석사 · 빅데이터분석기사 · 국가공인 데이터분석 전문가 | ||
| 📂 메타 문서 | 연구방법론 관련 정보 | ||
| 상기 문서들은 한국통계진흥원 및 한국산업인력공단의 출제범위에 의거하여 엄격히 망라되어 있으며, 동 기관의 과목별 구분·명명에 의거하여 조사방법론은 2파트로 구분됨 | |||
[1] 조작(manipulation)이라는 단어도 많이 쓴다. 일반인들 사이에서야 어감이 이상해졌지만(…) 오히려 이쪽을 더 많이 쓰는 분야도 많다.[2] 이를 다시 표현하면 단일집단 사전사후 실험설계라고 한다. 쉽게 말해 Before & After. 성형외과 광고들에서 굉장히 흔하게 찾아볼 수 있다.(…)[3] 이를 다시 표현하면 비동일 통제집단 설계라고 한다.[4] 이를 다시 표현하면 통제집단 사전사후 설계라고 한다.[5] 가설 설정[6] 실험집단[7] 통제집단[8] 외생변수[9] 실험집단과 통제집단의 동질성[10] 무작위 표본추출[11] 최종 결론도출[12] 예컨대 유명인의 스캔들 관련하여 페이스북에 올라온 사과문과 변명문(…)이 있을 때, 그 내용상의 차이에 따라 용서의 의향이 어떻게 변화하는지 알아보기로 했다고 가정하자. 두 "사과문" 의 내용 타당도가 입증되지 않은 상태에서 집단 간 통계적 차이를 보려다가는 자칫 "정상적인 사과문" 집단의 질문지 한켠에 "저기 연구자님 이건 전혀 사과가 아닌데... 질문 잘못 짜신듯요 ㅠㅠ" 이런 식의 악몽 같은 메모가 적혀 있는 것을 목격할 수도 있다(…). 농담이 아니다.