통계적 방법/분석

상위 문서: 통계적 방법

하위 문서: 통계적 방법/분석/분산분석

, 통계적 방법/분석/회귀분석

#!wiki style="display: inline; display: none;"
, }}}

1. 개요2. 들어가기 전에

2.1. 분석에 동원되는 주요 검정의 실제

2.1.1. t-검정(일표본·독립표본·대응표본) ★2.1.2. 교차분석(독립성·동질성 검정) ★2.1.3. 적합도검정2.1.4. 신뢰도검정2.1.5. 정규성검정2.1.6. 비모수검정

3. 주요 분석기법

3.1. 분산분석 ★3.2. 상관분석 ★3.3. 회귀분석 ★

4. 기타/고급 분석기법5. 팁: 기초통계에서 분석결과가 유의하지 않을 때6. 관련 문서7. 둘러보기

1. 개요

통계적 방법 중 자료의 처리를 통해 의미를 이끌어내는 분석의 실제를 설명하는 문서.

2. 들어가기 전에

통계분석은 사회통계 커리큘럼의 대미를 장식하는 파트이지만, 세세한 설명은 생략된 채로 넘어가는 경우가 많다. 물론 이때쯤 되면 진도에 쫓기느라 그럴 수도 있지만, 분석 하나하나를 통계학적으로 엄밀하게 설명하려다간 각 분석마다 한 학기를 투자해야 할 정도로 그 깊이가 엄청나기 때문이기도 하다.[1] 그렇기 때문에 너무 깊은 내용까지는 자제하되 기초적인 수준의 내용만을 다루고, 나중에 논문을 준비하는 대학원생들이 자신이 사용할 분석기법을 알아서 찾아서 깊이 공부하는 경우가 많다. 하지만 이 과정에서 분석기법의 정당화가 제대로 다루어지지 않는다는 것은 아쉬운 부분이다.

분석(analysis)이란 무엇일까? 일반인들 수준에서도 매우 폭넓게 쓰이는 단어이고, 단어가 갖는 권위 때문에 주식투자자들이나 심지어는 유사과학자들도 말끝마다 힘주어 붙이는 단어지만, 막상 분석의 의미를 제대로 설명하는 문헌들은 많지 않다. 이것은 시중에서 잘 팔리는 통계적 방법 교과서들에서도 마찬가지다. 가장 폭넓고 원뜻에 충실한 정의는 '어떤 대상을 이해하기 위해 그것을 세부 요소로 잘게 쪼개고, 나누어진 요소들을 각각 이해한 후, 그 이해의 총합을 원래 대상에 대한 이해라고 간주하는 것' 이라고 할 수 있다. 다시 말하면 관찰의 단위(unit of observation)를 더 낮은 수준으로 환원(還元)하는 것과도 같으며, 어떤 논자들은 이를 가리켜 전형적인 근대 서양의 사고방식이라고 말하기도 한다. "혼합물 시료를 분석하다", "아동의 문제행동을 분석하다" 같은 표현들이 바로 이 경우다.

방법론의 관점에서 조금 더 좁힌다면, 분석한다는 것은 곧 정량적 자료를 토대로 하여 정성적인 의미를 이끌어내는 활동이라고 볼 수 있다. 숫자는 그 자체로 숫자일 뿐이지만, 어떤 의미 있는 의사결정을 하기 위한 근거로 우리가 그 숫자를 내세우고, 이 숫자가 자신의 판단과 관련성이 있음을 보여주는 것이다. 그렇기 때문에 단순한 집계조차 '빈도분석' 같은 표현으로 치장(?)될 수 있는 것이고, 원천자료가 요약 및 정리되어 있는 기술통계 자료만 가지고도 그것에 특정한 의미를 부여함으로써 분석이라고 불리게 되는 것이다. 국가공인 데이터분석 전문가 자격시험에서도 분석의 개념을 이쪽으로 전제한다.

물론 학계에서든 일반인이든 간에 분석이라는 단어는 조금 더 거창한 개념으로 이해된다. 사회통계 커리큘럼이나 사회조사분석사 자격시험 범위에서도 분석은 분명 그보다는 더 수학적으로 엄밀한 무언가이다. 그런데 상관분석, 회귀분석, 분산분석, 시계열분석, 패널분석, 주성분분석, 요인분석, 메타분석 같은 사례의 나열만 가지고 분석을 정의할 수는 없다.[2] 이 모든 종류들을 전부 포괄할 수 있으려면, 분석에 대해서 잠정적으로나마 "사전 계획된 절차에 입각하여 자료를 기초 관찰단위에서 체계적으로 검토하고 그 결과를 분석단위에 의미 있게 해석하는 기법" 이라고 말하는 것이 안전할 것이다.

분석에서 수학적인 부분이 중요하기는 해도, 의미의 부여가 없다면 분석이 완료되지 않는다. 논문에서도 분석결과를 보고(report)한 이후에는 반드시 해석(interpret)하여 의미를 부여하게 되며, IMRaD Format에서도 Result 다음으로 Discussion 단락을 배치하고 있다. 이는 학계뿐만 아니라 일반인들에게도 마찬가지로, 업무 보고서에서도 각종 수치들을 언급한 후에는 반드시 그 의미를 강조해야 나중에 욕을 먹지 않으며, 언론사에서도 여론조사 결과를 알린 후에는 그 숫자들을 조합해서 특정한 결론을 도출한다. 가령 "대다수 직장인들은 회사가 월급수준보다 높은 성과를 요구한다고 생각한다", "2030세대는 월급을 받은 만큼만 일하면 된다고 생각한다", "50대는 받은 것보다 더 일해야 성장할 수 있다고 생각한다" 의 세 가지를 통계로 제시했다면, 이들을 연결해서 '청년층은 회사의 성과 요구에 불만을 느끼지만 중장년층은 이런 불만을 이해하지 못한다' 는 의미를 부여할 수 있다. #관련기사

분석 파트에서의 또 다른 난관은 어떤 순서로 배워야 하는가이며, 이조차도 딱 떨어지는 정답이 없다. 우선 분산분석부터 가르치는 강사나 교수들이 있다. 가장 직관적인 논리를 갖고 있고, 또 실제로 석사 수준에서 학위논문을 쓸 경우 활용 가능성이 가장 높은 분석기법이기 때문이다. 한편 교차분석부터 가르치는 경우도 있다. 데이터의 성질이 가장 단순하고, 이후 다른 분석들을 가르치면서 복잡성을 늘려갈 수 있기 때문이다. 그런가 하면 회귀분석부터 가르치는 경우도 있다. 회귀분석이야말로 통계학의 꽃이고, 수학적으로도 회귀식의 수립은 가장 강력하고 설득력 있는 분석논리에 속하며, 다른 분석기법들의 상위호환이 되는 중요한 분석이기 때문이다. 그런데 정작 이 각각의 분석들은 '이것을 이해하기 위해서 먼저 저것을 이해해야 하는' 복잡한 관계에 있으며, 논리를 깊게 파고들수록 서로간의 관계가 수학적으로 더 밀접하게 맞닿아 있음을 발견하게 된다. 따라서 "무엇부터 공부를 시작하는가" 는 크게 중요치 않고, 여러 번 사이클을 돌리면서 조금씩 더 깊게 파고드는 방식이 차라리 더 낫다.

한 가지 용어상의 혼동을 거론하자면, 통계분석에서 (통계적으로) 유의한(statistically significant) 결과라는 표현과 유의미한(meaningful) 결과라는 표현은 엄밀히는 서로 다르다고 봐야 한다. 서구에서는 이슈가 되지 않지만 학술용어들을 국내에 번역하는 과정에서 불거지는 숱한 이슈 중 하나. 유의하다는 표현은 분석결과를 보고(report)하는 단계에서 각종 검정통계량이나 p-값을 바탕으로 내린 판단이고, 유의미하다는 표현은 그 보고된 결과를 해석(interpret)하는 단계에서 이론과 선행문헌에 비추어 실제로 학술적인 공헌을 하는 발견이라고 판단하는 것이다. 그렇기 때문에 일부 유의한 결과는 유의미하지 않은 발견이라고 치부될 수도 있다. 하지만 현실적으로는 숱한 통계 교과서들과 강의들, 심지어는 학술대회 구두발표 현장에서조차 '유의' 와 '유의미' 가 서로 혼용되고 있는 형편이다. 꼬장꼬장한 연구자들은 플로어 질의응답 시간에 굳이 손을 들고 이걸 지적하기도 한다(…). 실제로 학술현장에서 통계 관련 번역어의 혼란으로 발생하는 비용은 이만저만한 수준이 아니며, 일부는 처음부터 영어단어 위주로 가르치기도 한다.

이 문서에서는 '방법으로서의 통계' 라는 관점을 견지하여, 해당 통계기법을 사용해야 하는 상황, 주요 전제(assumption)들과 정당화 가정, 분석의 기본적인 논리, SPSS 환경에서 분석을 명령하는 절차, 출력된 결과를 해석하는 기법 위주로만 설명하기로 한다. SAS나 R을 써야 하는 사람들이라면 애초에 이 문서에서 소개하는 초급 수준의 통계는 익숙할 가능성이 높다.

2.1. 분석에 동원되는 주요 검정의 실제

여기서는 본격적인 분석으로 취급되진 않지만 분석의 일환으로 자주 시행되는 검정(testing)들을 살펴본다. 가능할 경우 간단한 보고례를 함께 첨부하였으나, 구체적인 보고의 양식은 학문분야마다 다를 수 있음에 유의. 실제로 《Essentials of Statistics for the Behavioral Sciences》 등의 국내·외 통계 교과서들은 분석 결과를 어떻게 보고할지에 대해서 간략한 사례를 함께 첨부하는 경우가 많다.

사회통계 커리큘럼에 흔히 포함되는 기초 분석기법들은 ★ 표시로 구분하였다.

2.1.1. t-검정(일표본·독립표본·대응표본) ★

일표본 t-검정 One-sample t-test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>기준값 비교
집단의 수	1개
자료의 성질	연속형
측정회차	1회
주요전제	모집단 정규성

...분석에 앞서, 조사에 참여한 나무위키 이용자 200명이 나무위키에 대해 얼마나 호감을 갖고 있는지를 먼저 단일문항 7점 리커트 척도로 질문하였다(1＝"매우 비호감이다", 7＝"매우 호감이다"). 조사 결과, 이용자들의 응답 평균값과 그 표준편차는 ＃.＃＃점(＃.＃＃)으로 나타났다. 일표본 t-검정 결과, 중립 점수값인 4점과 비교하였을 경우 95% 신뢰수준에서 통계적으로 유의한 차이를 보였다(t＝＃.＃＃, p＜.05). 이상의 결과는 이용자들이 자신이 이용하는 나무위키에 대해서 중립 이상으로 의미 있는 수준의 호감을 갖고 있음을 보여준다...

많은 경우 일표본 t-검정은 단일모집단 모평균 검정이라고 불리기도 하며, 해당 표본을 통해서 실제로 추정된 모평균이 기존에 알려져 있는 모평균과 같은지(＝) 혹은 다른지(≠, ＜, ＞)를 판단하는 경우이다. 그래서 영가설(H₀)은 "같다" 가 되고, 대립가설(H₁)은 "같지 않다" 가 되는 것이다. 모집단의 성질이 특정한 값으로 기대되거나, 혹은 예상되거나, 공표되어 있거나, 규범화되어 있을 때 사용된다. 그래서 공장의 생산라인에서 품질관리를 하는 데에도 일표본 t-검정이 쓰일 수 있다.

H₀: 표본으로부터 추정된 모평균은 기존에 알려진 모평균과 차이가 없을 것이다.
H₁: 표본으로부터 추정된 모평균은 기존에 알려진 모평균과 차이가 있을 것이다.

한편 모수를 추정하기 위함이 아니라 단순히 제3의 특정한 기준값을 두고 표본의 성질이 그 기준값과 다르다고 볼 수 있는지 아닌지를 판단할 경우에도 쓰인다. 예를 들어 고등학교 한 반에서 수학시험 점수를 수집한 뒤 그 평균값이 사전에 지정된 목표값인 70점과 비교하여 차이가 있다고 볼지 없다고 볼지 판단하는 경우가 있다. 또한 위에서 예시화한 보고례처럼, 분석대상이 되는 표본 자체가 특정한 성질을 갖는다는 전제가 만족되어야만 이후의 모든 본격적인 분석이 정당화되는 상황이라면, 일표본 t-검정을 그 정당화의 사전작업으로 고려할 수 있다.

H₀: 표본에서 얻어진 평균은 사전에 지정된 값과 차이가 없을 것이다.
H₁: 표본에서 얻어진 평균은 사전에 지정된 값과 차이가 있을 것이다.

[일표본 t-검정의 명령과 결과]

구체적인 출력내용은 사용목적 및 버전에 따라 다를 수 있다.

분석 ▶ 평균 비교 ▶ 일표본 T 검정 ▶ [변수입력] ▶ [검정값 입력]
▶ 옵션 ▶ 신뢰구간 퍼센트(95%) ▶ 계속
▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

일표본 통계량
	N	평균	표준화 편차	표준오차 평균
<colbgcolor=#EEEEEE>변수1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃
변수2	＃	＃	＃	＃

일표본 검정
	검정값＝＃
	t	자유도	유의확률 (양측)	평균차이	차이의 95% 신뢰구간
					하한	상한
<colbgcolor=#EEEEEE>변수1	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃
변수2	＃	＃	＃	＃	＃	＃

독립표본 t-검정 Independent-samples t-test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>평균 비교
집단의 수	2개
자료의 성질	범주형 IV 연속형 DV
측정회차	1회
주요전제	집단 간 독립성 모집단 정규성 분포의 등분산성

...나무위키 이용자 200명과 짝짓기법으로 대응된 비교집단 일반인 200명을 실험실에 모집하고, 나무위키 이용자 집단이 일반인 집단에 비해 평균 비만도가 더 높을지를 측정하였다. 측정 결과, 나무위키 이용자 집단의 평균 BMI 및 표준편차는 ＃＃.＃＃kg(＃.＃＃), 일반인 집단의 평균 BMI 및 표준편차는 ＃＃.＃＃kg(＃.＃＃)으로, 나무위키 이용자 집단의 평균값이 더 높게 나타났다. 독립표본 t-검정 결과, 두 집단의 평균값은 95% 신뢰수준에서 통계적으로 유의한 차이를 보였다(t＝＃.＃＃, p＜.05). 이상의 결과는 나무위키 이용자 집단이 다른 모든 것이 같은 일반인 집단에 비해서 비만도가 의미 있는 수준으로 더 높음을 보여준다...

SPSS에서는 독립표본 t-검정이라고 불리지만, 통계 교과서에서는 흔히 두 모집단 평균차 검정이라고 불린다. 여기서는 상호 독립적인 두 집단으로부터 얻어진 평균의 차이가 통계적으로 의미를 부여할 수 있을 만큼 확연한지를 살핀다. 차이가 너무 작게 나타난다면 그것은 표본추출 과정에서 우연에 의해 비체계적(non-systematic)으로 얻어진 '노이즈' 와 구분할 수 없다고 이해하고, 영가설을 잘못 기각하는 상황을 회피하게 된다. 하지만 차이가 충분히 클 경우, 분석가는 두 집단이 적어도 종속변인의 관점에서는 이질적인 집단이라고 판정한다. 두 집단은 성별이나 거주지역처럼 인구학적 변인에 따라 분리될 수도 있고, 위의 사례처럼 소속 집단에 따라 분리될 수도 있다.

유의할 것은, 독립표본 t-검정은 집단 간 차이를 검정하는 방법일 뿐이지, 실험적인 논리는 아니라는 것이다. 다시 말해, 두 집단이 서로 이질적이라는 독립표본 t-검정 결과를 놓고서 집단 간 차이에 대한 인과적 설명을 하는 것은 불가능하다.[3] 검정의 목적은 어디까지나 '두 집단 사이에 차이가 있는가 없는가' 이지, '차이가 있다면 그것은 무엇 때문인가' 까지 확장되지는 않는다. 그것은 나중에 따로 실험을 해서 두 집단의 대응표본 t-검정을 하든지 아니면 분산분석을 써야 할 일이다. 즉, 통제집단과 실험집단을 두어서 사전사후 측정을 실시하고, 두 측정 사이에 실험집단에게만 특정한 처치를 가해야 한다. 자세한 내용은 실험설계 문서를 볼 것.

SPSS에서 명령을 하다 보면 독립변인을 집단변수에 넣었을 때 뜬금없이 물음표가 뜨는 것을 보고 당황할 수 있다. 이때 당황하지 말고 그 아래쪽의 집단 정의 버튼을 클릭해서 두 집단의 코딩을 컴퓨터에게 알려주어야 한다. 예컨대 A집단을 1로 코딩하고 B집단을 2로 코딩했다면 여기서도 각각 1과 2를 입력하면 되지만, 혹시 두 집단을 0과 1로 코딩했다면 여기서도 똑같이 0과 1로 입력해 줘야 컴퓨터가 헷갈리지 않는다. 하술된 범주형 회귀분석을 준비하는 경우 0과 1로 질적 코딩을 하게 될 수 있으나, 그때라도 초심자 수준에서는 웬만하면 1과 2로 코딩한 후 '다른 변수로 코딩변경' 기능을 이용해서 한번 더 0과 1로 코딩하기를 추천한다. 아무튼 막상 알고보면 굉장히 심플한 작업단계임에도 불구하고 초심자들이나 오랜만에 SPSS를 만져보는 사람들이 멈칫하게 되는 지점 중 하나.

그 외에도 독립변인이 3개 이상의 값을 가질 때 집단 정의 기능이 크게 활약할 수 있다. 예를 들어, 독립변인이 '실험집단＝1', '위약집단＝2', 그리고 '통제집단＝3' 으로 나누어 코딩되었다고 가정해 보자. 여기서 연구자가 위약집단은 제외하고 실험집단과 통제집단 사이의 차이를 검정하고자 할 때, SPSS에서 2로 코딩된 데이터를 '케이스 선택' 기능으로 필터링하는 연구자는 하수다. 가능은 하겠지만 손이 많이 가고 시간 낭비밖에는 안 된다. 이때는 그냥 독립표본 t-검정 명령 창에서 집단 정의를 할 때 집단변수를 입력한 후 (1 3) 으로 코딩하면 한큐에 끝나기 때문이다. 이후 실험집단과 위약집단을 비교하겠다면 다시 명령 창을 켜고 (1 2) 로 정의하면 되며, 만일 위약집단과 통제집단을 비교해야 한다면 (2 3) 으로 바꿔서 정의해주기만 하면 된다.

SPSS에서는 독립표본 t-검정을 명령할 경우 자동으로 등분산성 검정을 포함해서 출력한다. 이것은 두 표본집단의 모집단 분포의 분산이 서로 동일하다는 기본 가정인데, 이 가정이 지켜지지 않는다면 F-분포의 자유도가 과도하게 감소하여 1종 오류(type I error)가 증가한다고 알려져 있으며, 자연히 검정 결과도 설득력이 떨어진다. 등분산성 검정은 다양한 방법들이 있지만 SPSS에서는 기본으로 레빈의 검정(Levene's test)을 지원한다. 이는 특수한 형태의 분산분석으로, 두 모분산이 같아야만(σ₁＝σ₂) 이후의 검정이 의미가 있으므로 영가설을 기각하지 못하기를 기대해야 한다. 요컨대 레빈의 검정에 한해서는 거꾸로 p＞.05 결과가 나타나야 한다는 얘기다.

그러나 현실적으로는 등분산이 가정되든 가정되지 않든 데이터 수치에 큰 차이는 없다(…). 사실은 레빈의 검정에서 유의수준 p가 0.05 이상으로 나오는 경우가 대부분이고, 이 경우에는 '등분산을 가정함' 가로행에 있는 숫자를 보고하면 된다. 드물게나마 레빈의 검정에서 유의수준 p가 0.05 이하로 나오는 경우, 원칙적으로는 독립표본 t-검정의 설득력이 떨어진다고는 하지만, 해당 가정 없이 SPSS가 ~~센스있게~~ 수행해서 보여준 '등분산을 가정하지 않음' 가로행의 숫자를 보면 그 위와 딱히 다를 것도 없는 숫자들이 나타나 있다. 그래서 구태여 다른 이상한 분석기법으로 갈아타느니 그냥 해당 가로행에 있는 숫자만 보고하고 넘기는 사람들이 많다.

H₀: 두 표본에서 얻어진 평균은 서로 차이가 없을 것이다.
H₁: 두 표본에서 얻어진 평균은 서로 차이가 있을 것이다.

[독립표본 t-검정의 명령과 결과]

분석 ▶ 평균 비교 ▶ 독립표본 T 검정 ▶ [집단변수 입력] ▶ [검정변수 입력]
▶ 집단 정의 ▶ 집단1(1) / 집단2(2) ▶ 계속
▶ 옵션 ▶ 신뢰구간 퍼센트(95%) ▶ 계속
▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

집단통계량
	집단변수	N	평균	표준화 편차	표준오차 평균
<colbgcolor=#EEEEEE>검정변수1	<colbgcolor=#EEEEEE>집단1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃
<colbgcolor=#EEEEEE>검정변수1	집단2	＃	＃	＃	＃
검정변수2	집단1	＃	＃	＃	＃
검정변수2	집단2	＃	＃	＃	＃

독립표본 검정
		Levene의 등분산 검정		평균의 동일성에 대한 T 검정
		F	유의확률	t	자유도	유의확률 (양측)	평균차이	표준오차 차이	차이의 95% 신뢰구간
		F	유의확률	t	자유도	유의확률 (양측)	평균차이	표준오차 차이	하한	상한
<colbgcolor=#EEEEEE>검정변수1	<colbgcolor=#EEEEEE>등분산을 가정함	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃
<colbgcolor=#EEEEEE>검정변수1	등분산을 가정하지 않음	＃	＃	＃	＃	＃	＃	＃	＃	＃
검정변수2	등분산을 가정함	＃	＃	＃	＃	＃	＃	＃	＃	＃
검정변수2	등분산을 가정하지 않음	＃	＃	＃	＃	＃	＃	＃	＃	＃

대응표본 t-검정 Paired-samples t-test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>평균 쌍대 비교
집단의 수	1개
자료의 성질	연속형
측정회차	2회
주요전제	집단 간 종속성

...나무위키 이용자 200명을 대상으로 나무위키의 이용이 지각된 불안을 감소시키는지 반복하여 측정하였다. 먼저 실험실에 모인 참가자들로부터 K-BAI 데이터를 수집하고, 1시간 동안 나무위키를 열람 및 편집하게 한 후, 다시 사전측정과 동일하게 사후검사를 실시하였다. 측정 결과, 사전측정에서 불안의 평균 및 표준편차는 ＃＃점(＃.＃＃)이었고, 사후측정에서는 ＃＃점(＃.＃＃)으로 나타나, 사후의 불안 평균값이 사전의 평균값보다 낮았다. 대응표본 t-검정 결과, 사전과 사후의 평균값은 95% 신뢰수준에서 통계적으로 유의한 차이를 보였다(t＝＃.＃＃, p＜.05). 이상의 결과는 나무위키의 이용이 그 이용자들의 불안을 의미 있게 감소시킨다는 것을 보여준다...

이번에는 하나의 집단을 두 번 측정하는 기법으로, 대응모집단 평균차 검정이라고도 불린다. 실험설계에서 반복측정(repeated measures)은 다양한 목적으로 활용되는데, 외생변인을 통제하기 위해 사용되기도 하고 피험자 내 설계(within-subject design)를 위해 사용되기도 하지만, 처치의 이전과 이후를 서로 비교함으로써 그 처치가 얼마나 큰 변화를 불러일으켰는지 판단할 때 쓰기도 한다. 이때 두 집단은 사실 동일한 집단에서 기원한 것으로, 상호독립적이지 않고 종속적인 관계에 있다. 그래서 두 평균을 비교하는 것을 쌍대비교법(paired-comparison)이라고 한다. 두 측정 사이의 시간적 간격이 너무 커질 경우 소멸(mortality)이나 성숙(maturation)이, 너무 짧을 경우 학습(learning) 및 검사효과(testing effect)가 발생하여 내적 타당도가 저해될 위험이 있다.

현실적으로 학계에서 자주 보기는 어려운 검정이다. 실험설계의 관점에서는 단일집단 사전사후 설계인데, 진실험설계보다 논리적으로 하위호환이기 때문. 사전과 사후를 비교한다면 당연히 처치 없는 집단과의 비교도 고려할 수밖에 없다. 사전검사된 평균값과 사후검사된 평균값 사이의 차이에는, 그 시간 동안 발생하는 자연스러운 세상만물의 변화량이 뒤섞여 있을 수 있다. 이를 제거하기 위해서는 통제집단을 두어서 통제집단의 변화량을 함께 측정해야 한다. 위의 사례에서도 나무위키 이용자들을 차라리 반으로 나누어서 나머지 절반에게는 같은 시간 동안 나무위키 이외의 인터넷 서핑을 1시간 동안 하게 하는 편이 더 설득력이 있다. 설계가 엄밀해질수록 혼합설계 분산분석을 따르게 되는데 분석의 난이도가 굉장히 높아지게 된다. 특히 가설의 설정과 결과해석이 비교도 안 되게 골치아프다.

대응(A)	변수1	변수2
1	📏사전_변수쌍1	📏사후_변수쌍1
2	📏사전_변수쌍2	📏사후_변수쌍2
3

대화 창에 들어가면 오른쪽의 대응변수 입력 창이 다소 직관적이지 못해서 혼란스러울 수 있다. 여기서 세로열은 사전사후 여부를 나누며, '변수1' 열에는 무조건 사전측정 결과를, '변수2' 열에는 무조건 사후측정 결과를 넣으면 된다. 가로행은 몇 개의 변수쌍을 구성할 것인지를 묻는다. '1' 행은 사전사후 측정한 첫째 변수를, '2' 행은 사전사후 측정한 둘째 변수를 넣으면 된다. 변수 목록에서 오른쪽으로 가져오면서 변수쌍을 구성할 때마다 아래로 셀이 한 칸씩 늘어나면서 새롭게 공간이 생기므로, 동시에 분석하는 변수쌍의 개수가 너무 많을까 걱정할 필요는 없다.

H₀: 같은 집단에서 사전에 측정된 평균과 사후에 측정된 평균은 서로 차이가 없을 것이다.
H₁: 같은 집단에서 사전에 측정된 평균과 사후에 측정된 평균은 서로 차이가 있을 것이다.

[대응표본 t-검정의 명령과 결과]

분석 ▶ 평균 비교 ▶ 대응표본 T 검정 ▶ [대응변수 입력]
▶ 옵션 ▶ 신뢰구간 퍼센트(95%) ▶ 계속
▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

대응표본 통계량
		평균	N	표준화 편차	표준오차 평균
<colbgcolor=#EEEEEE>대응 1	<colbgcolor=#EEEEEE>사전_변수쌍1	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃
<colbgcolor=#EEEEEE>대응 1	사후_변수쌍1	＃	＃	＃	＃
대응 2	사전_변수쌍2	＃	＃	＃	＃
대응 2	사후_변수쌍2	＃	＃	＃	＃

대응표본 상관계수
		N	상관관계	유의확률
<colbgcolor=#EEEEEE>대응 1	<colbgcolor=#EEEEEE>사전_변수쌍1 & 사후_변수쌍1	＃	＃	＃
대응 2	사전_변수쌍2 & 사후_변수쌍2	＃	＃	＃

대응표본 검정
		대응차					t	자유도	유의확률 (양측)
		평균	표준화 편차	표준오차 평균	차이의 95% 신뢰구간
					하한	상한
<colbgcolor=#EEEEEE>대응 1	<colbgcolor=#EEEEEE>사전_변수쌍1 & 사후_변수쌍1	＃	＃	＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	＃	<colbgcolor=#B7F0B1>＃
대응 2	사전_변수쌍2 & 사후_변수쌍2	＃	＃	＃	＃	＃	＃	＃	＃

2.1.2. 교차분석(독립성·동질성 검정) ★

독립성 검정 Chi-square test of independence
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>변인 간 관계 확인
집단의 수	1개
자료의 성질	범주형 IV 범주형 DV
측정회차	1회
주요전제	전체 셀 간 독립성 모든 셀 크기 n≥5

...나무위키 이용자 200명의 데이터를 활용하여 성별 여부와 아이디(ID) 보유 여부 간의 상관을 확인하기 위한 독립성 검정을 수행하였다. 전체 이용자 중에서 남성은 ＃＃＃명, 여성은 ＃＃명으로 남초 성비를 보였고, 아이디 보유자는 ＃＃＃명, 미보유자는 ＃＃명으로 보유자가 미보유자보다 더 많았다. 독립성 검정 결과, 두 변인 간에 통계적으로 유의한 상관이 나타났다(χ²＝＃.＃＃, p＜.05). 구체적으로, 남성 이용자들은 전체 이용자 중 아이디 보유자의 비율이 높은 반면(＃＃%), 여성 이용자들은 전체 이용자 중 아이디 미보유자의 비율이 높았다(＃＃%). 이러한 결과는 남성들이 여성들보다 아이디를 보유하려는 경향이 더 높음을 보여준다...

교차표를 활용한 독립성 검정은 둘 이상의 질적 변인 사이에 존재하는 상관을 확인하기 위한 분석기법이다. 흔히 "남자들은 여자들보다 종교를 잘 갖지 않는다" 같은 이야기를 하듯이, 적지 않은 연구가설들은 독립변인과 종속변인 모두 질적으로 측정된 경향이 있다. 독립성 검정의 논리는, 일단 각 변인이 완전하게 독립적이어서 아무런 상관이 존재하지 않을 때 기대되는 기대빈도의 교차표를 작성하고,[4] 실제로 얻어진 교차표를 이와 비교하여, 각 셀에서 나타나는 빈도의 차이를 가지고 χ²-값을 구하여[5] 주어진 유의수준에 해당하는 임계값을 초과하는지 보게 된다. 통계분석의 세계에서 흔치 않게 검정통계량(χ²-값)의 계산이 단순한 축에 속하기 때문에[6] 교차분석을 커리큘럼에 포함시키는 사회통계 강의는 반드시 한 번쯤은 손으로 계산을 시켜보게 한다(…).

SPSS에서는 대칭적 측도라 하여 검정통계량인 χ²-값 이외에도 다양한 상관계수들을 지원하고 있는데, 이게 초심자들에게는 눈이 빙빙 돌기 딱 좋은(…) 형태의 대화 창으로 나타나서 괜히 겁을 먹게 만든다. 그러나 여기서 알아야 할 것은 결국 자료의 성질이 무엇이냐 하는 정도뿐으로, 똑같은 범주형 자료이더라도 명목 수준에서 측정했다면 왼쪽 체크박스들에 관심을 갖고, 서열 수준에서 측정했다면 오른쪽 체크박스들에 관심을 가지면 된다. 대체로 많은 교과서들은 '카이제곱' 이외에 '파이 및 크레이머의 V' 쪽에도 같이 체크하는 경향이 있는데, 사실 죄다 찍어놓고 비교해 봐도 값에서 큰 차이가 나는 경우는 많지 않다. 상기한 레빈의 등분산 검정이 떠오르는 부분.

명목: 두 변인이 모두 명목 수준에서 측정된 경우로, 상관계수는 0에서 1 사이의 값을 갖는다. '분할계수', '파이 및 크레이머의 V', '람다', '불확실성 계수' 를 원하는 만큼 선택할 수 있다.
순서형: 두 변인이 모두 서열 수준에서 측정된 경우로, 상관계수는 －1에서 ＋1 사이의 값을 갖는다. '감마', 'Somers의 d', 'Kendall의 타우-b', 'Kendall의 타우-c' 를 원하는 만큼 선택할 수 있다.
명목 대 구간: 독립변인은 명목 수준, 종속변인은 등간 수준인 상황에서 상관의 크기를 산출한다. 상관계수는 0에서 1 사이의 값을 갖는다. '에타' 를 선택할 수 있으며, 이는 하술되는 분산분석의 논리와도 관련이 있다.
카파: 평가자 간 신뢰도 계산용으로 쓰인다. 여기부터 아래로는 초심자 선에서 체크가 찍힐 일은 없다.
위험도: 교차표 내의 상대적 위험도를 산출한다. 아래의 'Cochran 및 Mantel-Haenszel 통계량' 체크박스와 함께 승산비(odd ratio)를 계산하는 데 쓰인다. 승산비는 교차표 이외에 로지스틱 회귀분석(logistic regression)에서도 접할 수 있는데, 로짓분석이 일반적인 사회통계 커리큘럼 수준에서 다뤄질 일은 거의 없다.
McNemar: 변인이 2개의 범주값을 가지면서 대응표본으로 반복수집된 데이터의 사전사후 상관의 크기를 산출한다.
Cochran 및 Mantel-Haenszel 통계량: 이름에서 벌써 느껴지겠지만 초심자들은 거들떠볼 필요가 없다(…). 각 범주값이 갖는 승산비들의 독립성 및 공통승산비를 계산한다.

사실 이런 대칭적 측도 관련 옵션들은 많이 체크한다고 해서 딱히 더 많은 통찰을 주는 것은 아니며, 오히려 출력된 결과를 보면서 눈만 아플 뿐이다. 대개의 경우는 논문이나 보고서에서 제대로 언급되지도 않는다(…). '카이제곱' 은 반드시 찍고 넘어가야 하지만, 그 이외에는 그냥 크레이머의 V처럼 남들 많이 쓰는 것으로 하나만 찍어주면 충분하다.

H₀: 분석에 포함된 각 변인들 간에는 어떤 경우에도 서로 상관이 없을 것이다. (즉, 모든 변인들은 상호 독립일 것이다.)
H₁: 분석에 포함된 각 변인들 간에는 적어도 하나 이상의 관계에서 서로 상관이 있을 것이다. (즉, 적어도 하나 이상의 관계는 종속적일 것이다.)

[독립성 검정의 명령과 결과]

분석 ▶ 기술통계량 ▶ 교차분석
▶ [행-변수입력] ▶ [열-변수입력]
▶ 통계량 ▶ 카이제곱ⓥ / 파이 및 크레이머의 Vⓥ ▶ 계속
▶ 셀 ▶ 관측빈도ⓥ ▶ 계속
▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

케이스 처리 요약
	케이스
	유효		결측값		총계
	N	퍼센트	N	퍼센트	N	퍼센트
<colbgcolor=#EEEEEE>행변수*열변수	＃	＃	＃	＃	＃	100.0%

행변수*열변수 교차표
빈도
		열변수		전체
		값1	값2	전체
<colbgcolor=#EEEEEE>행변수	<colbgcolor=#EEEEEE>값1	＃	＃	＃
	값2	＃	＃	＃
	값3	＃	＃	＃
전체		＃	＃	＃

카이제곱 검정
	값	자유도	근사 유의확률 (양측검정)
<colbgcolor=#EEEEEE>Pearson 카이제곱	＃^a	＃	＃
우도비	＃	＃	＃
선형 대 선형결합	＃	＃	＃
유효 케이스 수	＃
_{a. ＃셀(＃.＃%)은(는) 5보다 작은 기대 빈도를 가지는 셀입니다.} _{최소 기대빈도는 ＃＃입니다.}

대칭적 측도
		값	근사 유의확률
<colbgcolor=#EEEEEE>명목척도 대 명목척도	<colbgcolor=#EEEEEE>파이	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
<colbgcolor=#EEEEEE>명목척도 대 명목척도	Cramer의 V	＃	＃
유효 케이스 수		＃

동질성 검정 Chi-square test of homogeneity
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>집단 간 빈도 비교
집단의 수	2개
자료의 성질	범주형 IV 범주형 DV
측정회차	1회
주요전제	전체 셀 간 독립성 모든 셀 크기 n≥5

...나무위키 이용자 200명과 일반인 200명의 데이터를 활용하여, 나무위키 이용 여부에 따라 교육년수의 서열 빈도를 비교하기 위한 2수준 동질성 검정을 수행하였다. 이를 위해 교육년수를 '고졸 이하', '전문대졸', '대졸', '대학원졸' 이상 4개 값의 서열 수준으로 새로 코딩하였다. 동질성 검정 결과, 두 집단 간에 통계적으로 유의한 빈도의 차이가 나타났다(χ²＝＃.＃＃, p＜.05). 구체적으로, 나무위키 이용자 집단에서는 전체 이용자 중 대졸자 및 대학원졸자의 비율이 높았으며(＃＃%), 특히 대졸자가 유독 많았다(＃＃%). 반면 일반인 집단에서는 전체 이용자 중 고졸자 및 전문대졸자 비율이 높게 나타났다(＃＃%). 이러한 결과는 2030세대 나무위키 이용자들의 학력수준이 일반인 집단과는 이질적으로 분포되어 있다는 것과, 동세대 일반인들에 비해 고학력자의 비율이 더 높음을 보여준다...

동질성 검정이 2수준의 범주값을 가질 때, 수학적으로는 독립표본 비율검정과 같은 결과를 도출한다. 동질성 검정이 상기된 독립성 검정과 가장 결정적으로 달라지는 부분은, 두 변인 간의 상관에는 관심이 없다는 점, 그리고 독립변인이 2수준 범주값이 아니라 서로 다른 두 집단에서 따로따로 표본추출되어 비교된다는 점이다. 이 때문에 동질성 검정은 독립성 검정의 '다른 말' 이 절대로 아니며, 서로 다른 집단에서 데이터를 별개로 표집하지 않고서는 동질성 검정을 진행할 수 없다. 물론 분석가의 접근방식을 따라 어느 정도 혼용되는 것은 사실이기에, 따로따로 표집했다 하더라도 관점을 바꾼다면 전체 케이스를 대상으로 독립성 검정을 할 수는 있다. 그리고 어느 쪽의 검정을 해야 할지는 분석가의 주관 혹은 이론적 조망을 동원할 영역이지, 그런 판단까지 숫자들이 다 알려주지는 않는다(…).[7]

동질성 검정이 마치 독립성 검정의 '다른 말' 인 것처럼 여겨지게 된 중요한 이유는, 양쪽 모두 SPSS에서 완전히 똑같은 과정을 거쳐 명령하게 되기 때문일 것이다. 이쪽도 똑같이 '교차분석' 메뉴로 들어가서 빈도표를 체크하고, '카이제곱' 과 '파이 및 크레이머의 V' 를 체크해 주면 된다. 그럼 똑같이 케이스 처리 요약, 교차표, 카이제곱 검정표, 대칭적 측도의 네 개의 표가 출력된다. 하지만 SPSS는 시키는 대로 할 뿐이지, 자기가 만지는 데이터가 어떤 식으로 해석되어야 할지는 모른다. 그것은 전적으로 SPSS를 사용하는 분석가가 직접 의미부여를 해야 하는 영역인 것이다. 분석가는 이 경우 독립변인의 두 범주값이 서로 다른 집단으로부터 얻어진 케이스 세트임을 인지한 상태에서, 이 집단에서는 종속변인의 범주값에 따라 빈도 분포가 이렇게 나타나고, 저 집단에서는 저렇게 나타나는 것으로 보아, 두 집단이 서로 동질적이거나 이질적이라는 의미를 제시해 주어야 한다.

H₀: 두 집단 간에는 종속변인의 각 범주별 빈도 분포에 있어서 동질적일 것이다.
H₁: 두 집단 간에는 종속변인의 각 범주별 빈도 분포에 있어서 동질적이지 않을 것이다.

[동질성 검정의 명령과 결과]: 명령의 내용 및 출력결과는 상기된 독립성 검정과 정확히 일치한다.

2.1.3. 적합도검정

적합도 검정 Goodness-of-fit test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>모형 적합도 확인
집단의 수	1개
자료의 성질	범주형 IV 범주형 DV
측정회차	1회
주요전제	전체 셀 간 독립성 모든 셀 크기 n≥5 모든 셀 기대빈도 n≥5

...선행문헌에 따르면(Author, Year) 위키백과 핵심 기여자 집단의 성비가 9:1 비율의 남초임이 알려져 있다. 이 성비 모델이 나무위키 이용자 집단에게도 일반화하여 적용될 수 있을지 확인하고자, 나무위키 이용자 200명의 데이터를 활용하여 2수준 적합도 검정을 수행하였다. 적합도 검정 결과, 나무위키 이용자 데이터와 위키백과 성비 모델 간에 통계적으로 유의한 차이가 없었다(χ²＝＃.＃＃, p＝n.s.). 이러한 결과는 나무위키 이용자 집단 역시 위키백과 핵심 기여자들과 마찬가지로 9:1 비율의 남초 집단으로 간주할 수 있음을 보여준다...

적합도 검정은 모형의 기대빈도 분포가 데이터의 실제 빈도 분포에 얼마나 적합한지 검정한다. 적합도 검정의 종속변인이 2수준의 범주값을 가질 때, 수학적으로는 단일표본 비율검정과 같은 결과를 도출한다. 유의할 것은 적합도 검정에서 편의상 독립변인을 범주형 변인이라고 말하기는 했지만, 여기서의 독립변인은 이해를 돕기 위한 용어일 뿐이라는 점이다.[8] 둘 이상의 질적인 값을 갖는 변인이 아니라, 단순히 ① 실제 관측된 데이터의 빈도를 하나의 값으로 두고, ② 모형을 통해서 예측된 기대빈도를 다른 값으로 두었기 때문이다. 이 모형은 위 사례에서처럼 표본집단과 유사한 다른 집단에 적용된 모형의 일반화를 의도하여 사용될 수도 있다.[9] 따라서 이는 국가기관의 공식 통계자료, 공장의 생산관리 기준, 상급기관의 동일 분석례, 선행연구에서 적용된 설명적 모형, 탐색적 조사 및 요인분석을 통해 수립된 가설적 모형, 기타 비율 정보가 알려져 있는 경우에 쓰일 수 있다. 단, 여기서 소개하는 적합도 검정은 각 범주값에서의 빈도의 비율 적합도로 용도가 한정되며, 구조방정식에서처럼 귀무모형(null model)을 영가설로 삼아 비교하는 훨씬 더 복잡한 적합도 검정도 있다.

적합도 검정을 활용할 때에는 자신의 영가설이 무엇이고 대립가설이 무엇인지 정확하게 이해하지 않으면 출력된 결과를 거꾸로 해석할 수 있어 주의가 필요하다. 가설검정의 논리와 p-값의 개념이 제대로 잡혀 있지 않은 초짜 대학원생들이 흔히 빠지기 쉬운 함정으로, 적합도 검정 결과 p-값이 0.05 밑으로 작게 나오자 의기양양해서 별을 하나 적어놓고는 역시 이 모형이 적합하다는 게 입증됐다고 해석하는 경우가 있다. 하지만 모형이 적합하다면 p-값은 0.05보다 크게 나와야 한다. p-값이 그만큼 작다는 얘기는 실제 관측빈도와 모형으로 기대된 빈도가 어딘가에서 서로 '다르다' 는 의미이다. 만일 모형이 적합하려면 모형으로 기대된 빈도가 실제 관측빈도를 꽤 그럴싸하게 예측해내야 한다. 이 경우 두 빈도는 전체적으로 '같다' 의 의미를 도출하며, 영가설이 참임에도 잘못 기각할 확률도 당연히 0.05보다 높게 나타나는 것이다.

위의 두 검정과는 달리, 적합도 검정은 SPSS에서 전혀 다른 곳에 처박혀 있다. 적합도 검정은 모수의 데이터를 필요로 하지 않으므로 비모수적 검정(non-parametric test)에 속하며, 따라서 그쪽에 함께 섞여 있는 '카이제곱 검정' 메뉴로 들어가야 한다. 위의 검정들에서처럼 '기술통계량' 메뉴로 들어가서 교차분석 대화 창을 열면 백날 씨름해 봐야 비율 모형을 입력할 수 없다. 반면 '카이제곱 검정' 대화 창에서는 아래쪽 기대값 입력공간에서 범주값별로 예상되는 빈도를 입력할 수 있다. 다행히 컴퓨터도 눈치는 있기 때문에 '9' 값을 추가하고 '1' 값을 추가하기만 하면 90%와 10% 비율이라고 곧바로 알아듣는다. 만일 범주의 값이 셋 이상이라 할지라도 예컨대 '1', '1', '2', '4' 를 연이어 추가하면 자기가 알아서 0.125%, 0.125%, 0.25%, 0.5%로 이해한다.

H₀: 데이터에서 얻어진 실제 관측빈도의 비율과 모형을 통해 기대된 빈도의 비율은 모든 범주값에서 서로 차이가 없을 것이다.
H₁: 데이터에서 얻어진 실제 관측빈도의 비율과 모형을 통해 기대된 빈도의 비율은 적어도 하나 이상의 범주값에서 차이가 있을 것이다.

[적합도 검정의 명령과 결과]

분석 ▶ 비모수 검정 ▶ 레거시 대화 상자 ▶ 카이제곱 검정 ▶ [검정변수 입력] ▶ [기대값 추가]
▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

검정변수
	관측수	기대빈도	잔차
<colbgcolor=#EEEEEE>값1	<colbgcolor=#B7F0B1>ⓐ	<colbgcolor=#B7F0B1>ⓑ	<colbgcolor=#FFFFFF>ⓐ－ⓑ
값2	ⓐ	ⓑ	ⓐ－ⓑ
합계	＃

검정통계량
	검정변수
<colbgcolor=#EEEEEE>카이제곱	<colbgcolor=#B7F0B1>＃^a
자유도	＃
근사 유의확률	＃
_{a. ＃셀(＃.＃%)은(는)} _{5보다 작은} _{기대빈도를} _{가집니다. 최소 셀} _{기대빈도는 ＃＃} _입니다.

2.1.4. 신뢰도검정

신뢰도 검정 Test of reliability
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>변수 간 신뢰도 확인
집단의 수	1개
자료의 성질	연속형
측정회차	1회
주요전제	단일차원성 존재

...나무위키 이용자 200명을 대상으로 PANAS 척도를 활용하여 긍정적이거나 부정적인 정서를 측정하였다. 해당 척도는 긍정적 정서요인 10문항과 부정적 정서요인 10문항으로 구성되어 있으며, 각각의 정서요인의 신뢰도를 크론바흐의 알파(Cronbach's α) 계수로 검정하였다. 신뢰도 검정 결과, 긍정적 정서 10문항의 신뢰도는 α＝.＃＃＃, 부정적 정서 10문항의 신뢰도는 α＝.＃＃＃로 나타나, 양쪽 모두 수용할 수 있는 수준으로 판단된다. 이러한 결과는 긍정적이거나 부정적인 정서의 측정이 대체로 신뢰할 수 있게 이루어졌음을 보여준다...

신뢰도와 타당도 문서에서도 설명되듯이, 신뢰도(reliability)라는 개념은 어떤 측정이 얼마나 일관된 결과를 산출하는지 보여주는 개념이다. 그 중에서도 합성측정(composite measures)이 흔한 현대에 가장 많이 활용되는 신뢰도 개념은 반분 신뢰도(split-half reliability)이며, 따라서 반분검사법은 검사-재검사법이나 복수양식법보다 더 인기를 끌고 있다. 반분 신뢰도를 측정하는 신뢰도 검정은 초기에는 상관계수에 기초하는 스피어만-브라운 공식(Spearman-Brown formula)을 이용했으나, 이후 심리측정학자인 리 크론바흐(L.Cronbach)가 1951년에 개발한 크론바흐의 알파 계수(Cronbach's α coefficient)가 주목받았으며, SPSS에서도 기본으로 이쪽을 지정하고 있어 사실상의 주류로 떠올랐다. 이게 완벽한 검정기법이냐 하면 당연히 아닌지라[10] 구조방정식 등을 활용한 더 정교한 검정이 제안되고는 있지만, 대세는 여전히 크론바흐의 알파이며 심지어는 개혁을 외치는 학자들조차 자기 논문에서 크론바흐의 알파를 쓴다는 자조도 나온다(…).

계숫값의 판단기준을 나무위키에 한하여 제시하자면 다음과 같다.

0.94＜α≤1.00: 이례적으로 높은 신뢰도
분석에 포함된 문항들이 사실상의 동어반복일 수 있어, 내용적 측면에 대한 검토가 필요하다. 신뢰도가 실제보다 과대추정되었을 수도 있다. 응답 케이스 속에 유해한 반응 세트가 존재할 수 있다.[11] 극단적으로 높을 경우에는 감쇄의 역설(attenuation paradox)이 발생하여 문항의 타당도 저해를 의심할 수 있다.
0.90＜α≤0.94: 우수한 신뢰도
다양한 학문분야에서 이상적이며, 설득력을 갖고 사용 가능한 수준이다.
0.80＜α≤0.90: 양호한 신뢰도
다양한 학문분야에서 설득력을 갖고 사용 가능한 수준이다. 기계적인 문항 삭제는 불필요하며, 문항을 변경할 때에는 반드시 이론적 근거를 제시해야 한다.
0.70＜α≤0.80: 수용 가능한 신뢰도
대체로 무난한 설득력을 갖고 사용 가능한 수준이다. 현실적으로 거의 대부분의 신뢰도 검정은 이 정도의 수치를 산출한다. 문항 삭제를 통한 신뢰도 계수의 개선은 신중해야 한다.
0.60＜α≤0.70: 묵인될 수 있는 신뢰도
다른 무언가로 보완되는 한, 대부분의 학문분야에서 묵인될 수 있다. 각 문항들이 이론과 선행문헌에 비추어 확고한 근거가 있음을 제시해야 한다. 그렇지 못하다면 문항 삭제를 통한 신뢰도 계수의 개선을 고려해야 한다. 문항 간 상관행렬을 함께 제시할 수 있다. 문항이 5개 이하일 경우 신뢰도가 실제보다 과소추정되었을 가능성이 있다.
0.00＜α≤0.60: 수용 불가능한 신뢰도
이 합성측정 도구는 사용 불가능하다. 역코딩(reverse-coding) 절차가 누락되었는지 살펴봐야 한다. 문항을 삭제하여 신뢰도 계수를 개선하거나, 이론과 선행문헌으로 지지되는 추가 문항들을 개발해야 한다. 혹은 현재의 합성측정을 폐기하고 기존에 잘 확립된 척도를 차용·번안할 수 있다. 유해한 반응 세트로 인해 신뢰도가 낮아졌을 경우, 질적으로 다른 집단을 표본으로 하는 사전조사(pre-test)를 실시하여 신뢰도를 재측정할 수 있다.

크론바흐의 알파 계수는 검정 대상이 되는 모든 문항들이 단일차원성(uni-dimensionality)을 지님을 전제로 한다. 현장에서는 앞뒤가 바뀌어서 마치 '낮은 계숫값이 나타난다면 그 문항들은 다차원성을 갖는다' 식으로 여겨지기도 하지만, 단일차원을 따르면서도 계숫값 자체는 낮아지는 것이 가능하다. 따라서 원칙적으로 말하자면 신뢰도 검정을 하기 전에 먼저 단일차원성이 입증되어야 논리적인 정당화가 가능하다. 그래서 어떤 교과서나 강사들은 제일 먼저 요인분석을 통해서 같은 요인에 속하는 문항들이 단일차원성을 가질 것이라고 추론하고, 요인으로 묶이는 문항들만 따로 긁어모아서 크론바흐의 알파 계수를 계산하려 한다.

또한 SPSS에서는 '항목 총계 통계량' 에서 개별 문항을 하나씩 삭제할 경우 전체적인 계숫값이 어떻게 변동하는지도 함께 지원하는데, 이걸 아무 생각 없이 오용하는 사람들이 많아서 문제가 되고 있다. 이는 이론적 조망에 대한 이해가 잡히지 않은 상태에서 무작정 '알파 숫자를 높이자' 정도만 생각하고 기계적으로 작업하기 때문이다.[12] 이론적으로 핵심이 되는 문항이 있는데 그 문항을 빼면 계숫값이 증가할 경우, 이런 류의 사람들은 무작정 빼기부터 하겠지만 그러면 안 된다. 계숫값이 정말로 0.60 이하로 떨어져 있는 상태라고 할지라도, 이때는 그 문항만 남기고 오히려 나머지 문항들을 전부 다시 개발하는 쪽으로 가야 한다. 무조건 숫자만 맞추자는 식으로 분석해서 학위논문을 쓰면 남는 것은 하나도 없기 때문이다.

[신뢰도 검정의 명령과 결과]

분석 ▶ 척도분석 ▶ 신뢰도 분석 ▶ [항목변수 입력]
▶ 통계량 ▶ 항목제거시 척도ⓥ / 항목간-상관계수ⓥ ▶ 계속
▶ 모형-알파ⓥ ▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

케이스 처리 요약
		N	%
케이스	<colbgcolor=#EEEEEE>유효	＃	<colbgcolor=#FFFFFF>＃
	제외됨^a	<colbgcolor=#FFFFFF>＃	＃
	전체	＃	100.0
_{a. 목록별 삭제는 프로시저의 모든 변수를} _{기준으로 합니다.}

신뢰도 통계량
Cronbach의 알파	표준화된 항목의 Cronbach의 알파	항목 수
＃	＃	＃

항목간 상관행렬
	문항1	문항2	문항3	문항4	문항5
<colbgcolor=#EEEEEE>문항1	1	＃	＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
문항2	<colbgcolor=#B7F0B1>＃	1	＃	＃	＃
문항3	＃	<colbgcolor=#B7F0B1>＃	1	＃	＃
문항4	＃	＃	<colbgcolor=#B7F0B1>＃	1	＃
문항5	＃	＃	＃	＃	1

항목 총계 통계량
	항목이 삭제된 경우 척도 평균	항목이 삭제된 경우 척도 분산	수정된 항목- 전체 상관계수	제곱 다중 상관계수	항목이 삭제된 경우 Cronbach 알파
<colbgcolor=#EEEEEE>문항1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
문항2	＃	＃	＃	＃	＃
문항3	＃	＃	＃	＃	＃
문항4	＃	＃	＃	＃	＃
문항5	＃	＃	＃	＃	＃

2.1.5. 정규성검정

정규성 검정 Test of normality
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>정규성 확인
집단의 수	1개
자료의 성질	연속형
측정회차	1회
주요전제	분포 관련 정보의 부재

...분석 대상이 되는 모든 변인들은 Shapiro-Wilk 정규성 검정 결과 모집단 정규성을 만족하는 것으로 확인되었다(ps＞.05)...

정규성 검정은 기술통계학에서는 관측 데이터의 정규성을,[13] 추론통계학에서는 모집단의 정규성까지를 검정하는 절차이다. 일반적으로 논문이나 보고서에서 정규성 여부가 보고되는 일은 많지 않지만, t-검정이나 분산분석, 각종 모수적 검정(parametric test)들은 모집단이 정규분포를 따라 분포할 것임을 전제하기에, 정규성 검정이 깨지게 되면 논리적으로 큰 결함이 생기게 된다. 그래서 평소에는 필수로 보고하는 것은 아닐지라도 한번쯤 검토할 필요는 분명히 존재하며, 종종 정규성이 존재하냐는 질문이 제기되기도 한다. 특히 기존의 문헌이나 관찰을 통해서 모집단의 정규성을 의심할 수 있는 정황이 발견된다면 더더욱 이를 유념해야 한다. 이 내용은 회귀분석에서도 모형진단(model diagnostics)을 할 때 다시 등장한다.

가장 단순한 관념으로 본다면 정규성 여부는 왜도(skewness)와 첨도(kurtosis) 값의 크기를 보고 어림짐작할 수 있다. 하지만 분석가에게는 모집단의 분포를 모르는 상황이 문제가 되므로, 많은 통계학자들이 표본집단의 표본크기를 보조적으로 활용하여 모집단 왜도와 모집단 첨도의 구간추정을 시도했다. 그 구간에서 분포의 종 모양이 얼마나 찌그러지는지 살펴보자는 것이다. 그보다 복잡하면서도 대중적인 방법으로, SPSS에서는 Shapiro-Wilk 검정(S-W 검정)과 Kolmogorov-Smirnov 검정(K-S 검정)의 두 종류를 지원한다. 물론 이것도 계속 개선이 이루어져서 Lf 검정이나 A-D 검정 같은 것들도 줄곧 나오는 상태.

S-W 검정은 검정통계량 W를 활용하여 기준점과 비교하게 되며, 검정력에 있어 굉장히 강력하고 효과적이다. 그러나 표본의 크기가 너무 커질 경우에는 p-값이 실제보다 과소추정되어, 통계적으로는 유의하지만 임상적으로는 유의하지 않은(statistically significant but not clinically significant) 결과가 얻어질 수도 있다. 대규모 표본에서 분석의 의미가 감소하는 문제에 대처하기 위한 대체 검정방법이 바로 K-S 검정이다. K-S 검정은 데이터의 누적분포함수를 정규분포의 누적분포함수와 비교하는 적합도 검정의 논리를 따른다. 만일 두 분포가 서로 적합하지 못하다면 그 데이터는 정규성을 갖지 않는다고 본다.

SPSS에서는 자동으로 Q-Q 도표(Q-Q plot)까지도 출력해 보여주는데, 이 때문에 흔히 Q-Q 도표를 정규성 관련 도표라고 생각하지만 꼭 그렇지는 않다. 원래 Q-Q 도표는 서로 다른 두 분포가 얼마나 동질적일지를 분위수(quantile)의 관점에서 보여주는 도표이고, 사용자가 SPSS에서 보는 것은 둘 중 하나의 분포가 정규분포인, 조금 특수한 Q-Q 도표이다. 이것을 정규확률도표(normal probability plot)라고 한다. SPSS 기준으로 가로축은 관측 데이터의 분위수, 세로축은 정규분포의 분위수 기댓값으로 정의되며, x＝y 일차함수 그래프에 산점도가 얼마나 가까이 찍히는지를 본다. 정규성이 없는 데이터는 해당 그래프에서 그만큼 크게 벗어나게 된다.

적합도 검정과 논리가 유사하기 때문에 여기서도 영가설은 '같다'(＝) 논리가 되고, 모수적 검정을 시행하려면 정규성 검정에서 p-값이 0.05보다 크게 나타나야 한다. 만일 뜻밖에도 p-값이 0.05보다 작게 나타났다면 흔히 비모수적 검정으로 넘어가라고 하지만, 몇 가지 시도할 만한 방법들이 있다. 우선, 이상점을 탐색해서 절삭(trim)해 보고 다시 검정해 보는 것이다. 또는 Box-Cox 변환(Box-Cox transformation)을 이용하는 방법도 있다. 이때는 SPSS로 변수 내 모든 데이터에 어떤 '람다' 값을 제곱하는 변수 계산을 하게 된다.[14] 이 변환은 데이터가 뭉친 곳은 펴 주고, 드문 곳은 줄여 주는 효과를 낸다. 요건은 전체 데이터에 제곱할 수를 이것저것 찾아 넣으면서 적당히 가공하고 다시 정규성을 검증해 보자는 것. 정규성이 나타나면 그 가공된 데이터를 가지고 모수적 검정을 하면 된다. 하지만 이리저리 가공해 봐도 끝내 정규성이 확보되지 않는 경우도 많고, 그럴 땐 검정력이 떨어진다 해도 어쩔 수 없이 비모수적 검정으로 갈 수밖에 없다.

H₀: 관측된 데이터의 (또는 그 모집단 데이터의) 분포는 정규모형의 분포와 같을 것이다.
H₁: 관측된 데이터의 (또는 그 모집단 데이터의) 분포는 정규모형의 분포와 다를 것이다.

[정규성 검정의 명령과 결과]

분석 ▶ 기술통계 ▶ 탐색 ▶ [종속변수 입력]
▶ 도표 ▶ 검정과 함께 정규성도표ⓥ ▶ 계속
▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

케이스 처리 요약
	케이스
	유효		결측값		총계
	N	퍼센트	N	퍼센트	N	퍼센트
<colbgcolor=#EEEEEE>변수1	＃	＃	＃	＃	＃	100.0%
변수2	＃	＃	＃	＃	＃	100.0%

기술통계
			통계	표준오차
종속변수1	<colbgcolor=#EEEEEE>평균		<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
	평균의 95% 신뢰구간	<colbgcolor=#EEEEEE>하한	＃
		상한	＃
	5% 절사평균		＃
	중위수		＃
	분산		＃
	표준편차		＃
	최소값		＃
	최대값		＃
	범위		＃
	사분위수 범위		＃
	왜도		＃	＃
	첨도		＃	＃
종속변수2	평균		＃	＃
	평균의 95% 신뢰구간	하한	＃
		상한	＃
	5% 절사평균		＃
	중위수		＃
	분산		＃
	표준편차		＃
	최소값		＃
	최대값		＃
	범위		＃
	사분위수 범위		＃
	왜도		＃	＃
	첨도		＃	＃

정규성 검정
	Kolmogorov-Smirnov^a			Shapiro-Wilk
	통계	자유도	CTT 유의확률	통계	자유도	CTT 유의확률
<colbgcolor=#EEEEEE>종속변수1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃
종속변수2	＃	＃	＃	＃	＃	＃
_{a. Lilliefors 유의확률 수정}

독립변수1의 정규 Q-Q 도표

독립변수2의 정규 Q-Q 도표

2.1.6. 비모수검정

맨-휘트니 U 검정 Mann-Whitney U test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>평균 순위 비교
집단의 수	2개
자료의 성질	범주형 IV 연속형 DV
측정회차	1회
주요전제	집단 간 독립성

...과학기술정보통신부 실태조사 척도를 6점으로 확장하여 활용한 결과, 나무위키 이용자 집단 200명 중의 13명, 일반인 200명 중의 11명이 인터넷 과의존 위험군에 속해 있었다. 이들을 대상으로 두 집단 간에 인터넷 과의존의 정도가 서로 달라지는지 확인하고자 하였다. 단, 6점 척도에서 좌측편포가 이미 확인되었고 소표본이기에(n＝24) 데이터의 정규성을 확신할 수 없으리라 판단, Mann-Whitney U 검정을 시행하였다. 검정 결과, 두 집단 간 인터넷 과의존의 정도는 통계적으로 유의한 차이가 나타났다(U＝＃＃.＃, p＜.05). 구체적으로, 나무위키 이용자 집단의 평균 순위(＃.＃＃)가 일반인의 평균 순위(＃.＃＃)보다 더 높았다. 이러한 결과는 인터넷 과의존 위험군 중에서 나무위키 이용자들의 인터넷 의존도가 의미 있게 높음을 보여준다...

모수 추정이 불필요한 대신에 아무 전제를 깔지 않는 방식의 검정을 비모수적 검정이라고 하는데, 단점도 물론 있지만 편의(bias)의 문제로부터 자유롭기 때문에 의외로 쓰이는 경우가 종종 있다. 여기서는 구체적인 분포에는 관심이 없고 순위 통계량(order statistic)에 의거하여 서열 수준에서 각 케이스의 크기 비교를 시행한다. 따라서 '이 집단의 평균의 값이 얼마이다' 결과가 나오는 것이 아니라, '이 집단의 전체에서의 순위의 평균이 몇 등이다' 의 결과로 나온다.[15] 위 사례를 놓고 보면 '13명의 평균은 6점 척도에서 4.12점' 인 것이 아니고, '13명의 평균 순위는 24명 중에서 10.79등' 인 식으로 결과가 나온다.[16] 만일 일반인이면서 인터넷 과의존인 집단의 평균 순위가 13.88등이라면, 인터넷 과의존 점수에서 더 높은 순위를 차지하는 쪽은 나무위키를 이용하는 인터넷 과의존 집단이 되는 셈이다.

비모수적 검정에서도 모수적 검정에서 지원하는 기초 검정들은 웬만하면 해볼 수 있다. 흔히 소개되지는 않으나 일표본 t-검정에 대응되는 비모수적 검정으로 이항검정(binomial test) 같은 것을 쓸 수 있다. 그리고 맨-휘트니 U 검정은 독립표본 t-검정에 대응되는 비모수적 검정이라고 보면 된다. 여기서는 단지 모집단 정규성을 획득할 수 없어서 모수를 고려하지 않을 뿐이다. SPSS 대화 창 역시 독립표본 t-검정을 사용해 봤다면 쉽게 적응할 수 있도록 되어 있다. 독립변인의 집단 정의를 해야 하는 것도 역시 똑같다. 대화 창 아래쪽의 'Mann-Whitney U' 체크박스를 찍어주고 출력을 명령하면 결과표를 받아볼 수 있다.

H₀: 두 표본에서 얻어진 평균 순위는 서로 차이가 없을 것이다.
H₁: 두 표본에서 얻어진 평균 순위는 서로 차이가 있을 것이다.

[맨-휘트니 U 검정의 명령과 결과]

분석 ▶ 비모수검정 ▶ 레거시 대화 상자 ▶ 2-독립 표본 ▶ [집단변수 입력] ▶ [검정변수 입력]
▶ 집단 정의 ▶ 집단1(1) / 집단2(2) ▶ 계속
▶ 옵션 ▶ 기술통계ⓥ ▶ 계속
▶ Mann-Whitney Uⓥ ▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

기술통계
	N	평균	표준 편차	최소값	최대값
<colbgcolor=#EEEEEE>검정변수	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
집단변수	＃	＃	＃	＃	＃

순위
	집단변수	N	평균 순위	순위합
<colbgcolor=#EEEEEE>검정변수	<colbgcolor=#EEEEEE>집단1	<colbgcolor=#FFFFFF>ⓐ	<colbgcolor=#B7F0B1>ⓑ÷ⓐ	<colbgcolor=#FFFFFF>ⓑ
	집단2	ⓐ	ⓑ÷ⓐ	ⓑ
	전체	＃

검정 통계량^a
	평점
<colbgcolor=#EEEEEE>Mann-Whitney U	＃
Wilcoxon의 W	<colbgcolor=#FFFFFF>＃
Z	＃
근사 유의확률(양측)	＃
_{a. 집단변수: 집단변수}

윌콕슨 부호순위 검정 Wilcoxon's signed-rank test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>평균 순위 쌍대 비교
집단의 수	1개
자료의 성질	범주형 IV 연속형 DV
측정회차	2회
주요전제	집단 간 종속성

...CES-D 우울증 척도를 활용한 결과, 나무위키 이용자 집단 200명 중에서 우울증 위험군이 18명으로 확인되었다. 이들을 대상으로 인터넷 기반 치료 프로그램을 실시한 효과를 알아보기 위해 사전과 사후에 동일한 척도를 반복 측정하였다. 단, CES-D 척도에서 좌측편포가 이미 확인되었고 소표본이기에 데이터의 정규성을 확신할 수 없으리라 판단, Wilcoxon 부호순위 검정을 시행하였다. 검정 결과, 프로그램 이전과 프로그램 이후의 우울증 수준에는 통계적으로 유의한 차이가 나타났다(Z＝－＃.＃＃, p＜.05). 구체적으로, 프로그램 이후에 측정된 우울증의 평균 순위가(＃.＃＃) 이전에 측정된 평균 순위보다(＃.＃＃) 더 낮았다. 이러한 결과는 해당 치료 프로그램이 나무위키를 이용하는 우울증 위험군에게 효과적일 수 있음을 보여준다...

비모수적 검정 버전의 대응표본 t-검정. 동일 집단에서 2회 반복측정한 데이터를 가지고 사전과 사후의 차이가 유의한지 확인하지만, 여기서도 역시 모수를 고려하지 않는다. 단, 여기서는 순위 결과표를 분석하기가 다소 어려울 수 있다. 윌콕슨 부호순위 검정은 세 가지 가능한 부호의 상황을 고려한다. 첫째, 음의 순위에 해당하는 경우로, 사후측정보다 사전측정이 더 높은 경우(－)이다. 위 사례처럼 치료적 개입의 효과를 연구한다면 음의 순위의 N수가 많고 평균 순위의 숫자가 높아야 한다. 둘째, 양의 순위는 사후측정이 사전측정보다 더 높은 경우(＋)이다. 뭔가가 늘어나야 좋은 상황이라면 이쪽의 N수가 많고 평균 순위의 숫자가 낮아야 한다. 셋째, 등순위는 사후측정과 사전측정이 똑같은 경우(＝)로, 평균 순위 계산에서 제외한다. 음·양의 평균 순위는 각각에 해당하는 케이스들만 모아서 그들의 순위의 평균을 낸 것이다.

H₀: 음의 순위 집단과 양의 순위 집단 사이의 평균 순위에는 차이가 없을 것이다.
H₁: 음의 순위 집단과 양의 순위 집단 사이의 평균 순위에는 차이가 있을 것이다.

[윌콕슨 부호순위 검정의 명령과 결과]

분석 ▶ 비모수검정 ▶ 레거시 대화 상자 ▶ 2-대응 표본 ▶ [대응변수 입력]
▶ 옵션 ▶ 기술통계ⓥ ▶ 계속
▶ Wilcoxonⓥ ▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

기술통계
	N	평균	표준 편차	최소값	최대값
<colbgcolor=#EEEEEE>사전_변수쌍1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
사후_변수쌍2	＃	＃	＃	＃	＃

순위
		N	평균 순위	순위합
사후_변수쌍1 － 사전_변수쌍1	<colbgcolor=#EEEEEE>음의 순위	<colbgcolor=#B7F0B1>ⓐ^a	<colbgcolor=#B7F0B1>ⓑ÷ⓐ	<colbgcolor=#FFFFFF>ⓑ
	양의 순위	ⓐ^b	ⓑ÷ⓐ	ⓑ
	등순위	＃^c
	전체	＃
_{a. 사후_변수쌍1＜사전_변수쌍1} _{b. 사후_변수쌍1＞사전_변수쌍1} _{c. 사후_변수쌍1＝사전_변수쌍1}

검정 통계량^a
	사후_변수쌍1－ 사전_변수쌍1
<colbgcolor=#EEEEEE>Z	<colbgcolor=#B7F0B1>＃^b
근사 유의확률(양측)	＃
_{a. Wilcoxon 부호순위 검정} _{b. 음의 순위를 기준으로.}

크러스컬-월리스 순위합 검정 Kruskal-Wallis rank-sum test
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>평균 순위 비교
집단의 수	3개 이상
자료의 성질	범주형 IV 연속형 DV
측정회차	1회
주요전제	집단 간 독립성

...사회학과(n＝5), 신문방송학과(n＝5), 여성학과(n＝5)에서 각각 모집된 대학원생들에게 나무위키에 대한 인식을 11점 척도로 측정하고, 학과별로 차이가 있는지 비교하였다. 단, 탐색연구에서 나무위키에 대한 부정적 인식이 이미 확인되었고 소표본이기에(n＝15) 데이터의 정규성을 확신할 수 없으리라 판단, Kruskal-Wallis 순위합 검정을 시행하였다. 검정 결과, 세 집단의 나무위키 인식에는 유의한 차이가 있었다(H＝＃.＃＃, p＜.05). 구체적으로, Dunn의 사후검정 결과에 따르면 여성학과가 사회학과보다, 그리고 여성학과가 신문방송학과보다(ps＜.017) 나무위키에 대한 인식이 유의하게 더 부정적이었다. 이러한 결과는 나무위키에 부정적인 학과의 대학원생들 중에서도 유독 여성학과 대학원생들의 인식이 의미 있게 더 부정적임을 보여준다...

(일원)분산분석의 비모수적 검정 버전. 3개 이상의 집단들 간에 평균의 순위를 비교할 때 사용하며, 모수를 고려하지 않아 분포로부터 무관한 대신 순위를 기준으로 잡아서 분석한다. 여기서는 전체 케이스 세트를 전부 크기순으로 줄세운 다음 집단별로 순위합을 구한 후, 이를 바탕으로 검정통계량 H를 계산하게 된다. SPSS에서는 H 외에도 중위수를 검정통계량으로 삼을 수도 있는데, R에서는 기본적으로 중위수로 계산해 주는 듯. 범위지정은 n개 집단일 경우 1과 n을 각각 입력해 주면 된다.

분산분석이 그렇듯이 이 분석에서도 사후분석(post-hoc analysis)을 해야 구체적으로 어떤 집단이 어떤 집단과 달라지는지를 알 수 있다. 하지만 그렇다고 아무 생각없이 둘씩 묶어다가 맨-휘트니 U 검정을 반복할 수는 없다. 왜냐하면 다중비교(multiple comparisons) 상황에서 늘 발생하는 어디서든 효과(look-elsewhere effect)로 인해 1종 오류가 과도하게 증가하기 때문이다. 마찬가지로 모수적 검정에서도 독립표본 t-검정을 여러 차례 시행하다간 이 함정에 걸리기 때문에 분산분석이 나왔던 것. 이에 대한 가장 단순한 대응책은 Bonferroni 교정법(Bonferroni correction method)으로, 독립표본 검정으로 다중비교를 하되 1종 오류의 증가를 막기 위해 유의수준을 집단의 수로 나누어서 더 가혹하게 줄이는 것이다. 이 논리를 비모수적 검정에 반영한 것이 Dunn의 검정으로, SPSS에서는 수동 모드가 아닌 자동 모드에서만 지원된다. 자동 모드의 축복을 받은 컴퓨터를 찾거나, 혹은 주위에 수소문해 보자(…).

H₀: 분석에 포함된 모든 집단들의 평균 순위는 모두 차이가 없을 것이다.
H₁: 분석에 포함된 집단들의 평균 순위 중에서 적어도 하나 이상은 차이가 있을 것이다.

[크러스컬-월리스 순위합 검정의 명령과 결과]

분석 ▶ 비모수검정 ▶ 레거시 대화 상자 ▶ K-독립 표본 ▶ [집단변수 입력] ▶ [검정변수 입력]
▶ 범위지정 ▶ [범위입력] ▶ 계속
▶ 옵션 ▶ 기술통계ⓥ ▶ 계속
▶ Kruskal-Wallis의 Hⓥ ▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

기술통계
	N	평균	표준 편차	최소값	최대값
<colbgcolor=#EEEEEE>검정변수	＃	＃	＃	＃	＃
집단변수	＃	＃	＃	＃	＃

순위
	집단변수	N	평균 순위
<colbgcolor=#EEEEEE>검정변수	<colbgcolor=#EEEEEE>집단1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#B7F0B1>＃
	집단2	＃	＃
	집단3	＃	＃
	전체	＃

검정 통계량^a,b
	집단변수
<colbgcolor=#EEEEEE>Kruskal-Wallis의 H	<colbgcolor=#B7F0B1>＃
자유도	＃
근사 유의확률	＃
_{a. Kruskal-Wallis 검정} _{b. 집단변수: 집단변수}

스피어만 순위상관 Spearman rank-correlation
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>변인 간 관계
집단의 수	1개
자료의 성질	범주형 또는 연속형
측정회차	1회
주요전제	서열 수준 이상

...나무위키 이용자 집단 200명 중에서 경등도 이상의 비만자는 총 17명, 경계위험군 이상의 우울증자는 총 18명, 잠재적위험군 이상의 인터넷 과의존자는 총 13명이었고, 데이터를 통합하자 총 22명의 이용자로 정리되었다. 이들을 대상으로 BMI 지수, CES-D 척도, 인터넷 과의존 척도에 대한 상관분석을 실시하였다. 단, 데이터의 좌측편포가 이미 확인되었고 소표본이기에 데이터의 정규성을 확신할 수 없으리라 판단, 스피어만 순위상관 계수를 선택하였다. 결과는 표 ＃의 상관행렬에 제시되어 있으며, 세 변인의 모든 상관이 유의한 수준으로 나타났다(ρs＞.＃＃＃, p＜.05). 이러한 결과는 나무위키 이용자 집단에서 비만, 우울증, 인터넷 과의존이 의미 있는 공존이환(共存罹患) 관계임을 보여준다...

비모수적인 상관분석. 모수적 검정에서의 Pearson 상관계수가 등간 수준 이상에서 측정된 연속형 데이터를 전제하는 반면, 여기서는 연속형뿐만 아니라 범주형일지라도 서열 수준이라면 분석이 가능하다는 장점이 있다. SPSS에서 비모수적인 상관분석 명령의 절차는 모수적 상관분석과 어차피 똑같지만, 상관계수를 다른 쪽으로 선택한다는 차이가 있을 뿐이다. SPSS는 서열 수준의 자료를 분석할 때 (상기된 독립성 검정에서 보았던) Kendall의 타우-b 및 Spearman 순위상관 계수를 지원하며, 두 계수는 수학적으로 상이하게 다르며 동점자가 많을 때 Kendall의 타우-b를 사용한다고 알려져 있다. 전부 찍어놓고 살펴보면 Spearman 쪽의 숫자들이 Pearson 쪽의 숫자들과 좀 더 엇비슷하고, Kendall 쪽은 사뭇 다른 숫자들을 내놓는 듯.

피어슨 상관계수가 'r' 로 출력되듯이 스피어만 상관계수는 'ρ'(로; rho)출력되는데, 이는 추론이 필요한 상황에서는 r, 불필요한 상황에서는 ρ를 사용하기 때문이다. 그러나 상관의 크기를 판단하는 기준은 동일하다. 분야에 따라 0.30 이상, 혹은 0.40 이상으로 나타날 때 상관이 존재한다고 판단하기도 하나, SPSS 상에서 함께 출력하는 유의확률을 보면 심지어 0.15 이상만 되어도 벌써 애스터리스크가 찍히기 시작하므로, 보고할 때 주의가 요구된다. 두 변인 간의 상관이 이론적으로 예측되거나 선행문헌에 의해 지지된다면 ρ-값이 다소 작더라도 상당한 비중을 두어서 논의할 필요가 있고, 만일 이론과 큰 관계가 없다면 애스터리스크가 찍혀 있더라도 그다지 강조하지 않고 넘길 수 있다.

H₀: 분석에 포함된 변인들의 모든 관계에는 통계적으로 상관이 존재하지 않을 것이다.
H₁: 분석에 포함된 변인들에서 적어도 하나 이상의 관계에는 통계적으로 상관이 존재할 것이다.

[스피어만 순위상관의 명령과 결과]

그래프 ▶ 레거시 대화 상자 ▶ 산점도/점도표
▶ 단순 산점도ⓥ ▶ 정의
▶ [행렬변수 입력] ▶ 확인

분석 ▶ 상관분석 ▶ 이변량 상관 ▶ [변수입력]
▶ 옵션 ▶ 평균과 표준편차ⓥ ▶ 계속
▶ Kendall의 타우-bⓥ / Spearmanⓥ ▶ 유의한 상관계수 플래그ⓥ ▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

기술통계
	평균	표준화 편차	N
<colbgcolor=#EEEEEE>변수1	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃
변수2	＃	＃	＃
변수3	＃	＃	＃

상관관계
			변수1	변수2	변수3
<colbgcolor=#EEEEEE>Kendall의 타우-b	<colbgcolor=#EEEEEE>변수1	<colbgcolor=#EEEEEE>상관계수	<colbgcolor=#FFFFFF>1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
		유의확률(양측)		＃	＃
		N	＃	＃	＃
	변수2	상관계수	＃	1	＃
		유의확률(양측)	＃		＃
		N	＃	＃	＃
	변수3	상관계수	＃	＃	1
		유의확률(양측)	＃	＃
		N	＃	＃	＃
Spearman의 rho	변수1	상관계수	1	＃	＃
		유의확률(양측)		＃	＃
		N	＃	＃	＃
	변수2	상관계수	＃	1	＃
		유의확률(양측)	＃		＃
		N	＃	＃	＃
	변수3	상관계수	＃	＃	1
		유의확률(양측)	＃	＃
		N	＃	＃	＃
_{*. 상관이 0.01 수준에서 유의합니다(양쪽).} _{. 상관이 0.05 수준에서 유의합니다(양쪽).}

3. 주요 분석기법

3.1. 분산분석 ★

자세한 내용은 통계적 방법/분석/분산분석 문서 참고하십시오.

3.2. 상관분석 ★

피어슨 적률상관 Pearson product-moment correlation
<colbgcolor=#EEEEEE>사용목적	<colbgcolor=#FFFFFF>변인 간 관계
집단의 수	1개
자료의 성질	연속형
측정회차	1회
주요전제	데이터 선형성 모집단 정규성 분포의 등분산성

...시밀러웹 기준 국내 10대 웹사이트를 선정, 나무위키 이용자 집단 200명을 대상으로 나무위키 1일 평균 이용시간과 10대 웹사이트 1일 평균 이용시간을 시간 단위로 질문하였다. 이후 나무위키 포함 10개소 웹사이트의 평균 이용시간 사이에 상관이 존재할지를 Pearson 상관계수를 활용해 분석하였다. 결과는 표 ＃의 상관행렬에 제시되어 있으며, 나무위키 이용시간과 유의한 상관을 보인 웹사이트는 네이버·구글·유튜브·페이스북·DC인사이드·트위터로 나타났다(rs＞.＃＃＃, p＜.05). 이러한 결과는, 똑같은 인터넷 활용임에도 불구하고 나무위키 이용 패턴과 다음·네이버뉴스·네이버쇼핑·네이버지도 이용패턴에 서로 차이가 있음을 보여준다...

상관분석은 두 변인 간에 존재할지도 모르는 선형적 관계성을 모수적으로 탐색하는 분석이다.[17] 변인 간 관계는 상관관계와 인과관계가 있는데, 상관분석은 그 중에서 상관관계를 다루며 인과관계는 가정하지 않는다. 상관관계는 양(＋)의 상관과 음(－)의 상관이라는 두 종류로 나누어지며, 양의 상관이란 어떤 하나가 증가할 때 다른 하나도 함께 증가하는 관계, 음의 상관이란 어떤 하나가 증가하는데 다른 하나는 거꾸로 감소하는 관계를 말한다. 상관분석은 이 관계성의 강도를 상관계수라는 숫자로 나타내 보여주는 분석이다.

상관분석은 분석에 포함된 변인을 둘씩 묶어서 분석한 다음 전체 결과표를 행렬의 형태로 보여준다. 이를 상관행렬이라고 하며, 우하향(＼)하는 대각선의 상관계수가 1로 나타나고 그 양쪽의 숫자가 거울상으로 동일하다는 특징이 있다. 따라서 동시에 투입된 변인이 아무리 많다고 하더라도 상관행렬의 왼쪽 아래 혹은 오른쪽 위 삼각형 부분만 읽으면 된다. 상관행렬은 논문이나 보고서에까지 보고할 대상이 될 정도로 중요하며, 관행적으로는 오른쪽 위를 전부 비우고 왼쪽 아래만 숫자를 채워서 보고한다. 주성분 분석에서도 상관행렬은 후속 분석작업의 중요한 기초가 된다. 한편 요인분석에서는 대각선 1 숫자들을 조금씩 줄인 추정값으로 대체한 축소상관행렬(reduced correlation matrix)을 분석에 활용한다.

가장 간단한 논리로 본다면 두 변인 간의 상관관계는 공분산(covariance)으로도 충분히 확인 가능하다. 공분산은 한 변인의 증감에 의해 다른 변인이 얼마나 증감하는지를 결합확률분포를 통해 계산해 보여준다. 그런데 공분산의 가장 큰 문제는 그것이 측정단위의 영향을 받는다는 데 있었다. 그렇다면 단위가 서로 다른 변인 간의 관계는 공분산으로 설명할 수 없게 된다. 이 때문에 공분산을 두 변인의 표본표준편차의 곱으로 나누는 표준화(standardization) 과정을 거치는데, 이렇게 해서 산출된 값이 바로 피어슨 상관계수이다. 따라서 피어슨 상관계수는 측정단위로부터 자유로운(scale-free) 성질을 갖는다. 결합확률분포표가 있다면 사실 손으로 계산한다 해도 아주 어려운 정도는 아니다.

계숫값	의미
<colbgcolor=#EEEEEE>－1.0＝r	<colbgcolor=#FFFFFF>음의 완전 선형 상관
－1.0＜r＜－0.6	음의 강한 선형 상관
－0.6≤r＜－0.4	음의 선형 상관
－0.4≤r＜－0.2	음의 약한 선형 상관
－0.2≤r≤＋0.2	선형 상관 없음
＋0.2＜r≤＋0.4	양의 약한 선형 상관
＋0.4＜r≤＋0.6	양의 선형 상관
＋0.6＜r＜＋1.0	양의 강한 선형 상관
＋1.0＝r	양의 완전 선형 상관

피어슨 상관계수는 작게는 －1.0에서 크게는 ＋1.0까지의 값을 가질 수 있으며, 양의 상관은 (＋) 기호, 음의 상관은 (－) 기호가 붙는다는 점을 빼면 그 절댓값을 통해서 관계의 강도를 가늠할 수 있다. 어느 정도의 관계를 '약하다', '보통이다', '강하다' 같은 식으로 분류할 수 있을지는 학문분야마다 전부 다르며, 객관적인 합의 없이 느슨한 관행처럼 존재한다. 만일 이론이나 선행문헌으로 뒷받침되는 상관관계라면 설령 절댓값이 0.15 정도밖에 되지 않는다 해도 언급해야 할 필요가 있으며, 절댓값이 꽤 크다고 해도 그 관계의 가능성을 설명할 이론이 없다면 기계적으로 강조할 필요는 없다.

상관계수나 상관행렬이 아무리 강력하다고 해도 직관성은 다소 떨어지는 측면이 있어, 많은 분석가들은 상관분석 이전이나 이후에 별도로 산점도(scatterplot)를 그려서 눈으로 직접 상관을 확인해 보라는 조언을 받는다. 산점도를 출력하는 것의 한 가지 장점은 이상점을 눈으로 탐지할 수 있다는 것이다. 이상점은 상관계수를 왜곡시킬 수 있으며, 이론으로 예측된 이상점이 아니라면 대체로 절삭하게 된다. 참고로 단순 산점도 대화 창에서 '표식 기준' 창에다 범주형 변수를 집어넣을 경우, SPSS 출력 창에서 산점도를 더블클릭해서 도표 편집기 창을 띄운 후 범례를 설정하는 것이 가능하다. 예컨대 같은 산점도 위에 띄워진 케이스들을 남성과 여성으로 나누어서 한쪽은 ○ 표식, 한쪽은 □ 표식으로 달리 설정할 수 있는 것. 이런 기능은 (다)범주형 회귀분석을 실시할 때에도 쏠쏠하게 쓰일 수 있다.

H₀: 분석에 포함된 변인들의 모든 관계에는 통계적으로 상관이 존재하지 않을 것이다.
H₁: 분석에 포함된 변인들에서 적어도 하나 이상의 관계에는 통계적으로 상관이 존재할 것이다.

[피어슨 적률상관의 명령과 결과]

그래프 ▶ 레거시 대화 상자 ▶ 산점도/점도표
▶ 단순 산점도ⓥ ▶ 정의
▶ [행렬변수 입력] ▶ 확인

분석 ▶ 상관분석 ▶ 이변량 상관 ▶ [변수입력]
▶ 옵션 ▶ 평균과 표준편차ⓥ ▶ 계속
▶ Pearsonⓥ ▶ 유의한 상관계수 플래그ⓥ ▶ 확인

위의 방식대로 명령을 내리면 아래와 같은 결과가 나온다. ■ 색상으로 칠해진 셀의 경우 결과보고의 대상이 되므로 주의를 기울여야 한다.

기술통계
	평균	표준화 편차	N
<colbgcolor=#EEEEEE>변수1	<colbgcolor=#B7F0B1>＃	<colbgcolor=#B7F0B1>＃	<colbgcolor=#FFFFFF>＃
변수2	＃	＃	＃
변수3	＃	＃	＃

상관관계
		변수1	변수2	변수3
<colbgcolor=#EEEEEE>변수1	<colbgcolor=#EEEEEE>Pearson 상관	<colbgcolor=#FFFFFF>1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
	유의확률(양측)		＃	＃
	N	＃	＃	＃
변수2	Pearson 상관	＃	1	＃
	유의확률(양측)	＃		＃
	N	＃	＃	＃
변수3	Pearson 상관	＃	＃	1
	유의확률(양측)	＃	＃
	N	＃	＃	＃
_{*. 상관이 0.01 수준에서 유의합니다(양쪽).} _{. 상관이 0.05 수준에서 유의합니다(양쪽).}

여기서 위의 상관행렬의 형태를 바꾸어, 상관계수는 상관계수끼리 모으고, 유의확률 및 케이스 수(N) 또한 자기들끼리 모아서 행렬을 재조정하기를 원할 수 있다. 단순히 상관계수만 간략하게 요약하는 정도라면 SPSS의 '요인분석' 기능 또는 '신뢰도분석' 기능으로 들어가서 상관계수 관련 체크박스를 찍어서 출력하는 것도 한 방법이다. 하지만 상관계수를 모으는 것과 함께 유의확률도 따로 모아놓아야 한다면, 출력 창에 띄워져 있는 상관행렬을 아래와 같은 순서로 편집하면 된다.
　

상관행렬 위에서 마우스 우클릭 후 '피벗 트레이' 대화 창을 연다.
가로행(ROW) 부분에 있는 '변수' 를 '변수A' 라고 하고, 세로열(COLUMN) 부분에 있는 '변수' 를 '변수B' 라고 하자.
가로행(ROW) 부분에 들어가 있는 '변수A' 를 드래그 앤 드롭으로 마우스로 끌어서 세로열(COLUMN) 쪽에 옮겨놓는다.
세로열(COLUMN) 부분에 원래 들어가 있던 '변수B' 를 똑같은 방식으로 가로행(ROW) 쪽으로 옮긴다. 이때 방금 옮겨왔던 '변수A' 를 잘못해서 도로 되돌려놓지 않도록 혼동에 유의한다.
가로행(ROW) 부분에 '변수B' 가, 세로열(COLUMN) 부분에 '변수A' 가 위치하게 한 후 창을 종료한다.

결과적으로 상관행렬은 다음과 같이 재조정된다.

상관관계
		변수1	변수2	변수3
<colbgcolor=#EEEEEE>Pearson 상관	<colbgcolor=#EEEEEE>변수1	<colbgcolor=#FFFFFF>1	<colbgcolor=#FFFFFF>＃	<colbgcolor=#FFFFFF>＃
	변수2	＃	1	＃
	변수3	＃	＃	1
유의확률(양측)	변수1		＃	＃
	변수2	＃		＃
	변수3	＃	＃
N	변수1	＃	＃	＃
	변수2	＃	＃	＃
	변수3	＃	＃	＃
_{*. 상관이 0.01 수준에서 유의합니다(양쪽).} _{. 상관이 0.05 수준에서 유의합니다(양쪽).}

3.3. 회귀분석 ★

자세한 내용은 통계적 방법/분석/회귀분석 문서 참고하십시오.

4. 기타/고급 분석기법

가나다순

결합분석(conjoint analysis)
국내에서는 고스란히 음역하여 '컨조인트 분석' 이라고 더 많이 표현한다. 결합분석은 경영학의 마케팅 분야에서 독보적으로 사용하고 있는데, 어떤 상품에 여러 속성(attribute)들이 있고 각 속성마다 소비자들의 효용(utility)이 대응된다고 전제한다. 이때 여러 속성들에 대한 소비자들의 상대적 선호도를 파악하여 어떤 속성이 가장 선호되는지, 결과적으로 어떤 상품을 구매할 것 같은지 예측한다. 이를 위해서는 비교 척도(comparative scale)를 활용하여 수집된 데이터가 가장 적합하다. 대표적인 사례로 지자체 관광지들을 비교할 때 '소비' 속성, '휴양' 속성, '체험' 속성으로 나누어 방문객들이 각각에 점수를 배분하고 그 합계가 100점이 되도록 하는 경우가 있다. 현대에는 선택기반형 결합분석(choice-based conjoint analysis)을 바탕으로 방법론이 발전하고 있다.
경로분석(path analysis)
당초 유전학 및 농학에서 처음으로 개발되었으며, 여러 변인들 사이의 상관관계를 (＋) 또는 (－) 기호로 표현하는 것에서 출발하였다. 이후 변인들을 활용한 모델링(modelling)이 필요한 모든 학문분야들에 크고 작은 영향을 끼쳤으며, 조절변인(moderator) 및 매개변인(mediator)의 효과를 분석할 때에도 경로분석에서 나온 아이디어에 의존해야 한다. 현대에는 구조방정식 모형(structural equation modelling)으로 업그레이드되면서 경영학계에 엄청난 위세를 떨치고 있는 중이다. 경로분석을 다루는 소프트웨어 중 유명한 것으로는 AMOS가 있다.
공간분석(spatial analysis)
공간분석은 지리학의 하위 분야인 지리정보학, 그리고 천문학 등의 일부 자연과학에서 활용되고 있는 응용수학적 분석기법이다. 공간분석 데이터를 지원하는 지리정보체계 자체가 빅데이터 및 강력한 소프트웨어들이 속속 개발됨에 따라 새로 열린 분야이고, 초기에는 공간 개념에 대한 기본적 정의에서부터 논쟁이 진행되었고 공간이 비(非)유클리드적이라는 이해가 중론이 되었다. 공간분석의 최전선에는 몬테 카를로 방법을 활용한 베이지언 모델링이나 가우스 과정(Gaussian process) 등의 고급의 분석논리들이 포진해 있다.
내용분석(content analysis)
내용분석은 통계적 방법의 한 종류일 때에는 텍스트분석(text analysis)이라고 불리며, 빅데이터가 이슈가 되면서 텍스트 마이닝(text mining) 기술과 함께 그 기법의 수준이 급격히 깊어지고 있다. 이 분석기법은 커뮤니케이션학과 함께 발전했으며, 문자화가 가능한 각종 매체들에서 내용을 추출하여 그 빈도와 관계, 네트워크, 중요성을 정리하는 것이 목적이다. 예컨대 매해 대통령 신년사를 수십 년 분량으로 수집하고 경제에 대해 얼마나 언급했는지를 내용분석하는 경우가 있다. 내용분석은 질적연구에서도 질적 분석 소프트웨어를 통해 실시되며, 비정형적이고 해석적인 분석이 진행되지만 본 문서에서는 생략한다.
네트워크분석(network analysis)
당초 수학 및 물리학계에서 처음 기초가 닦인 후, 2000년대에 복잡계가 이슈가 되면서는 사회과학 분야에서도 카오스 이론을 대신할 분석의 논리로 네트워크 이론을 차용하였다. 여기서는 분석대상을 노드(node)와 링크(link)의 단위로 표현하고, 중요한 지표로서 중심성(centrality)과 도수(degree), 군집계수(clustering coefficient) 등을 내세운다. 연결관계가 강한 곳에도 관심이 있지만 분석목적에 따라 약한 곳에도 관심이 요청될 수 있다. 사회학계를 비롯하여 SNS를 연구하는 많은 분야의 분석가들에게 안성맞춤인 분석기법이라 할 수 있다.
다변량분석(multi-variate analysis)

군집분석(cluster analysis)
데이터 행렬의 가로행을 축약하는 다변량분석. 분석을 위해서 데이터가 집단별로 나누어져야 하는데, 위의 기초 분석들과는 달리 여기서는 사전에 집단이 정의되어 있지 않은 상태이다. 즉 집단이 있긴 한데 그 집단의 정체를 분석가도 모르는 상태로 분석을 시작한다. 이때 데이터 속 관측값들의 거리의 유사성을 근거로 하여 집단을 정의하고, 그 정의된 집단에 각 관측값들을 배정하는 것이 군집분석이다. 2020년대 들어 인공지능 및 기계학습이 이슈가 되면서 함께 주목받고 있다.
요인분석(factor analysis)
데이터 행렬의 세로열을 축약하는 다변량분석. 여러 변인들의 이면에는 관측되지 않은 잠재 변인(latent variable)이 있으리라 가정하고 해당 변인을 '요인' 으로 명명, 변인 간 상관에서 각 변인들이 갖는 고유요인의 영향력을 배제한 상태로 요인구조를 산출한다. 데이터에 요인을 맞추기 위해 요인구조를 회전시켜 최적해를 찾는다는 점에서 순수수학적인 면보다는 응용수학적인 면이 강하다.
주성분분석(principal component analysis)
데이터 행렬의 세로열을 축약하는 다변량분석. 여러 변인들 사이에 존재하는 공분산의 구조를 활용하여 직교하는 다수의 주성분 차원을 도출한다. 데이터의 분산을 최대화하는 첫 주성분이 얻어지면 이를 통제한 상태에서 남은 분산을 최대화하는 다음 주성분을 찾는 과정을 반복한다. 주성분의 수는 제한은 없으나 대략 2~3개의 주성분만으로 80% 가량의 정보가 설명되는 것을 가장 이상적으로 이해한다.
판별분석(discriminant analysis)
데이터 행렬의 가로행을 축약하는 다변량분석. 군집분석과 마찬가지로 각 데이터를 여러 집단으로 나누어야 하는 상황은 동일하나, 사전에 집단이 판별식의 형태로 정의되어 있어서 개별 관측값이 어디 들어갈지만 판별하면 된다. 판별식은 해석의 편의를 위하여 선형함수로 정의되나, 비선형적 데이터를 위한 판별분석도 존재한다. 잘못 판별된 관측값을 탐지하는 방법, 그리고 오판별 관측값의 비율을 어디까지 허용할지의 문제 등이 이슈가 된다.

메타분석(meta-analysis)
메타(meta-)라는 접두사가 'X에 대한 X' 임을 고려하면, 메타분석은 문자 그대로 '분석에 대한 분석' 이라고 할 수 있다. 학계에서 메타분석은 어떤 공통의 주제로 수행된 다수의 분석례들을 관측값으로 삼아서 분석을 수행하는 것을 말한다. 수십 년 동안 쌓인 논문들을 모아 진행하는 경우가 많으나, 한 논문에서도 7~8개의 반복연구가 있다면 마지막으로 싹 모아 메타분석을 한번 더 하기도 한다. 하지만 아무거나 다 모을 수는 없고 일정한 질적 수준의 커트라인을 유지해야 하는데 이를 방법론적 질(methodological quality)의 딜레마라고 한다. 의학을 비롯한 임상적 학문들에서 특히 중요하며, 2010년대 이후로는 파일 서랍장 문제(file-drawer problem)가 대두되면서 연구투명성을 위한 깔때기도표(funnel plot)를 추가하는 것이 각계의 원칙이 되었다.
문항분석(item analysis)
심리측정학(psychometrics) 및 교육학계로부터 관심을 받고 있는 문항분석은 어떤 검사나 시험에 포함된 각 문항들이 갖는 난이도(difficulty)와 변별력(discrimination), 그리고 반응의 분포를 분석하는 기법이다. 난이도는 정답률로 계산하며 최적의 난이도일수록 변별력 지수(discrimination index)는 1에 근사하게 된다. 학계에서는 문항 간 결정론적 종속성을 파악하기 위한 불리언분석(Boolean analysis)도 있고, 그 하위 범주로서 이진적 문항들 간의 계층구조를 파악하기 위한 문항나무 분석(item tree analysis) 같은 것들도 나와 있다.
민감도분석(sensitivity analysis)
이미 수립된 모형이 외적인 환경의 불확실성에 의해 특정한 수준에서 영향을 받게 되고, 결과적으로 모형 속 각 변인들이 불확실성이 내포된 값을 산출할 때, 이 산출되는 값이 불확실성에 얼마나 민감하게 변동하게 되는지를 수학적으로 분석하는 기법이다. 불확실성을 모형에 투입되는 불확실성과 모형이 산출하는 불확실성으로 나눌 경우, 좁은 의미의 민감도분석은 후자만을 의미하며 전자는 별도로 불확실성 분석(uncertainty analysis)이라고도 부른다. 민감도분석은 정책학에서 비용-편익 분석(benefit-cost analysis)을 시행하는 데 꼭 필요하며, 다양한 환경적 조건들이 변동할 때 어떤 사업의 경제적 타당성이 얼마나 크게 요동칠지를 미리 가늠할 수 있게 한다.
생존분석(survival analysis)
시간의 흐름을 고려하면서 어떤 사건이 발생할 확률을 계산하는 분석이다. 생존분석의 목적은 데이터를 바탕으로 생존함수를 추정하는 데 있으며, 생존율을 산출할 때에는 Kaplan-Meier 추정법이 대표적이나 생존율의 비교에 있어서는 비모수적 방법으로서 로그-순위 검정(log-rank test)을 활용하기도 한다. 생존율에 영향을 주는 혼입변인, 즉 위험요인(risk factor)을 고려하려면 Cox의 층화 비례위험모형을 활용한다. 물론 어떤 사건이 분석기간 이후에 발생할 수도 있고, 이전에 발생할 수도 있다. 전자의 경우를 우측절단(right-censoring), 후자의 경우를 좌측절단(left-censoring)이라고 한다. 말 그대로 환자의 생존을 연구하는 의학계가 대표적 분야이지만, 멤버십 고객의 이탈을 연구하는 경영학, 정주인구의 변동을 연구하는 행정학, 저출산이나 청년실업 문제를 연구하는 정책학, 자살시도자에게 개입하는 임상심리학 등에서 매우 폭넓게 활용되고 있다.
시계열분석(time-series analysis)
양적으로 수집된 종단적(longitudinal)인 데이터를 분석하기 위한 기법으로, 어떤 변인이 다수의 시점에서 측정되고, 이후 시점의 측정결과는 이전 시점의 측정결과로부터 영향을 받는 종속적 관계에 있다는 기본 가정이 필요하다. 물론 랜덤워크(random walk)처럼 종단적이면서도 종속적이지 않은 데이터도 있으나 이에 대한 설명은 생략한다. 시계열 데이터는 시간적 순서를 고려하기 때문에 가역적(reversible)이지는 않으나, 현재를 통해 미래를 예측하는 것은 가능하다. ARIMA 모형은 데이터의 정상성(stationarity)을 유도하여 시계열분석이 가능하게 한다. 시계열분석을 즐겨 사용하는 분야로는 사회과학의 경우 경제학계의 금융·재무 분야를 들 수 있으며, 자연과학에서도 지구과학 및 천문학에서도 역시 활용한다.
앙상블분석(Ensemble analysis)
주어진 표본으로부터 현실을 예측하는 분야들에서 사용하는 방법으로, 단 하나의 표본만 가지고 예측모형을 수립함으로써 발생하는 위험을 회피하고자 개발되었다. 하나의 표본에 의존하는 모형이 일반화에 실패하고 표본의 변화에 지나치게 불안정해지는 것을 방지하기 위해, 앙상블분석은 하나의 표본에서 다수의 표본을 새로 뽑아 예측모형들을 만들고 그것들을 통합한 최종모형을 도출한다. 그 논리는 의사결정나무(decision tree)와 부트스트랩(bootstrap)에 기원하고 있으나, 2000년대 이후로는 새로 개발된 랜덤 포레스트(random forest) 기법이 나타나서 굉장히 좋은 예측모형들이 많이 만들어지고 있다. 기계학습과 같은 분야에서도 뜨거운 관심을 받고 있는 분석기법이다.
연관분석(Association analysis)
월마트의 연관분석에 따르면, "마트에서 맥주를 산 남성은 다음에는 보통 기저귀를 산다." 경영학계에서 장바구니 분석(market basket analysis)이라는 이름으로도 불리는 연관분석은, 여러 상품의 항목(item)들 사이에서 유독 강한 관련성을 갖는 빈발항목집합(frequent itemsets)을 찾거나, 혹은 그 관계를 나타내는 연관규칙(association rule)을 발견하는 분석이다. 분석을 정당화하기 위해 그 연관성이 얼마나 중요한지를 나타내는 지지도(support), 연관성이 얼마나 강한지를 나타내는 신뢰도(confidence)가 쓰일 수 있다. 항목이 많으면 많을수록 연관규칙의 탐사가 어려워지기 때문에 집합론을 바탕으로 하는 Apriori 방법, 더 나아가 이를 개선한 FP-Growth 방법으로 분석을 효율화할 수 있다. 연관분석의 변종으로 순차분석(sequential analysis), 부분그래프 분석(subgraph analysis) 등이 있다.
위상 데이터분석(Topological Data Analysis)
주어진 표본을 호몰로지나 미분 다양체 등 대수 기하학, 미분 기하학, 위상수학의 개념을 빌려 분석하는 기법이다.
패널분석(panel analysis)
패널분석은 상기된 시계열분석과 하기된 횡단면분석을 논리적으로 통합한 분석이다. 패널(panel)이란 종단적으로 여러 시점에 걸쳐서 반복적으로 자료를 수집하면서도 응답자가 전부 동일한 경우를 말하며, 이들을 바탕으로 모형을 수립할 경우 어떤 변인 간 관계가 어떻게 변화하는지에 대한 굉장히 많은 정보들을 얻어낼 수 있다. 패널분석의 기초 논리는 회귀분석에 있으나, 그 주요 기본 가정들이 위배되지 않도록 효과모형을 수립하고 패널 간 이질성 문제에도 대응해야 하기 때문에 분석의 난이도는 매우 높아진다. 계량경제학계에서 특히 중요한 분석기법이다.
횡단면분석(cross-sectional analysis)
넓은 의미에서 횡단면분석은 시간의 흐름을 반영하지 않은 모형을 수립하는 분석을 말한다. 횡단면분석은 데이터를 수집하는 방식에 있어서 상기된 시계열분석과 극명한 차이를 보인다. 시계열분석이 시간적 흐름에 입각하여 특정 변인의 변화를 확인하기 위한 자료수집을 실시한다면, 횡단면분석은 같은 시점에 여러 변인들에 대한 데이터를 일시에 수집한다. 따라서 횡단면분석으로 수립되는 모형 역시 동태적(dynamic)인 것이 아니라 정태적(static)이다. 횡단면분석은 다양한 분야들에서 널리 활용되고 있으며, 좁은 의미로 논의할 때에는 경제학 및 경영학계에서 많이 활용되고 있다.

5. 팁: 기초통계에서 분석결과가 유의하지 않을 때

학문분야마다 다를 수 있으나, 나무위키에 한정하여 기초 통계분석의 간단한 팁을 소개할 수 있다. 많은 대학원생들이 학위논문을 준비하다가 뜻밖에도 유의하지 않은 분석결과를 얻고 좌절하곤 하는데, 불행히도 연구중심대학 풍토가 확립되지 않은 국내 상당수 대학들에서는 이들이 당장 조언을 받을 만한 곳이 마땅치 않다. 결과적으로 논문심사가 코앞인데 어디서도 도움을 받을 수 없는 막막함을 느끼게 된다. 여기서는 질문지법으로 수집된 자료를 간단한 통계적 논리를 따라 분석했을 때 평균 비교(mean comparison)나 인과모형의 회귀계수(β)에서 '별이 뜨지 않은 경우', 즉 결과가 유의하지 않게 나왔을 경우에 대응할 수 있는 범용적(one-size-fits-all)인 수준의 체크리스트를 구성하였다.

0. 사전에 탐색적 조사와 사전검사를 시행했는가?
가장 근본적인 가능성은, 탐색적 조사(pilot survey)와 사전검사(pre-test)를 하지 않았기 때문에 '예상치 못한' 분석결과를 만나게 되었다는 것이다. 특히 질문지법을 활용하는 사회과학의 경우, 자신의 연구문제와 설문지 문항들이 사람들에게 어떻게 이해되고 인식되는지 최소한의 밑그림조차 없이 연구 현장으로 뛰어드는 것은 대단한 위험을 짊어지는 행위다. 연구문제에 대해 주위 사람들과 구체적이고 심도 있게 대화하고, 친한 선후배들이나 동아리 지인들, 동기들, 교회 지인들, 기타 온갖 인적 네트워크를 총동원해서 본조사 참여자들과 최대한 비슷한 응답자 풀을 30명 정도 규모로 확보한 뒤 사전검사를 실시해야 한다. 그리고 사전검사 이후 구체적인 소감이나 의견을 청취해야 한다. 귀찮다고 설문조사 대행업체를 활용한다면 돈이 최소 수십 이상은 깨지니, 가능한 많은 사람들의 도움을 구하자. 폭넓고 원만한 사회성은 대학원생에게 의외로 중요한 덕목이다. 만일 사전준비를 철저하게 했음에도 불구하고 본조사에서 갑자기 이상한 결과가 얻어졌다면, 계속해서 아래를 체크해 보자.

1. 연구가설이 이론적 조망에 의해 확고하게 뒷받침되고 있는가?
이론을 통해 독립 및 종속변인을 선정하는 것과, "왠지 이게 중요하지 않을까?" 해서 선정하는 것은 큰 차이가 있다. 이론의 중요성이 큰 학문분야일수록 이론적 예측에 입각하지 않은 연구문제는 뭔가 크게 어긋나 있기 십상이다. 그런 분야에서는 애초에 이론이 강조될 만한 이유가 있는 것이다. 특히 독립변인의 이론적 중요성은 그야말로 결정적이다. 분석결과가 유의하지 않았다는 얘기를 바꾸어 말하면 독립변인이 그만큼 중요하지 않았다는 얘기다. 하지만 이론에 확고하게 입각한 독립변인조차도 때로는 유의하지 않을 때가 있으니, 이때는 아래를 추가로 체크해 보자.

2. 표집된 표본이 이론에서 상정된 모집단을 제대로 대표하고 있는가?
표본의 대표성 문제는 모수적 통계분석에서 매우 중요하다. 간혹가다 랜덤신의 농간(…)으로 인해 영 엉뚱한 극단적 표본이 표집되었을 수 있으며, 추론통계학의 논리는 이 문제를 설득력 있게 처리하는 방향으로 발전해 왔다. 중요한 것은 통계분석을 진행하는 연구자가 상정하는 모집단이 정확히 무엇이냐 하는 것이다. 표본으로 추정되는 모집단은 그 분석의 논리적 기초가 되는 이론에서 상정하는 모집단과 다를 수도 있다. 이것이 극단적으로 불거진 이슈가 바로 대학 2학년 문제 및 WEIRD 문제라고 할 수 있다. "그건 미국에서 만들어진 이론이라 한국인에게는 맞지 않는다" 류의 비판도 비슷한 맥락이다. 하지만 이론에 입각하여 적절하게 표집한 표본조차도 유의하지 않은 결과를 산출하기도 하며, 이 경우 남은 가능성으로는 다음이 있다.

3. 데이터를 산출한 측정 도구가 충분한 타당도를 보장하는가?
척도와 같은 측정 도구를 즐겨 쓰는 분야들은 타당도(validity)의 정당화 문제에서 자유롭지 못하다. A 개념을 측정하기 위해서 동원한 설문 문항들이 실제로는 B 개념을 잘못 측정하고 있었을 수 있다. 한 사례로, 전세계적으로 행복(happiness)을 측정하는 데 '국룰' 이 된 PANAS나 SWLS 등의 유명한 척도들은 유독 한국인들이 생각하는 그 행복(幸福) 개념은 제대로 측정하지 못할 수 있다.[18] 즉 이론도 틀리지 않았고 표본도 틀리지 않았다 해도, 측정하는 과정에서 엉뚱한 문제가 불거졌다면 유의하지 않은 분석결과를 얻는 억울한 상황이 벌어질 수 있다. 측정 도구의 타당도 문제는 유의하지 않은 분석결과뿐만 아니라 유의한 분석결과에서도 발생할 수 있으며, 실제로 많은 논문 원고들이 측정의 타당도 문제가 의심되면 결과해석이 잘못됐다는 비판을 받는다. 결과가 유의하기는 유의하지만 그 유의함이 정작 연구문제와는 무관한 제3의 무언가를 가리킬 뿐이라는 것이다. 이미 타당도가 입증된 측정 도구를 선행문헌에서 빌려온다면 타당도를 정당화하는 골치 아픈 문제를 회피할 수 있다. 그러나 좋은 측정 도구로도 유의하지 않은 결과가 얻어지는 경우가 있고, 아래를 체크할 필요가 있다.

4. 표집된 표본이 지나치게 소표본인 것은 아닌가?
표본의 크기가 작다면 상기했던 '랜덤신의 농간', 즉 극단적인 표본일 가능성도 있지만 그 외에도 검정력(power)이 낮다는 점도 문제가 된다. 검정력은 주어진 유의수준에서 영가설이 거짓일 때 이를 올바르게 기각할 확률을 말하며, 거짓인 영가설을 제대로 기각하지 못하는 상황을 2종 오류(Type II error)라고 한다. 연구자의 분석결과에는 별이 뜨지 않았지만 실제로는 별이 많이 떠야 정상이라면, 이는 2종 오류가 발생했다는 신호일 수 있다. 이론도 적합하고 표집도 적합하고 측정 도구까지도 적합한데 유의하지 않은 결과가 나왔다면 이제는 오히려 "사실은 내 문제의식이 옳았는데 데이터가 나로 하여금 헛다리를 짚게 하고 있는 게 아닌가" 의 의심을 해야 한다. 자신의 설문지 연구가 60≤n≤150 정도의 규모로 수행되었다면 200≤n≤400 정도 크기까지 키웠을 때 분석결과가 유의해질 수 있다. G*Power 계산기는 자신이 설정한 유의수준에서 필요한 검정력을 확보하기 위한 최소한의 표본 크기를 제시하므로 표본크기 선정의 정당화가 더 쉽다. 그러나 p-값 자체가 오히려 표본이 커질수록 1종 오류 확률을 과소 추정하게 되므로 이를 고려할 필요는 있다. 마지막으로, 충분한 크기의 표본임에도 불구하고 결과가 유의하지 않을 경우에는 다음의 의심을 해 봐야 한다.

5. 유의한 차이가 없다는 것 자체가 하나의 발견인 것은 아닌가?
설문지 데이터, 특히 리커트 척도(Likert scale)를 활용하는 초보 연구자들이 빠지기 쉬운 함정은, 상대적 차이를 기준으로 분석결과를 설명하려다 그 통계의 절대적 측면을 놓친다는 것이다. 모든 분석에서 리커트 척도를 활용할 때 몇 점 척도를 썼는지 알려주는 데에는 이유가 있다. 예를 들어, A집단과 B집단을 비교하는데 A집단의 평균값은 6.2, B집단의 평균값은 6.4로 나왔고 유의한 차이도 없었다고 해 보자. 10점 척도에서 이런 결과가 나왔다면 절대적 측면에 큰 관심을 기울일 필요는 없다. 하지만 7점 척도에서 이런 결과가 나왔다면, '한쪽은 높고 한쪽은 낮은' 분석결과는 아니지만 '양쪽 다 똑같이 높은' 분석결과이기에 더 놀라운 발견이 된다. 마찬가지로 7점 척도에서 A집단의 평균값은 1.4이고 B집단의 평균값은 1.9로 나왔으며 차이가 유의하다는 분석결과가 나왔을 때는, '한쪽은 높고 한쪽은 낮았다' 만 보고하고 끝낼 게 아니라 양쪽 모두 이토록 낮은 평균값이 나온 것이 흥미롭다는 언급이 있어야 한다. 이런 이야기를 포함시킨 논문이 '결과가 유의하지 않아서 학술적 공헌을 하지 못한다' 고 괄시받는 경우는 없다.

단순한 분석논리를 적용했다면 대개 위 가능성 중의 하나에 걸리곤 한다. 그러나 위의 체크리스트를 모두 확인했음에도 여전히 원인을 찾을 수 없는 경우도 물론 있다.[19] 이는 그 학문분야가 처한 방법론적 특수성에 기인하기 때문일 수 있다. 위의 팁은 사회복지학, 커뮤니케이션학, 상담학, 행정학, 보건학, 교육학 등 기초통계분석의 수요가 존재하는 광범위한 응용분야들에서 범용적으로 대충 쓸 만한 수준의 체크리스트일 뿐이다. 그 외의 분야에서는 똑같은 통계분석을 하더라도 자신들만의 성찰의 원칙이 별도로 존재할 가능성이 높고, 이것이 국내에 제대로 공유되지 못했을 수 있다. 해외에서는 ResearchGate 또는 StackExchange를 비롯하여 연구자들의 소셜 서비스를 통해 이런 '꿀팁' 들이 활발히 공유되는 덕택에 초보 연구자들이 생산성을 높이기가 대단히 유리하다. 영어가 된다면 자신의 분석결과를 이런 곳에 업로드하고 조언을 구해 보는 수밖에 없다.

6. 관련 문서

/분포

SPSS

7. 둘러보기

🏬 사회과학 조사·연구 방법론 둘러보기
{{{#!wiki style="margin: 0px -10px -5px; min-height: 26px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin: -5px -2px -11px"		<colbgcolor=#C1F3FF>📝 서론	<colbgcolor=#F7FFFF,#191919>사회과학 · 과학적 방법 · 사회조사 · 연구 · 가설 · 이론(이론적 조망) · 연구윤리
🔍 조사방법론 I	변인 · 정의 · 상관관계와 인과관계 · 실험(실험설계 · 통제 · 통제집단과 실험집단) · 사례연구
🔍 조사방법론 I	자료 · 자료수집(면접법 · 초점집단면접법 · 질문지법 · 관찰법) · 코딩
📈 조사방법론 II	표본조사 · 지표 · 측정 · 신뢰도와 타당도 · 지수 · 척도
📊 사회통계	통계적 방법 · 기술통계학 · 확률 및 분포 · 추론통계학 · SPSS · 분석기법(분산분석 · 회귀분석)

👔 공인 자격증	사회조사분석사 · 빅데이터분석기사 · 국가공인 데이터분석 전문가
📂 메타 문서	연구방법론 관련 정보
^{상기 문서들은 한국통계진흥원 및 한국산업인력공단의 출제범위에 의거하여 엄격히 망라되어 있으며, 동 기관의 과목별 구분·명명에 의거하여 조사방법론은 2파트로 구분됨}

}}}}}}}}} ||

<colbgcolor=#000> 과학 연구 · 실험 Scientific Research · Experiment
{{{#!wiki style="margin:0 -10px -5px" {{{#!folding [ 펼치기 · 접기 ] {{{#!wiki style="margin:-6px -1px -11px"	<colbgcolor=#000><colcolor=#fff><rowcolor=#000,#fff> 배경	과학적 방법
기반	수학(미적분학 · 선형대수학 · 미분방정식) · 통계학(수리통계학 · 추론통계학 · 기술통계학)
연구·탐구	논증(귀납법 · 연역법 · 유추(내삽법 · 외삽법)) · 이론(법칙 · 공리 · 증명 · 정의 · 근거이론 · 이론적 조망) · 가설 · 복잡계(창발) · 모형화(수학적 모형화) · 관측 · 자료 수집 · 교차검증 · 오컴의 면도날 · 일반화
연구방법론	합리주의 · 경험주의 · 환원주의 · 복잡계 연구방법론 · 재현성(연구노트)
	통계적 방법	혼동행렬 · 회귀분석 · 메타분석 · 주성분 분석 · 추론통계학(모형(구조방정식) · 통계적 검정 · 인과관계와 상관관계 · 통계의 함정 · 신뢰도와 타당도)
측정·물리량	물리량(물리 상수 · 무차원량) · 차원(차원분석) · 측도 · 단위(단위계(SI 단위계 · 자연 단위계) · 단위 변환) · 계측기구 · 오차(불확도 · 유효숫자 · 과학적 기수법)
실험	실험설계 · 정성실험과 정량실험 · 실험군과 대조군 · 변인(독립 변인 · 조작 변인 · 종속 변인 · 변인 통제) · 모의 실험(수치해석) · 맹검법 · 사고실험 · 인체실험 · 임상시험 · 실험 기구
연구윤리	뉘른베르크 강령 · 헬싱키 선언 · 연구투명성 · 연구동의서 · 연구부정행위 · 표절(표절검사서비스) · 편향 · 문헌오염 · 자기교정성 · 연구윤리위원회
논문·과학 공동체	소논문 · 리포트 · 논문제출자격시험 · 연구계획서 · 형식(초록 · 인용(양식 · 참고문헌) · 감사의 글) · 저자 · 학회 · 세미나 · 학술대회 · 동료평가 · 지표 · 학술 데이터베이스 · 게재 철회 · 학제간 연구
철학 관련 정보 · 연구방법론 관련 정보 · 수학 관련 정보 · 자연과학 관련 정보 · 물리학 관련 정보 · 통계 관련 정보 · 사회과학 조사연구방법론			}}}}}}}}}

[1] 직관적으로 쉬운 분석이라는 분산분석조차 F-분포 개념을 포함하는데, 정말로 각잡고 F-분포의 확률밀도함수를 제대로 설명하려면 커리큘럼을 아예 포기해야 하며, F-분포의 확률밀도함수 계산은 수학과 학생들조차도 안 한다.[2] 심지어 분석과 분석이 아닌 것의 경계조차 불분명하다. 일례로 교차표(cross tabulation)를 활용해서 변인 간의 독립성을 확인하는 검정의 경우, SPSS에서는 교차분석이라고 부르지만 많은 연구자들은 χ²-검정(특히 독립성 검정)이라고 부른다.[3] 구글에서 검색되는 통계적 방법에 관련된 웹 페이지들을 보면 "A교육법과 B교육법 중 어느 쪽이 더 효과적인가" 따위의 연구가설을 가지고 독립표본 t-검정을 실시하는 경우도 있지만, 기실 자신의 논리를 제대로 뒷받침할 수 없는 도구를 활용한 것이다.[4] 엄밀히는 결합확률분포를 바탕으로 확률적인 수준에서 교차표의 독립성을 만족시킨다.[5] 단, 이 대목은 수학 및 통계학 전공자들이 사회통계 커리큘럼을 접할 때 뒷목을 잡는 몇몇 지점들 중 하나이다. χ²-값이 이런 식으로 관측빈도와 기대빈도의 잔차를 주물러서 '정의' 되는 것은 아니다. χ²-값의 정의는 훨씬 더 복잡하며, 분산의 표본분포를 통해서 얻어진다.[6] 각 셀마다 관측빈도와 기대빈도의 차를 계산한 후 제곱하여 (－) 부호를 떨궈버리고, 그 결과를 기대빈도로 나눈 후 잔차교차표를 만들어서, 그 모든 셀에 들어있는 잔차를 전부 합산한다.[7] 마찬가지로 매개모델과 조절모델 사이에서 어떤 쪽을 선택할지의 문제 역시 숫자가 가르쳐주는 영역이 아니다. 독립변인과 종속변인이 있고 제3의 변인이 있다고 할 때, 분석가의 주관 혹은 이론적 조망이 그 제3의 변인을 매개변인으로 본다면 당연히 매개모델을 세워야 하지만, 만일 그것을 조절변인으로 본다면 그때는 조절모델을 세우게 되는 것이다. 이 부분에서 남들을 설득하기 위해서는 선행문헌에 대한 철저한 검토가 필요하다.[8] 마찬가지로 적합도 검정은 χ²-값을 활용하기는 하나 교차표를 활용하는 분석은 아니다.[9] 그렇기에 이 분석은 모형에 대한 연구가 되는 것이지, 데이터가 관측된 집단에 대한 연구가 되지는 않는다. 위 사례에서도 결국 분석가의 관심은 위키위키의 성비 불균형 현상에 맞춰져 있을 뿐, (적어도 이 분석에 한해서는) 나무위키에 관심이 맞춰진 것은 아니다. 이처럼 연구의 관심의 대상이 된다는 공통점으로 인하여, 본 문서에서는 모형과 데이터의 비교를 독립변인처럼 취급하였다.[10] 심지어 영가설도 딱히 설정할 게 없어서 검정이라기보다는 신뢰도 추정에 더 가깝게 보일 정도이다.[11] 예를 들어 조사에 참여의욕이 거의 없는 사람은 설문지에다 세로줄을 쭉 그어놓고 제출하는 경우가 있는데, 이런 응답은 코딩하기 전에 무조건 스크리닝해서 걸러내야 한다.[12] 구조방정식 모델링에서도 화살표를 넣느냐 빼느냐를 놓고 똑같은 문제가 발생한다. 모형을 증축했을 때 각종 수치들이 아무리 보기 좋아진다 해도 그 증축에 합당한 근거가 없다면 그 화살표는 함부로 그으면 안 된다.[13] 따라서 이때는 정규모델의 적합도 검정이라고 부를 수도 있다.[14] 통계학자 존 투키(J.Tukey)는 람다 값에 대해서, 좌측편포일 때 모든 데이터를 2~3제곱하고, 우측편포일 때 모든 데이터에 루트, 그래도 안 되면 로그, 더 극단적이면 역수값의 루트 음수 등을 취하면서 분포를 정리하라고 조언했다. 이처럼 계산할 람다값의 후보를 순서대로 정리한 것을 Tukey의 멱(羃)의 사다리(Tukey's ladder of powers)라고도 부른다.[15] 이 때문에 비모수적 검정은 이상점에 쉽게 대응할 수 있다. 순위 통계량을 쓰지 않는다면 이상점을 전부 찾아서 절삭해야 한다.[16] 이보다 논리가 단순한 순위합 검정(rank-sum test)의 경우, 단순히 집단 내 케이스들이 전체에서 갖는 순위들을 모두 합산하여 그 총계의 크기를 서로 비교, 숫자가 더 작은 쪽이 더 높다고 쳐 준다. 하지만 두 집단의 케이스 수가 크게 다를 경우에는 케이스가 많은 쪽이 손해를 볼 수 있기 때문에 순위합을 케이스 수로 나누는 평균 순위를 계산하는 것.[17] 사실 이름 자체가 'correlation analysis' 따위로 불리는 경우는 거의 없다. 단순히 상관(correlation)이라고 하거나, 상관계수(correlation coefficient)라고 하는 경우가 더 많다.[18] 문화심리학자 한민 교수는 《우리가 지금 휘게를 몰라서 불행한가》 의 저서를 통해, 한국인들은 서양인들처럼 '매 순간마다' 긍정적인 감정을 '명확하게' 구분해서 '뚜렷하게' 표출하지 않으며, 한국인의 행복은 그보다 훨씬 은근하고 장기적이며 상호의존적인 경험이고, 이 때문에 전세계적인 행복 인식조사를 하면 늘 다른 나라들보다 저조한 점수를 얻는다고 지적했다.[19] 위의 자가점검만으로 문제가 쉽게 해결될 것 같았으면 우리나라에 논문 컨설팅이라는 시장이 존재하지도 않았을 것이다.