통계학 3주차 - 회귀분석

통계적 추정을 하는 이유는 무엇인가?

어떤 모집단을 대상으로 실험이나 조사를 할때, 시간과 비용의 제약이 있어 전수조사를 하기 힘드므로 표본을 뽑아 조사 및 실험을 진행하여 모집단의 확률분포를 추정하는 통계적 추정을 한다.

점추정과 구간추정의 차이를 설명하시오.
(구간추정의 경우, 신뢰구간의 정의와 함께 설명하시오)

점추정이란 수치적 추정치를 예측하는 것이다.
구간추정이란 일정 구간안의 최솟값과 최댓값 사이의 값이라고 추정하는 것이다.
대표적인 구간추정 방법은 신뢰구간있다.

신뢰구간은 표본 통계량에서 파생되어 알 수 없는 모집단 모수 값이 포함될 가능성이 있는 값의 범위이다.

 

독립변수와 종속변수 각각에 대해 예시를 들어 설명하시오.

독립변수란 종속변수를 설명해주는 변수를 말한다.
종속변수란 독립변수에 의해 설명이되는 변수를 말한다.

 

최소자승법의 원리에 대해 설명하시오. 

x가 독립변수, y를 종속변수라고 보자,
어떠한 추세선을 보이는 사회적 현상의 관측한 데이터들은 같은 y값을 가졌다하더라도 다른 x값들이 다를 수 있다.

그래서 실제 데이터와 선형모델이 예측한 값과 오차가 있을 수밖에 없다.

이때, 오차제곱의 합을 가장 작게 만드는 선형모델을 선택하겠다는게 최소자승법의 작동원리이다.
제곱을 하는 이유는 모든 오차를 양수로 만들어주기 위해서 이다.

 

회귀모형의 설명력 (R^2)은 무엇인가?

결정계수는 주어진 독립변수들로 예측한 종속변수값과 실제 종속변수 값의 상관관계를 나타내는 계수이다. 즉, 모델의 설명력이다. 만약 결정계수가 0.25 이면 25% 설명력을 갖는다.

 

각 독립변수의 계수와 유의성(P-value)의 의미에 대해 설명하시오.

통계적으로 유의미하다는 것은, 계산한 모형이 모집단에대해 적용 가능하다는 것이다. 
각 독립변수외 자료의 수에 의한 자유도별 통계값에 유의한 것이 p-value이다.

 

단순회귀분석과 다중회귀분석의 차이는 무엇인가? 예시와 함께 설명하시오. *

회귀분석이란

회귀모델은 '잔차의 평균으로 회귀하는 것'

1. 무엇이 어디로 회귀하는가:
골턴-'평균으로의 회귀'
데이터가 회귀 모델이 제시한 추세선으로 회귀하는 것

 

잔차 residual

데이터의 실측치와 모델의 예측치 사이의 차이, 즉, 회귀식에서 오차항에 대한 관측치

- 잔차의 분포는 정규 분포이여야 한다.

- 잔차와 독립변수 X 사이에 상관관계가 없고, 자기 자신과도 상관이 없어야 한다. (잔차는 독립이어야 한다)

- 잔차의 분포는 일정해야한다. (잔차는 등분산성을 만족해야 한다)

위 조건을 모두 만족한다면 해당 모델의 예측치와 실제 데이터 사이의 차이인 잔차는 평균으로 회귀한다. 다시 말하면, 비록 실제 세계에서 어쩔 수 없이 존재하는 잡음으로 인해 완전히 예측치와 실측치가 일치하지는 않으며 그래서 어떤 데이터에 대해 그 차이가 클 수 있지만 전체 추세로 볼 때는 잔차는 평균 (대개는 0)으로 수렴합니다.

 

잔차의 정규성

(잔차의 분포는 정규 분포이여야 한다.)

만약 어떤 데이터에 대해 정확한 모델을 만들었다면 그 모델과 실제 데이터 사이의 오차의 확률분포는 정규 분포를 따른다. 그 이유는 정규 분포 자체가 원래 오차에 대한 확률 분포이기 때문이다 가우스가 천체 관측 시 발생하는 오차의 성질을 연구하던 중 정규 분포를 발견했다. 당시 천체관측을 눈으로하다보니 매번 관측할 때마다 조금씩 오차가 발생했다. 그런데 이 차이값들 사이의 관계를 분석해보니 이 값들이 평균에 근접할수록 발생확률이 높고 평균에서 멀어질수록 확률이 떨어지는 분포 규칙을 따른다는 것을 발견했다.