Linear Regression 선형회귀분석

서울대학교 도시 데이터사이언스 연구소의 김 선 교수님 머신러닝강의 강의노트.

Linear Regression 선형회귀분석

회귀분석 모델의 목적: 데이터 샘플을 갖고 있지 않은 지점에서의 예측

아래의 그래프에서 x는 실제 데이터, 빨강과 파랑 선은 예측값을 나타낸다. (x축의 특정 값에 대한 예측값 y를 나타낸 그래프)

 

예측 값들을 나타내는 f(x)와 g(x)는 아래의 수식으로 표현할 수 있다.

단, 서로 다른 β값을 갖고 있는 것이다. 

한 눈에 보기에  f(x)가 g(x)보다 데이터를 잘 설명하는 것으로 보인다.

f(x)가 더 적합한 이유를 정량적으로 설명하자면,

f(x)의 오차의 총합이 g(x)의 오차의 총합보다 더 작기 때문이라고 말할 수 있다.

회귀분석의 학습과정은 error들의 합이 가장 작은 함수를 찾아가는 과정이라 할 수 있다.

error = 예측값과 실제 데이터간의 거리

오차의 총합 =

SSE (Sum of Squares of Error)

앞서 언급된 error^2의 총합은 SSE라 불린다.

Least squares regression은 가장 낮은 값의 SSE값을 가진 선분을 택한다.

https://www.gsu.edu/~dscaas/pptdsc/regression

SSR (Sum of Squares Regression)

SSR은 데이터 샘플들의 평균값과 예측값의 잔차의 제곱을 말한다.

https://www.gsu.edu/~dscaas/pptdsc/regression

SST (The Total Sum of Squares)

SST는 모든 차이의 합으로, 분산과 역할이 비슷하다.

실제 값과 예측 값의 잔차들의 합과 실제 값의 평균과 예측값의 잔차의 합을 더한 것이다.

통계학에서는 ESS(explained sum of squares)라고도 부른다.

 

즉,

이다.

Coefficient of Determination(결정계수)

추정한 선형 모형이 주어진 자료에 얼마나 적합한지 나타내는 척도이다.

결정계수는 상관계수를 제곱하여 구할 수 있고,

SSR에 의해 설명되는 SST의 비율로도 구할 수 있다.

결정계수의 값은 0~1사이이며, 종속변인과 독립변인 사이에 상관 관계가 높을수록 1에 가까워진다.

만약 결정계수가 1이라면 추정한 선형 모형 위에 모든 자료가 분포하는 것이다.

Prediction Intervals