최소제곱법

단순선형회귀모형

(simple linear regression model)

 

간단한 회귀모형의 예

 

이렇게 회귀모형을 설정하고 분석하는 것을 회귀분석이라 한다.

회귀분석은 변수들로 예측될 수 있도록 이용하는 통계적방법이다.

 

 

회귀선이 평균의 집합을 나타낸다.

 

단순선형회귀함수(simple linear regression)

 

단순선형회귀모형과 가정을 정리한 모형

모수로 추정식을 구할려고 한다.

평균의 추정값을 구하기 위해서 최소제곱의 원리를 이용한다.

최소제곱의 원리란 잔차의 제곱의 합이 최소가 되게 하는

평균의 추정값을 구하는 방법이다.

 

 

 

최소제곱법(method of least squares)

: 관측된 y값과 그것의 평균간의 편차의 제곱의 합을 최소화하는 b0와 b1의 추정값을 구하는 방법이다.

 

최소제곱법

 

편미분된 식은 오차항의 합이므로 0이 되어야한다.

먼저 b0에 대해서 편미분한걸 보면

 

b0 편미분

b1 편미분

b0 편미분 식에서 b0을

b1 편미분 식에 대입한다

 

 

 

b1 식

b0 식

b1, b0으로 추론할 수 있다.

 

<예제>

 

초등학교 남자아이들의 키와 최대산소흡입량 간의 관계를 조사하기 위해서 회귀식 산출하기

 

1	2	3	4	5	6	7	8	9	10
1.54	1.74	1.32	1.50	1.46	1.35	1.53	1.71	1.27	1.50
132.0	135.5	127.7	131.1	130.0	127.6	129.9	138.1	126.6	131.8

1. 관측 2. 최대산소흡입량 3. 키

 

키와 최대산소흡입량 그래프

x 평균 : 131.03 , y 평균: 1.492

 

엑셀로 구한 값들

b1 추정값 구하기

추정된 회귀식