중회귀모형(1)

중선형회귀

(multiple linear regression)

두 개 이상의 설명변수와 한 개의 반응변수와의 관계

 

$$ y = \beta _{0} + \beta _{1}x{_{1}} + \beta _{2}x{_{2}} + \epsilon $$

 

행렬표현

 

최대산소흡입량 자료에서

y <- c(1.54,1.74,1.32,1.50,1.464,1.35,1.53,1.71,1.27,1.50)
y
x1 <- c(132,135.5,127.7,131.1,130.0,127.6,129.9,138.1,126.6,131.8)
x1
x2 <- c(29.1,29.7,28.4,28.8,25.9,27.6,29,33.6,27.7,30.8)
x2

X <- cbind(rep(1, times=length(y)), x1,x2)
X 

t(y)

           X                                                         y

         x1   x2                                                     [,1]
 [1,] 1 132.0 29.1                                           [1,] 1.540
 [2,] 1 135.5 29.7                                           [2,] 1.740
 [3,] 1 127.7 28.4                                           [3,] 1.320
 [4,] 1 131.1 28.8                                           [4,] 1.500             
 [5,] 1 130.0 25.9                                           [5,] 1.464
 [6,] 1 127.6 27.6                                           [6,] 1.350
 [7,] 1 129.9 29.0                                           [7,] 1.530
 [8,] 1 138.1 33.6                                           [8,] 1.710
 [9,] 1 126.6 27.7                                           [9,] 1.270
[10,] 1 131.8 30.8                                          [10,] 1.500

10*(2+1)                                                     10*1

n*(p_1)                                                       n*1

 

중회귀모형 행렬형

$$ y = X\beta +\epsilon $$

 

y는 반응벡터

beta는 모수 벡터

X는 상수 행렬

epsilon는 독립적인 정규확률변수 벡터 

기댓값, 공분산 행렬

 

 $$ E(\epsilon)=0 , Cov(\epsilon)=\sigma ^{2}I $$

 

회귀계수 추정

$$ b = ({X}'X)^{-1}{X}'y $$

 

1) X'X

t(X)%*% X

                 x1       x2
     10.0   1310.30   290.60
x1 1310.3 171804.93 38130.19
x2  290.6  38130.19  8483.36

 

2) X'y

t(X)%*% y

        [,1]
     14.9240
x1 1960.2240
x2  435.5626

 

3) (X'X)^-1

solve(t(X)%*%X)

# solve() : 역행렬 구하는 함수

                       x1          x2
   211.880980 -2.08301335  2.10448245
x1  -2.083013  0.02285339 -0.03136498
x2   2.104482 -0.03136498  0.06900449

 

4) beta 

b <- solve(t(X)%*%X)%*%t(X)%*%y
b

          [,1]
   -4.42717904
x1  0.04945975
x2 -0.01930941

 

추정된 다중회귀모형은 

$$ \widehat{y}= -4.4096+0.0492x_{1}-0.0186x_{2} $$ 

 

R의 lm함수를 서보면 똑같이 나온다

lm(y ~ x1 + x2)

Call:
lm(formula = y ~ x1 + x2)

Coefficients:
(Intercept)           x1           x2  
   -4.42718      0.04946     -0.01931