model regresi dengan dummy varibles

MODEL REGRESI LINIER
Metode Ordinary Least Square (OLS) adalah metode mendapatkan dugaan
estimasi parameter regresi sedemikian dengan meminimalkan jumlah kuadrat error.
Berdasarkan asumsi pertama, persamaan regresi populasi kita berbentuk Y  XB  e ,
dimana
 y1 
y 
Y   2
 
 
 yT 
1 x11
1 x
12
X
 

1 x1T
x 21
x 22

x 2T
 xK1 
 x K 2 
  

 x KT 
 0 
 
B 1
  
 
 K 
 e1 
e 
e   2

 
eT 
Asumsi yang kita terapkan pada struktur error e adalah
E(e)  0
E(e e)  σ e2 I T
Asumsi pertama menyatakan bahwa kita tidak membuat kesalahan spesifikasi.
Sedangkan asumsi kedua adalah bentuk kompak dari pernyataan no autocorrelation dan
homoschedasticity.
Asumsi yang kita terapkan kepada matriks X ialah bahwa X adalah matriks stokastik yang
memiliki rank sebesar K+1 yang harus lebih kecil dari T.
Selanjutnya kita ketahui bahwa error di sampel kita, notasikan dengan u, ialah
ˆ  Y  Xb
u  YY
uu  (Y  Xb)(Y  Xb)
 YY  YXb  bXY  bXXb
 YY  2bXY  bXXb
di mana matriks b adalah matriks penduga B dan uu adalah jumlah error kuadrat (sum of
squared error, SSE) yang ingin kita minimalkan. Agar kita mendapatkan SSE minimal
u u
 2XY  2XXb  0
b
yang dengan penyelesaian aljabar sederhana akan kita dapatkan
XXb  XY
1
Persamaan di atas kita sebut dengan persamaan normal (normal equation) yang sangat
penting dalam analisis regresi. Dari persamaan normal tersebut kita dapatkan formula
estimasi dugaan OLS kita, yaitu
b  (XX) 1 XY
Ilustrasi model
Bayangkan kasus regresi sederhana dimana hanya ada satu variabel bebas. Dengan kata
lain, persamaan regresi kita ialah Yi   0  1 X i  ei . Untuk persamaan regresi seperti
ini kita ketahui bahwa matriks Y dan e kita persis sama dengan yang dituliskan di atas.
b 
Selanjutnya, matriks B kita berbentuk  0  dan matriks X kita berbentuk sebagai berikut
b1 
1 x1 
1 x 
2

X  1 x3 


  
1 xT 
 T
, sehingga XX  
 X
X 
 Y 
dan XY  
.
2
X 
 XY 
Sehingga persamaan normal kita ialah
XXb  XY
 X  b0    Y 
 T

 X

2 
 X  b1   XY 

Yang kalau kita nyatakan dalam bentuk persamaan, terdiri dari dua persamaan berikut
b0T  b1  X   Y
b0  X  b1  X 2   XY
Matriks kebalikan (inverse) dari X X dengan mudah dapat dirumuskan sebagai
2
(X X)
1
1

2
T  X  ( X ) 2
 X 2

  X
2

X

2
2
 T  X  ( X )


X
T X 2  ( X ) 2

 
X

T 

X

T  X 2  ( X ) 2 


T
T  X 2  ( X ) 2 
Sehingga dugaan OLS bisa kita dapatkan dengan menggunakan formula sebelumnya,
yaitu
b  (XX) 1 XY
2

X

2
2
 T  X  ( X )


X
T X 2  ( X ) 2

 
Sehingga

X
2
2 
T  X  ( X )    Y 


  XY 
T
T  X 2  ( X ) 2 
2
 X  Y   X  XY
b0 
T  X 2  ( X ) 2
dan
b1 
T  XY   X  Y
T  X 2  ( X ) 2
Dengan manipulasi aljabar sederhana, dapat dibuktikan lebih lanjut bahwa b0  Y  b1 X .
Rumus terakhir ini lebih banyak dipakai dibandingkan rumus yang pertama karena
memang lebih mudah dan lebih sederhana.
Contoh. Hitung koefisien regresi b0 dan b1 jika diketahui bahwa suatu regresi memiliki
persamaan normal sebagai berikut
200b0  150b1  350
150b0  113b1  263
1
b0  200 150 350  1.13  1.5 350 1

Jawab. Koefisien regresi    
 

2  263 1
 b1  150 113 263  1.5
3
DATA DALAM DEVIASI DARI RATA-RATA
Seluruh variabel yang kita gunakan dalam analisis regresi dapat dengan mudah
dinyatakan dalam bentuk deviasi dari rata-rata. Artinya, variabel Y kita transformasi
menjadi y  Y  Y , dan juga variabel X kita transformasikan menjadi x  X  X
(perhatikan variabel dalam bentuk deviasi dari rata-rata dinyatakan dengan notasi huruf
kecil). Selalnjutnya regresi yang kita kerjakan adalah antara y dan x, dan bukannya antara
Y dan X. Jika kita regresikan y dengan x tanpa intercept, maka akan kita dapatkan slope
kemiringan yang sama persis dengan kalau kita meregresikan Y terhadap i dengan
memakai intercept. Pembuktian sederhana untuk itu sebagai berikut.
Sebagai ilustrasi, bayangkan kita meregresikan Y dengan dua variabel bebas, yaitu X 1
dan X 2 . Bentuk persamaan regresi linier kita ialah
Y   0  1 X 1   2 X 2  e
Lalu kerjakan manipulasi berikut ini
Y  (  0  1 X 1   2 X 2 )  1 X 1  1 X 1   2 X 2   2 X 2  e
  0*   1 ( X 1  X 1 )   2 ( X 2  X 2 )  e
Y   0*   1 ( X 1  X 1 )   2 ( X 2  X 2 )  e
Y  Y  1 ( X 1  X 1 )   2 ( X 2  X 2 )  e
y   1 x1   2 x 2  e
Dengan cara yang persis sama dengan sebelumnya, kita dapat menurunkan formula
dugaan OLS untuk kasus variabel dalam bentuk deviasi dari rata-rata tersebut. Perhatikan
bahwa formulasi persamaan regresi terakhir kita tadi ialah persamaan regresi populasi.
Persamaan regresi sample, oleh karenanya, ialah
y  b1 x1  b2 x2  u
Dan yang kita inginkan adalah meminimumkan  u 2 yang rumuskan ialah
2
 u   ( y  b1 x1  b2 x2 )
Derivasi pertama terhadap b1 dan b2 ialah sebagai berikut
4
 u 2
 2 x1 ( y  b1 x1  b2 x 2 )  0
b1
 u 2
 2 x 2 ( y  b1 x1  b2 x 2 )  0
b2
yang dengan manipulasi aljabar sederhana akan didapatkan
b1  x12  b2  x1 x2   x1 y

2
b2  x2  b1  x1 x2   x2 y
yang jika kita nyatakan dalam bentuk matriks akan berbentuk sebagai berikut
  x12

 x1 x2
 x1 x2   b1    x1 y 

.
2 
 x2  b2   x2 y 
Dalam notasi yang lebih sederhana, kita dapat menuliskan matriks di atas
 m11 m12   b1   m1 y 
,
m
   
 21 m22  b2  m2 y 
atau
M xx b  M xy
di mana m11   x1 x1   x12 , m12   x1 x2 , dan seterusnya. Kita dapat lihat bahwa
persamaan matriks di atas ialah suatu system yang terdiri dari dua persamaan dengan dua
yang tidak diketahui, yaitu b1 dan b2 . Sistem persamaan M xx b  M xy di atas adalah
system persamaan normal kita, yang persis sama dengan system persamaan normal kita
sebelumnya XY  XXb . Untuk memperlihatkan bahwa kedua system persamaan
normal tersebut pada hakekatnya adalah sama, perhatikan tabel berikut ini.
Persamaan normal XXb  XY
Persamaan normal M xx b  M xy
Sistem persamaan normal untuk dua
variabel bebas:
Sistem persamaan normal untuk dua
variabel bebas:
b0T  b1  X 1  b2  X 2   Y
b0  X 1  b1  X  b2  X 1 X 2   X 1Y
2
1
b0  X 2  b1  X 1 X 2  b2  X   X 2Y
2
2
Solusi OLS b  (XX) 1 XY
m11b1  m12b2  m1 y
m21b1  m22b2  m2 y
ingat m11   x12 , m12   x1 x2 , dst.
1
Solusi OLS b  M xx M xy
5
Dengan mudah system persamaan di atas kita dapatkan solusinya, yaitu
1
 b1   m11 m12   m1 y   m11 / M xx

b   m
 
 2   21 m22  m2 y  m21 / M xx
m12 / M xx 

m22 / M xx 
di mana determinan M xx ialah M xx  m11m22  m122 , karena m12  m21 .
Oleh karena itu,
 m22 m1 y  m12 m2 y 


m11m22  m122 
 b1  
.
b   
 2   m11m2 y  m21m1 y 


2
 m11m22  m12 
Jika kita menginginkan intercept b0 , maka besarnya selalu bisa kita cari dengan
menggunakan konsep awal b0  Y  b1 X 1  b2 X 2 .
Ilustrasi model
Sekali lagi, bayangkan kasus regresi sederhana dimana hanya ada satu variabel bebas.
Dengan kata lain, persamaan regresi kita ialah Y   0  1 X 1  e . Kita tahu bahwa
dalam bentuk deviasi dari rata-rata, persamaan regresi tersebut dapat kita tuliskan sebagai
y  1 x1  e . Jika kita perhatikan lagi formula mendapatkan b1 dalam kasus dua
variabel bebas di atas ialah
b1 
m22 m1 y  m12 m2 y
m11m22  m122
.
Jika hanya ada satu variabel bebas, katakan tidak ada variabel x 2 , maka formula untuk
koefisien b1 menjadi sangat sederhana, yaitu
b1 
m1 y
m11

 x1 y
2
 x1
6
Contoh. Jika diketahui bahwa Yˆt  350,93  1,264Ct
mcc  4,64x1010
m yy  7,52x1010 ,
hitung besarnya koefisien regresi ̂ 1 pada persamaan regresi Yt   0  1Ct  et .
Jawab. Untuk menjawab pertanyaan tersebut kita tahu bahwa ̂ 1 
regresi terakhir kita ketahui bahwa 1,264 
mcy
m yy
mcy
mcc
. Dari hasil
. Sehingga dengan mudah kita dapatkan
mcy  (1,264)(7,52x1010 )  95052800000 . Dengan demikian kita dapatkan bahwa
ˆ 1 
mcy
mcc

95052800000
 2,05 .
4,64x1010
Koefisien regresi parsial
Dari uraian di atas kita tahu bahwa dalam persamaan regresi sederhana (menggunakan
‘rumus kecil’) y  1* x1  f , maka
m1 y
?
b1* 
m1 y  m11b1*
m11
Sementara itu jika kita memiliki persamaan regresi dengan dua variabel bebas
y  1 x1   2 x2  e , kita juga bisa membuat regresi antara sesama variable bebas, yaitu
antara x1 dan x 2 , yaitu x2  x1  g . Estimasi koefisien regresi persamaan tersebut,
katakan p, ialah
m
?
p  12
m12  m11 p
m11
Dari persamaan regresi dengan dua variabel bebas tersebut, kita tahu bahwa system
persamaan normal kita ialah
m11b1  m12b2  m1 y
m21b1  m22b2  m2 y
Kita ambil persamaan pertama m11b1  m12b2  m1 y , dan kita substitusikan dua formula
kita di atas sehingga,
7
m11b1  m12b2  m1 y
m11b1  m11 pb2  m11b1*
dengan menghilangkan seluruh m11 , kita dapatkan
b1  pb2  b1*
b1  b1*  pb2 .
atau
Persamaan terakhir menunjukkan faktor yang menentukan besarnya net coefficient
regression b1 (koefisien x1 pada regresi berganda). Ternyata besarnya estimasi b1
tergantung kepada dua hal. Pertama ialah b1* (koefisien x1 pada regresi sederhana).
Kedua adalah koefisien b2 , yang disesuaikan dengan besarnya p. Yang terakhir ini
menunjukkan ‘tingkat kedekatan’ kedua variabel bebas yang ada. Kita menginginkan
agar p memiliki nilai sekecil mungkin. Dalam kasus ideal p = 0, maka b1  b1* .
Contoh. Diketahui hasil estimasi suatu model regresi sebagai berikut
Iˆt  149,78  0,11928Ft  0,37144Ct .
Jika diketahui bahwa Cˆ  659,83  0,30187F , hitung besarnya simple regression coefficient
t
t
antara I t dan Ft (yaitu koefisien regresi  pada persamaan I t   0*   1* Ft )?
*
1
Jawab. Dari uraian sebelumnya kita ketahui bahwa b1*  b1  pb2 . Sehingga
b1*  0,11928  (0,30187)(0,37144)  0,2314 .
a) Dari data tersebut diketahui bahwa matriks korelasi antarvariabel-nya sbb.:
I
I
F
C
F
1,0000
0,67597
0,90705
C
1,0000
0,43319
1,0000
Tentukan apakah karakteristik data seperti ini memiliki potensi masalah
multicollinearity! Bagaimana Saudara menentukannya?
8