metode regresi ridge untuk mengatasi model regresi linier berganda

METODE REGRESI RIDGE UNTUK MENGATASI MODEL
REGRESI LINIER BERGANDA YANG MENGANDUNG
MULTIKOLINIERITAS
SKRIPSI
NANANG PRADIPTA
030803013
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SUMATERA UTARA
MEDAN
2009
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
METODE REGRESI RIDGE UNTUK MENGATASI MODEL
REGRESI LINIER BERGANDA YANG MENGANDUNG
MULTIKOLINIERITAS
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar
Sarjana Sains
NANANG PRADIPTA
030803013
DEPARTEMEN MATEMATIKA
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM
UNIVERSITAS SUMATERA UTARA
MEDAN
2009
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
PERSETUJUAN
Judul
Kategori
Nama
Nomor Induk Mahasiswa
Program Studi
Fakultas
: METODE REGRESI RIDGE UNTUK MENGATASI
MODEL REGRESI LINIER BERGANDA YANG
MENGANDUNG MULTIKOLINIERITAS
: SKRIPSI
: NANANG PRADIPTA
: 030803013
: SARJANA (S1) MATEMATIKA
: MATEMATIKA DAN ILMU PENGETAHUAN
ALAM (FMIPA) UNIVERSITAS SUMATERA
UTARA
Medan,
Komisi Pembimbing
Maret 2009
:
Pembimbing 2
Pembimbing 1
Drs. H. Haluddin Panjaitan
NIP. 130 701 888
Drs. Suwarno Ariswoyo, M.Si
NIP. 130 810 774
Diketahui/Disetujui oleh
Departemen Matematika FMIPA USU
Ketua,
Dr. Saib Suwilo, M.Sc
NIP. 131 796 149
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
PERNYATAAN
METODE REGRESI RIDGE UNTUK MENGATASI MODEL REGRESI LINIER
BERGANDA YANG MENGANDUNG MULTIKOLINIERITAS
SKRIPSI
Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa
kutipan dan ringkasan yang masing-masing disebutkan sumbernya.
Medan, Maret 2009
NANANG PRADIPTA
030803013
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
PENGHARGAAN
Puji syukur penulis tujukan hanya kepada Allah SWT yang senantiasa mencurahkan
nikmat dan kasih sayang-Nya sehingga penulis mampu menyelesaikan skripsi yang
berjudul ”Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier
Berganda Yang Mengandung Multikolinieritas” ini dengan baik. Skripsi ini
sebagai salah satu mata kuliah wajib yang harus diselesaikan oleh seluruh mahasiswa
Fakultas MIPA Departemen Matematika.
Pada kesempatan ini penulis mengucapkan terima kasih kepada : Bapak Dr.
Eddy Marlianto, M.Sc, selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan
Alam, Universitas Sumatera Utara. Bapak Dr. Saib Suwilo, M.Sc, dan Bapak Henry
Rani S, M.Si selaku Ketua dan Sekretaris Departemen Matematika di FMIPA USU
Medan. Bapak Drs. Suwarno Ariswoyo, M.Si selaku dosen pembimbing I dan Drs. H.
Haluddin Panjaitan selaku dosen pembimbing II yang telah memberi dukungan moril,
motivasi dan ilmu pengetahuan bagi penulis dalam menyelesaikan Tugas Akhir II ini.
Seluruh Staf Pengajar dan Pegawai Departemen Matematika, Fakultas Matematika
dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara. Keluarga tercinta, permata
tercintaku Ayahanda Syafi`i Syam dan Ibunda Rida Wardiah yang selalu memberikan
perhatian, dukungan dan motivasi baik moril maupun materil, Istriku tercinta Adinda
Rina Zahara yang senantiasa mencurahkan kasih sayangnya, buah hatiku Mush`ab
Hafizh Al-Bukhori, juga tidak terlupakan kepada mas Ndoyo, mbak Isa, mbak Ita dan
adik-adikku tersayang Sugeng dan Tiwi serta keponakanku Abi dan Dinda.
Serta teman-temanku Mahasiswa Departemen Matematika khususnya stambuk
2003, Budi, Jumiana, Amel, Mardiana yang telah banyak membantu dalam
penyelesaian penulisan skripsi ini dan buat teman-teman di MaTa AIR INDONESIA
terima kasih atas semuanya. Dan semua pihak yang tidak mungkin disebut satupersatu yang ikut membantu secara langsung maupun tidak langsung. Semoga Allah
SWT memberikan balasan atas jasa-jasa mereka yang telah diberikan kepada penulis.
Penulis menyadari masih banyak kekurangan dalam penulisan ini, untuk itu
penulis meminta saran dan kritik yang membangun dari pembaca sekalian.
Akhir kata penulis mengucapkan terima kasih atas perhatiannya, semoga
tulisan ini berguna bagi yang membutuhkan.
Medan,
Penulis,
Maret 2009
Nanang Pradipta
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
ABSTRAK
Metode kuadrat terkecil merupakan suatu metode estimasi parameter regresi yang
paling sederhana untuk regresi linier sederhana maupun regresi linier berganda,
tetapi jika diantara variabel-variabel bebas ditemukan multikolinieritas yang
sempurna antara variable bebasnya maka estimator yang diperoleh dari metode
kuadrat terkecil tidak dapat digunakan. Jika multikolinieritas yang terjadi hampir
sempurna, meskipun metode kuadrat terkecil dapat digunakan tetapi galat yang
dihasilkan akan menjadi besar, variansi dan kovariansi parameternya menjadi besar
pula, padahal nilai estimasi yang diinginkan haruslah memiliki galat dan variansi
yang minimum.
Metode Regresi Ridge merupakan salah satu cara untuk mengatasi masalah
multikolinieritas diantara variable-variabel bebasnya karena memberikan tetapan
bias yang relatif kecil dan memberikan variansi yang minimum. Metode ini
merupakan modifikasi dari metode kuadrat terkecil dengan cara mengalikan tetapan
bias c yang kecil pada diagonal matriks identitas. Sehingga parameter penduganya
menjadi :
−1
βˆ * (c ) = X T X + cI X T Y
(
)
Dengan c adalah sebuah bilangan yang positif atau c ≥ 0 , umumnya c terletak antara
interval 0 < c < 1.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
ABSTRACT
The Ordinary Least Square method is a method of the simplest regression parameter
estimate for simple linear regression and also multiple linear regression, but if the
perfect multicollinearity is found among independent variables between independent
variables hence the obtained estimator from the ordinary least square method can not
be used. If multicollinearity that happened almost perfect, though the ordinary least
square method cam be used but the yielded error will become big, variance and
covariance of its parameter also become big, though the wanted estimate assessment
shall have error and minimum variance.
The Ridge regression method is one of the way to overcome problem of
multicollinearity among independent variables because giving biased constanta which
is relatively small and giving minimum variance. This method is modification of
ordinary least square method by multiplying biased constanta of small deflect c on
diagonal identity matrix. Therefore its parameter becomes :
−1
βˆ * (c ) = X T X + cI X T Y
(
)
With c is a positive number or c ≥ 0 , generally c is located between interval 0 < c < 1.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
DAFTAR ISI
Persetujuan
Pernyataan
Penghargaan
Abstrak
Abstract
Daftar Isi
Daftar Tabel
Daftar Gambar
Halaman
i
ii
iii
iv
v
vi
viii
ix
Bab 1 Pendahuluan
1.1 Latar Belakang
1.2 Perumusan Masalah
1.3 Pembatasan Masalah
1.4 Tinjauan Pustaka
1.5 Tujuan Penelitian
1.6 Kontribusi Penelitian
1.7 Metodologi Penelitian
1
1
3
4
4
5
5
5
Bab 2 Landasan Teori
2.1 Ukuran Pemusatan dan Penyebaran
2.2 Matriks
2.2.1 Definisi
2.2.2 Jenis Matriks
2.2.3 Operasi Matriks
2.3 Nilai Eigen dan Vektor Eigen
2.4 Regresi Linier Berganda
2.5 Penduga Parameter
2.6 Matriks Korelasi
2.7 Multikolinieritas
2.8 Pendeteksian Multikolinieritas
2.9 Pengaruh Multikolinieritas
2.10 Metode Regresi Ridge
2.10.1 Gambaran Umum Regresi Ridge
2.10.2 Gambaran Umum Ridge Trace
2.11 Uji Regresi Linier
2.12 Uji Koefisien Korelasi Ganda
7
7
9
9
11
13
17
18
19
22
23
25
26
27
27
28
28
29
Bab 3 Pembahasan
30
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
3.1 Regresi Ridge
3.2 Ridge Trace
3.3 Pemodelan Regresi Ridge
3.4 Uji Keberartian Regresi
30
31
34
38
Bab 4 Kesimpulan Dan Saran
41
Daftar Pustaka
42
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
DAFTAR TABEL
Tabel 2.1
Tabel 3.1
Tabel 3.2
Tabel 3.3
Tabel 3.4
Tabel 3.5
Kumpulan data untuk n observasi pada k variabel
Tabel barang import dan faktor – faktor yang mempengaruhinya
Estimator Parameter Regresi Kuadrat Terkecil
Tabel Anava Untuk Data Awal
Data Transformasi
Nilai VIF β̂ (c ) Dengan Berbagai Nilai c
Tabel 3.6 Nilai β̂ (c ) Dengan Berbagai Harga c
Tabel 3.7 Anava Ridge
Halaman
7
32
33
33
35
36
37
39
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
DAFTAR GAMBAR
Gambar 3.1 Ridge Trace
Halaman
38
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
BAB 1
PENDAHULUAN
1.1 Latar Belakang
Dalam suatu penelitian banyak hal menarik untuk diamati. Sehingga si peneliti harus
melihat berbagai faktor yang mempengaruhi serta menganalisisnya untuk keperluan
penelitiannya. Terkadang, terlalu banyaknya faktor yang mempengaruhi penelitian
maka dibutuhkan suatu model matematis yang ringkas dan sesuai untuk
menyelesaikan penelitian tersebut. Sebut saja model matematis tersebut adalah model
statistika. Model statistika merupakan suatu model matematis yang meliputi variabel
bebas dan variabel tak bebas dari parameter persamaan yang digunakan untuk
mengetahui bentuk hubungan antara peubah-peubah yang dipakai sebagai keperluan
pendugaan ataupun peramalan. Sehingga untuk keperluan tersebut maka parameterparameter yang terkait harus didefinisikan terlebih dahulu.
Salah satu dari model statistika yang sering digunakan dalam pemecahan suatu
permasalahan adalah model Regresi Linier (Linear Regression). Model regresi linier
merupakan sebuah model yang digunakan untuk menganalisis hubungan antar
variabel. Hubungan tersebut dapat diekspresikan dalam bentuk persamaan yang
menghubungkan variabel terikat Y dengan satu atau lebih variabel bebas X1, X2, ..., Xk .
Jika variabel terikat (Y) hanya dihubungkan dengan satu variabel bebas (X), maka
akan menghasilkan persamaan regresi linier yang sederhana (Simple Linear
Regression). Sedangkan jika variabel bebas (X) yang digunakan lebih dari satu, maka
persamaan regresinya adalah persamaan regresi linier berganda (Multiple Linear
Regression).
Secara umum persamaan regresi linier dengan k variabel bebas dinyatakan
dengan :
Yi = β 0 + β1 X 1i + β 2 X 2i +  + β k X ki + ε i
dengan :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Yi
Xi
= variabel tak bebas / pengamatan ke i pada variabel yang dijelaskan y
= variabel bebas / pengamatan ke i pada variabel penjelas xk
β1 ,, β k = parameter / koefisien regresi variabel penjelas xk
εi
= variabel gangguan / error
β1 ,, β k adalah parameter-parameter yang akan diduga, yang mana dalam
tulisan ini digunakan metode kuadrat terkecil biasa (Ordinary Least Square, OLS)
sebagai penduganya. Penduga dengan MKT akan menghasilkan taksiran yang
diijinkan jika asumsi berikut terpenuhi:
a. Nilai rata-rata kesalahan pengganggu nol, yaitu : E (ε i ) = 0 untuk i =1, 2, , n
b. Var (ε i ) = E (ε i2 ) = σ 2 , adalah konstan untuk semua kesalahan pengganggu
(asumsi homoskedastisitas).
c. Tidak ada korelasi serial (autocorrelation) antara penggangu ε i , berarti
kovarian (ε i ε j ) = 0, i ≠ j
d. Peubah bebas x1 , x2 ,  , xn konstan dalam sampling yang terulang dan bebas
terhadap kesalahan pengganggu ε i .
e. Tidak ada multikoloniaritas diantara peubah bebas.
f.
ε i ≈ N (0, σ 2 ) , artinya kesalahan pengganggu menyebar mengikuti distribusi
normal dengan rata-rata 0 dan variansi σ 2 .
Salah satu asumsi dari model regresi linier klasik diatas adalah bahwa tidak
ada multikolinieritas atau tidak ada hubungan linier (kolinieritas) antara variabelvariabel bebasnya. Jika terdapat multikolinieritas di dalam persamaan regresi tersebut
maka akan mengakibatkan penggunaan OLS dalam mengestimasi parameter/koefisien
regresi akan terganggu. Jika multikolinieritas yang hampir sempurna terjadi, meskipun
metode kuadrat terkecil dapat digunakan tetapi galat yang dihasilkan akan menjadi
besar, variansi dan kovariansi parameter tidak terhingga.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Ada beberapa cara untuk mengatasi masalah ini, diantaranya ialah :
1. Dengan memperbesar ukuran sampel sehingga kovarian diantara parameterparameternya dapat dikurangi. Hal ini disebabkan karena kovariansi berhubungan
terbalik dengan ukuran sampel, tetapi harus diingat bahwa hal ini akan benar jika
interkorelasi yang terjadi hanya didalam sampel dan bukan didalam populasi dari
variabel-variabel. Jika variabel-variabel ini berkolinier dalam populasi maka
prosedur memperbesar ukuran sampel tidak akan mengurangi multikolinieritas
2. Mengeluarkan
suatu
variabel
yang
diketahui
menyebabkan
terjadinya
multikolinieritas, tetapi dalam mengeluarkan suatu variabel dari model, kita
mungkin melakukan bias spesifikasi. Bias spesifikasi timbul dari spesifikasi yang
tidak benar dari model yang digunakan dalam analisis.
3. Metode Regresi Ridge, metode ini pertama kali dikemukakan oleh A.E. Hoerl
pada tahun 1962. Regresi ini merupakan modifikasi dari metode kuadrat terkecil
dengan cara menambah tetapan bias c yang kecil pada diagonal matrik XTX.
Dari beberapa cara mengatasi masalah multikolinieritas diatas, metode Regresi
Ridge merupakan penyelesaian yang paling baik, karena mengingat tujuan Regresi
Ridge untuk memperkecil variansi estimator koefisien regresi.
Berdasarkan latar belakang inilah maka penulis memberi judul tulisan ini yaitu
”Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang
Mengandung Multikolinieritas".
1.2
Perumusan Masalah
Multikolinieritas merupakan salah satu faktor yang menyebabkan persamaan regresi
linier berganda menjadi tidak efektif dan akurat. Multikolinieritas juga mengakibatkan
penggunaan OLS dalam mengestimasi parameter/koefisien regresi akan terganggu.
Jika multikolinieritas yang hampir sempurna terjadi, meskipun metode kuadrat
terkecil dapat digunakan tetapi galat yang dihasilkan akan menjadi besar, variansi dan
kovariansi parameter tidak terhingga. Oleh karena itu, dalam tulisan ini akan dibahas
tentang penggunaan metode Regresi Ridge dalam mengatasi masalah multikolinieritas
yang terdapat dalam suatu persamaan linier berganda, sehingga dapat ditentukan
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
persamaan regresi linier berganda yang terbaik dan tidak memiliki masalah
multikolinieritas.
1.3
Pembatasan Masalah
Agar penyelesaian masalah tidak menyimpang dari pembahasan maka perlu dibuat
suatu pembatasan masalah yaitu dengan menganggap bahwa asumsi klasik yang lain
tetap terpenuhi.
1.4
Tinjauan Pustaka
Djalal Nachrowi et al, (2002) mengatakan prinsip Ordinary Least Square (OLS)
mengatakan bahwa kita perlu menaksir β1 dan β 2 sehingga
∑e
2
i
minimum. Artinya,
kita akan mencari β1 dan β 2 sedemikian sehingga model regresi yang terestimasi
dekat sekali dengan model regresi yang sesungguhnya. Secara matematis, β1 dan β 2
kita pilih sedemikian sehingga bentuk berikut terpenuhi :
Minimum
Supranto, J. (1992)
∑e
2
i
= ∑ (Yi − β1 − β 2 X i )
2
dalam bukunya mengatakan istilah kolinieritas ganda
(Multicolliniearity) merupakan hubungan linier yang sempurna atau eksak diantara
variabel-variabel bebas dalam model regresi. Istilah kolinieritas sendiri berarti
hubungan
linier
tunggal,
sedangkan
kolinieritas
ganda
(multikolinieritas)
menunjukkan adanya lebih dari satu hubungan linier yang sempurna.
Walpole et al, (1986) dalam bukunya mengatakan suatu cara dalam menghadapi
multikolinieritas adalah meninggalkan metode kuadrat terkecil yang biasa dan
menggunakan cara penaksiran yang bias. Dalam menggunakan cara penaksiran yang
bias ini, pada dasarnya kita bersedia menerima sejumlah bias tertentu dalam taksiran
agar variansi penaksir dapat diperkecil. Taksiran bias yang diperoleh disini untuk
koefisien regresi β 0 , β1 ,  , β k dalam model
y = β 0 + β1 x1 + β 2 x 2 +  + β k x k + ε
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
dinyatakan dengan b0* , b1* ,  , bk* dan disebut taksiran regresi Ridge. Taksiran ini
diperoleh melalui pendekatan kuadrat terkecil terkendala yang berdasarkan intuisi
menarik
dengan
meminimumkan
jumlah
kuadrat
galat
dengan
kendala
b *j = ρ j , j = 0, 1,  , k dengan ρ j merupakan tetapan positif yang berhingga.
1.5
Tujuan Penelitian
Masalah multikolinieritas merupakan kondisi buruk yang menyebabkan matrik XTX
hampir singular yang akan mengakibatkan nilai estimasi parameter tidak stabil.
Tujuan dari penelitian ini adalah menggunakan Regresi Ridge untuk mengatasi
masalah
multikolinieritas
antara variabel-variabel
bebas
sehingga diperoleh
persamaan regresi linier berganda yang lebih baik.
1.6
Kontribusi Penelitian
Regresi adalah salah satu metode yang digunakan untuk menaksir suatu peubah tak
bebas dengan memperhatikan faktor-faktor penyebabnya. Dari penulisan ini, penulis
berharap dapat memberikan satu solusi alternatif bagi pengguna analisis regresi linier
dengan masalah multikolinieritas yang terdapat pada data. Sehingga model regresi
tersebut dapat diatasi dan menjadi model regresi yang benar.
1.7
Metodologi Penelitian
Penelitian ini dibuat berdasarkan studi literatur dan mengikuti langkah-langkah
sebagai berikut :
1. Mengumpulkan dan mempelajari pustaka-pustaka yang berkenaan dengan
materi penelitian seperti regresi linier berganda, multikolinieritas, serta metode
Regresi Ridge.
2.
Menyusun hasil langkah pertama dalam tulisan ini dengan :
a. Menerangkan konsep dasar matriks, multikolinieritas dan metode Regresi
Ridge.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
b. Mendeteksi keberadaan multikolinieritas.
c. Menguraikan penyelesaian masalah multikolinieritas dengan metode
Regresi Ridge.
d. Menyelesaikan contoh kasus yang mengandung multikolinieritas dengan
metode Regresi Ridge. Dalam hal ini digunakan software SPSS sebagai
pengelolah data untuk menentukan persamaan regresi linier berganda
dengan menggunakan metode kuadrat terkecil dan software MATLAB
sebagai pendeteksi ada tidaknya multikolinieritas pada persamaan regresi
linier berganda yang telah diperoleh.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
BAB 2
LANDASAN TEORI
2.1 Ukuran Pemusatan dan Penyebaran
Hasil penelitian riset maupun pengamatan baik yang dilakukan khusus ataupun dalam
bentuk laporan, sering diinginkan suatu uraian dan kesimpulan tentang persoalan yang
diteliti. Sebelum kesimpulan dibuat, keterangan atau data yang telah terkumpul itu
terlebih dahulu dipelajari, dianalisis atau diolah, serta berdasarkan pengolahan inilah
baru kesimpulan dibuat.
Statistika
adalah
pengetahuan
yang
berhubungan
dengan
cara-cara
pengumpulan data, pengolahan atau penganalisisan dan penarikan kesimpulan
berdasarkan kumpulan data dan penganalisisan yang dilakukan. Kumpulan data yang
lengkap dan jelas yang ingin dipelajari sifat-sifatnya dinamakan populasi sedangkan
sebagian data yang diambil dari populasi dinamakan sampel, dimana sampel
diharapkan dapat mewakili populasi. Jika k ≥ 1 dari satu populasi maka akan ada k
buah data sampel, akan digunakan notasi Xji untuk mengenali setiap observasi ke-j
pada sampel atau variabel-variabel ke-i. Misalkan n observasi pada k variabel dapat
dibentuk sebagai berikut :
Tabel 2.1 Kumpulan data untuk n observasi pada k variabel
No. Observasi
1
2
3
1
X11
X21
X31
2
X12
X22
X32
Variabel
3
X13
X23
X33
...
...
...
...
k
X1k
X2k
X3k
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
.
.
.
n
.
.
.
Xn1
.
.
.
Xn2
.
.
.
Xn3
...
...
...
...
.
.
.
Xnk
Kalau dalam bentuk matriks X didefinisikan sebagai berikut :
 X 11
X
X =  21
 

 X n1
X 12
X 22
X n2
X 1k 
 X 2 k 


 X nk 

Jika observasi sebuah sampel sebesar n, maka rata-rata sampel ke-j yang
merupakan ukuran pemusatan didefinisikan sebagai berikut :
Xj =
1
∑ X ji
n
; j = 1,2,3, ... , k dan i = 1,2,3, ... , n
(2.1)
dengan n > k
Variansi sampel merupakan ukuran penyebaran didefinisikan sebagai berikut :
S 2j =
1
(X ji − X j )2 ;
∑
n −1
j = 1,2,3, ... , k
(2.2)
S 2j = S jj = variansi sampel ke-j
Variansi sampel yang menunjukkan tingkat hubungan antara dua sampel yang
didefinisikan sebagai berikut:
S jh = Cov (X j X h ) =
1 n
∑ (X ji − X j )(X hi − X h )
n − 1 i =1
(2.3)
dengan j = 1,2,3, ... , k dan h = 1,2,3, ... , k
Sjh = kovariansi antara Xj dan Xh
Koefisien korelasi merupakan ukuran variansi khusus antara dua variabel yang
tidak bergantung pada suatu unit pengukuran antara dua variabel di definisikan
sebagai berikut :
rxjxh =
S jh
S jj S hh
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
∑ (X
n
=
i =1
∑ (X
− X j )( X hi − X h )
2
n
i =1
ji
ji
− X j)
(2.4)
∑ (X
n
i =1
− Xh)
2
hi
dengan rX j X h = koefisien korelasi antara Xj dan Xh
Kumpulan dasar pemusatan dan penyebaran dalam bentuk matriks adalah :
 x1 
x 
Rata-rata sampel X =  2 

 
 xk 
Variansi dan Kovariansi = Sk =
1
r
Korelasi sampel C =  21


rk1
r12
1
rk 2
 S11
S
 21
 

 S k1
S12
S 22
Sk 2
 S1k 
 S 2 k 


 S kk 
 r1k 
 r2 k 


 1
2.2 Matriks
2.2.1 Definisi
Matrik adalah suatu kumpulan angka – angka yang juga sering disebut elemen-elemen
yang disusun secara teratur menurut baris dan kolom sehingga berbentuk persegi
panjang, dimana panjang dan lebarnya ditunjukkan oleh banyaknya kolom dan baris
serta dibatasi dengan tanda “ [ ] “ atau “ ( ) “.
Sebuah matriks dinotasikan dengan simbol huruf besar seperti A, X, atau Z.
Contoh :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
a12
a
A2×3 =  11
a21 a22
a13 
a23 
disebut matriks A dengan 2 baris dan 3 kolom. Jika A sebuah matriks, kita gunakan
untuk menyatakan elemen yang terdapat didalam baris i dan kolom j dari A. Dalam
contoh ini i = 1, 2 dan j = 1, 2, 3 atau dapat ditulis :
[ ]
A = aij
i = 1, 2
j = 1, 2, 3
Sebuah matriks yang berukuran m baris dan n kolom dengan aij dapat ditulis
sebagai berikut :
Am×n
 a11
a
=  21
 

am1
a12
a22

am 2
 a1n 
 a2 n 
  

 amn 
Atau juga dapat ditulis :
[ ]
A = aij
i = 1, 2,, m;
j = 1, 2,, n
Skalar
Suatu skalar adalah besaran yang hanya memiliki nilai tetapi tidak memiliki arah.
Vektor Baris
[ ]
A = aij
mxn
disebut vektor baris ⇔ m = 1
Contoh : X 1x 4 = [4 7 2 5]
Vektor Kolom
[ ]
A = aij
mxn
disebut vektor kolom ⇔ n = 1
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
5 
 2
Contoh dari vektor kolom : X 4 x1 =  
 3
 
1 
Kombinasi linier
Vektor w merupakan kombinasi linier dari vektor-vektor v1 , v2 ,  , vn jika terdapat
skalar k1, k2, ... , kn sehingga berlaku :
w = k1v1 + k 2 v 2 +  + k n v n ,
(2.5)
Jika vektor w = 0 maka disebut persamaan homogen dan v1 , v2 ,  , vn disebut
vektor yang bebas linier, yang mengakibatkan k1 = k2 = ... = kn = 0, tetapi jika ada
bilangan k1, k2, ..., kn
yang tidak
semuanya sama dengan
nol,
maka
v1 , v2 ,  , vn disebut vektor yang bergantung linier.
2.2.2 Jenis-jenis Matriks
Matriks Kuadrat
Matriks kuadrat adalah matriks yang memiliki baris dan kolom yang sama banyak.
Dalam suatu matriks kuadrat, elemen – elemen a11 , a22 ,  , ann disebut elemen
diagonal utama. Jumlah elemen – elemen diagonal utama suatu matriks kuadrat A
n
disebut trace A ditulis tr (A). tr ( A) = ∑ aij , (i = j )
i =1
Contoh :
An×n
 a11
a
=  21
 

an1
a12
a22

an 2
 a1n 
 a2 n 
  

 ann 
tr ( A) = a11 + a22 +  + ann .
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Matriks Diagonal
Matriks kuadrat A = [aij ] dinamakan matriks diagonal jika semua elemen diluar
diagonal utama adalah nol, aij = 0 untuk i ≠ j.
Contoh :
 2 0 0
5 0 
, dan A = 0 − 5 0 merupakan matriks diagonal.
A=



0 6 
0 0 3
Matriks Simetris
[ ]
Suatu matriks kuadrat A = aij ; i, j = 1, 2,  , n disebut matriks simetris jika elemen
dibawah diagonal utama merupakan cermin dari elemen diatas diagonal utama.
Matriks simetri jika AT = A artinya aij = a ji .
Contoh :
1 0 4 
A = 0 2 6
4 6 3
Matriks Identitas
Matriks A disebut matriks identitas dan biasa diberi simbol I.
[ ]
A = aij = I
⇔ m = n dan untuk
aij = 1 → i = j
aij = 0 → i ≠ j
Contoh : I 3x 3
1 0 0
= 0 1 0
0 0 1
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Matriks Nol
Matriks Nol adalah suatu matrik dengan semua elemennya mempunyai nilai nol.
Biasanya diberi simbol 0, dibaca matriks nol.
Matriks Elementer
Suatu matriks nxn dikatakan matriks elementer jika matriks tersebut dapat diperoleh
dari matriks identitas n x n yakni I n dengan melakukan operasi baris elementer
tunggal.
Matriks Segitiga
[ ]
Matriks L = aij
suatu matriks bujur sangkar dikatakan segitiga bawah (lower
[ ]
triangular) jika aij = 0 untuk i < j dan matriks U = aij
suatu matriks bujur sangkar
dikatakan segitiga atas (upper triangular) jika aij = 0 untuk i > j .
Contoh :
5
− 1
Segitiga bawah L = 
2

3
0
2
5
5
0
0
3
4
0
− 1

0
0
, Segitiga atas U = 
0
0


1
0
2
1
0
0
3
2
2
0
5
3
6

3
2.2.3 Operasi Matriks
Perkalian Matriks dengan skalar
Jika A = [aij ] adalah matriks mxn dan r adalah suatu skalar, maka hasil kali A dengan r
[ ]
adalah B = bij matriks mxn dengan bij = raij
(1 ≤ i ≤ m,1 ≤
j ≤ n)
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
 4 5
Contoh : A = 
 dengan diberikan r = 5 maka
2 3
4 5 20 25
5A = 5
=

2 3 10 15 
Perkalian Matriks dengan Matriks
Jika A = [aij ] adalah matriks mxp dan B = [bij ] adalah matriks pxn maka hasil kali
dari matriks A dan matriks B yang ditulis dengan AB adalah C matriks mxn. Secara
matematik dapat ditulis sebagai berikut :
cij = ai1b1 j + ai 2b2 j +  + aip b pj
p
= ∑ aik bkj
(1 ≤ i ≤ m, 1 ≤
j ≤ n)
(2.6)
k =1
Penjumlahan Matriks
Jika A = [aij ] adalah matriks mxn dan B = [bij ] adalah matriks mxn maka penjumlahan
matriks dari matriks A dan matriks B yang ditulis dengan
[ ]
C = cij
dengan
cij = aij + bij (i = 1, 2,  , m; j = 1, 2,  , n) .
Pengurangan Matriks
[ ]
[ ]
Jika A = aij adalah matriks mxn dan B = bij
adalah matriks mxn maka pengurangan
matriks dari matriks A dan matriks B yang ditulis dengan
[ ]
C = cij
dengan
cij = aij − bij (i = 1, 2,  , m; j = 1, 2,  , n) .
Transpose suatu matriks
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
[ ]
Jika A = aij
aijt = a ji
matriks
(1 ≤ i ≤ m, 1 ≤
mxn
maka
matriks
nxm
[ ]
dengan AT = aijt dan
j ≤ n ) disebut dengan transpose dari matriks A.
Contoh:
A3 x 2
 2 3
= 1 5
6 2
2 1 6
A2Tx 3 = 

 3 5 2
Matriks mxn yang umum dapat ditulis :
Amxn
 a11
 ⋅

= ⋅

 ⋅
am1
⋅
⋅
⋅
⋅
⋅
a1n 
⋅ 
⋅ =

⋅ 
amn 
 a11
 ⋅

= ⋅

 ⋅
an1
⋅
⋅
⋅
[a ]
ij
i = 1, 2,  , m
j = 1, 2,  , n
Maka
T
Amxn
= Anxm
⋅
⋅
⋅
⋅
a1m 
⋅ 
⋅ =

⋅ 
anm 
[a ]
ji
i = 1, 2,  , m
j = 1, 2,  , n
Invers Matriks
Misalkan A matriks nxn disebut nonsingular (invertible) jika terdapat matriks B maka
AB = BA = I n
(2.7)
matriks B disebut invers dari A. Jika tidak terdapat matriks B maka matriks A disebut
singular (noninvertible).
Secara umum invers matriks A adalah :
A −1 =
1
Adj ( A)
det ( A)
Adjoint matriks A adalah suatu matriks yang elemen-elemennya terdiri dari
semua elemen-elemen kofaktor matriks A, dengan Ki j adalah kofaktor elemen-elemen
aij , i, j = 1, 2, , n . Sehingga dapat ditulis dalam bentuk matriks sebagai berikut :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
 K11
K
adj A =  21
 

 K1n
K 21  K n1 
K 22  K n 2 

 

K 2 n  K nn 
Sifat – sifat invers :
a. Jika A adalah matriks non singular, maka A−1 adalah nonsingular dan
(A )
−1 −1
=A
b. Jika A dan B adalah matriks non singular, maka AB adalah nonsingular dan
( AB )−1 = B −1 A−1
c. Jika A adalah matriks non singular maka
(A ) = (A )
T −1
−1
Determinan Matriks
[ ]
Misalkan A = aij
adalah matriks nxn. Fungsi determinan dari A ditulis dengan det
(A) atau A . Secara matematikanya ditulis dengan :
det ( A) = A = ∑ (±) a1 j1 a2 j2  anjn
dengan
j1 , j2 ,  , jn
merupakan himpunan
S = {1, 2,  , n}.
Teorema
[ ]
Jika A = aij
adalah matriks nxn yang mengandung sebaris bilangan nol, maka
A = 0.
1 2 3 
Contoh : A = 2 1 4 → A = 0


0 0 0
Teorema
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Jika A adalah matriks segitiga n x n, maka A adalah hasil kali elemen-elemen pada
diagonal utama, yaitu A = a11a22  ann .
Contoh : A4 x 4
2
0
=
0

0
8 5 − 8
4 6
2 
maka A = (2 )(4 )(− 5)(3) = −120
0 −5 5 

0 0
3
Teorema
Jika A adalah sebarang matriks kuadrat, maka A = AT .
Terorema
Jika A dan B adalah matriks kuadrat yang ordonya sama, maka AB = A B .
3 1
Contoh : A2 x 2 = 

2 1
− 1 3
B2 x 2 = 

 5 8
( AB )2 x 2 = 
2 17 

3 14
A B = (1)(− 23) = −23
AB = −23
Sehingga det (AB) = det (A) det (B)
2.3 Nilai Eigen dan Vektor Eigen
Jika A adalah matriks nxn, maka vektor tak nol X di dalam Rn dinamakan vektor eigen
(eigenvektor) dari A jika AX adalah kelipatan skalar dari X; yakni,
AX = λX
(2.8)
untuk suatu sakalar λ . Skalar λ dinamakan nilai eigen (eigenvalue) dari A dan X
dikatakan vektor eigen yang bersesuaian dengan λ .
Untuk mencari nilai eigen matriks A yang berukuran nxn :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Anxn
 a11
 ⋅

= ⋅

 ⋅
an1
⋅
⋅
⋅
⋅
⋅
a1n 
⋅ 
⋅ ,

⋅ 
ann 
⋅
AX = λX ,
I nxn
1
0

= 0

0
0
0 0  0
1 0  0
0 1  0 ,

0 0  
0 0  1
 x1 
x 
X =  2

 
 xn 
X ≠0
AX = λIX
λIX − AX = 0
(λI − A) X = 0
X ≠ 0 → λI − A = 0
untuk memperoleh nilai λ .
λI − A = 0
λ − a11
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
⋅
− a n1
− a n1
⋅
=0
⋅
⋅
λ − a nn
f (λ ) = a0 λn + a1λn−1 +  + an−1λ + an = 0
n buah akar λ1 , λ2 ,  , λn
(2.9)
Jika eigen value λn disubsitusi pada persamaan (λI − A) X = 0 , maka solusi
dari eigen vektor Xn adalah (λ n I − A) X n = 0 .
Definisi :
Misalkan A = [aij ] matriks nxn. Determinan
λ − a11
 −a
21
f (λ ) = det (λI n − A) = 
 

 − a n1
− a12  − a1n 
λ − a 22  − a 2 n 


 

− a n 2  λ − a nn 
Dikatakan karakteristik polinom dari A. Persamaan
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
f (λ ) = det (λI n − A) = 0
Dikatakan persamaan karakteristik dari A.
Matriks kuadrat A dinamakan dapat didiagonalisasikan (diagonalizable) jika terdapat
matriks P yang dapat dibalik sehingga P-1AP diagonal, matriks P dikatakan
mendiagonalisasi A.
Teorema : Jika A adalah matriks nxn, maka pernyataan – pernyataan berikut ekivalen
satu sama lain.
1. A dapat didiagonalisasi
2. A mempunyai n buah vektor eigen bebas linier
2.4
Regresi Linier Berganda
Beberapa permasalahan regresi dapat mencakup lebih dari satu variabel bebas. Modelmodel regresi yang menggunakan lebih dari satu variabel bebas disebut model regresi
linier berganda. Regresi linier berganda merupakan salah satu teknik statistika yang
digunakan secara luas. Bentuk umum dari regresi linier berganda adalah :
Yi = β 0 + β1 X 1i + β 2 X 2i +  + β k X ki + ε i
Model ini menggambarkan sebuah bidang banyak dalam ruang k pada tingkat
variabel-variabel bebas {X i }
Dalam melakukan analisis regresi linier berganda, sering dijumpai masalah
multikolinieritas pada peubah-peubah bebasnya (X). Akibat adanya pelanggaran
terhadap salah satu asumsi yang disyaratkan pada penggunaan regresi linier tersebut,
maka tentu mempengaruhi terhadap sifat-sifat penduga atau penaksir koefisien regresi
linier gandanya. Adapun asumsi-asumsi yang mendasari analisis regresi berganda
tersebut antara lain :
g. Nilai rata-rata kesalahan pengganggu nol, yaitu : E (ε i ) = 0 untuk i =1, 2, , n
h. Var (ε i ) = E (ε i2 ) = σ 2 , adalah konstan untuk semua kesalahan pengganggu
(asumsi homoskedastisitas).
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Tidak ada korelasi serial (autocorrelation) antara penggangu ε i , berarti
i.
kovarian (ε i ε j ) = 0, i ≠ j
Peubah bebas x1 , x2 ,  , xn konstan dalam sampling yang terulang dan bebas
j.
terhadap kesalahan pengganggu ε i .
k. Tidak ada multikoloniaritas diantara peubah bebas.
ε i ≈ N (0, σ 2 ) , artinya kesalahan pengganggu menyebar mengikuti distribusi
l.
normal dengan rata-rata 0 dan variansi σ 2 .
Pengabaian multikolinieritas dalam analisis regresi akan mengakibatkan
penduga koefisien regresi linier ganda relatif tidak stabil atau kurang tepat. Salah satu
metode yang dapat digunakan mengatasi masalah multikolinieritas adalah dengan
metode Regresi Ridge.
2.5
Penduga Parameter
Metode Kuadrat Terkecil
Metode kuadrat terkecil (Ordinary Least Square, OLS) merupakan salah satu metode
untuk
mengestimasi
parameter
pada
regresi
linier.
Tujuan
OLS
adalah
meminimumkan jumlah kuadrat dari kesalahan (error sum of square). Misalkan model
yang akan diestimasi adalah parameter dari persamaan dengan :
Yi = β 0 + β1 X 1i + β 2 X 2i +  + β k X ki + ε i
(2.10)
Penjabaran dari persamaan adalah :
y1 = β 0 + β1 X 11 + β 2 X 12 +  + β k X 1k + ε 1
y2 = β 0 + β1 X 21 + β 2 X 22 +  + β k X 2 k + ε 2

yn = β 0 + β1 X n1 + β 2 X n 2 +  + β k X nk + ε n
Persamaan-persamaan diatas dapat ditulis dengan menggunakan persamaan
matriks yaitu :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Y = Xβ + ε
(2.11)
Dengan
 y1 
y 
Y =  2

 
 yn 
1 X 11
1 X
21
X=



1 X n1
X 12  X 1k 
X 22  X 2 k 
   

X n 2  X nk 
β0 
β 
β =  1
 
 
β k 
ε1 
ε 
ε =  2

 
ε n 
Untuk mendapatkan penaksir-penaksir OLS bagi β , maka dengan asumsi
klasik ditentukan dua vektor ( β̂ dan e ) sebagai :
 βˆ1 
ˆ 
β
ˆ
β =  2

 
ˆ
 β k 
 e1 
e 
e =  2

 
en 
Persamaan hasil estimasi dari persamaan (2.1.1) dapat ditulis sebagai :
Y = Xβ̂ + e
e = Y − Xβ̂
atau
(2.12)
Karena tujuan OLS adalah meminimumkan jumlah kuadrat dari kesalahan, yaitu
k
∑e
i =1
2
i
= minimum
maka :
k
∑e
i =1
2
i
= e12 + e22 +  + ek2
= [e1
e2
 e1 
e 
 ek ]  2  = e T e

 
ek 
(2.13)
jadi :
k
∑e
i =1
2
i
= eT e
(
= Y − Xβˆ
) (Y − Xβˆ )
T
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
= Y T Y − βˆ T X T Y − Y T Xβˆ + βˆ T X T Xβˆ
Oleh karena β̂ T X T Y adalah skalar, maka matriks transposenya adalah :
(βˆ
T
X TY
)
T
= Y T Xβˆ
jadi,
eT e = Y T Y − 2 βˆ T X T Y + βˆ T X T Xβˆ
(2.14)
Untuk menaksir parameter β̂ maka eT e harus diminimumkan terhadap β̂ T , maka :
k
∑e
i =1
2
i
= Y T Y − 2 βˆ T X T Y + βˆ T X T Xβˆ
∂  k 2
 ∑ ei  = Y T Y − 2 βˆ T X T Y + βˆ T X T Xβˆ = 0
T
ˆ
∂β  i =1 
= −2 X T Y + 2 X T Xβˆ = 0
Atau
X T Xβ̂ = X T Y
−1
βˆ = (X T X ) X T Y dengan ketentuan det (X T X ) ≠ 0
(2.15)
Penduga β̂ merupakan penduga tak bias linier terbaik atau efisien bagi β
yaitu :
1. β̂ adalah penduga tak bias bagi β
Akan ditunjukkan bahwa β̂ adalah penaksir linier tak bias dari β . Dari persamaan
(2.11) diketahui :
−1
βˆ = (X T X ) X T Y
( ) X ( Xβ + ε )
= (X X ) X Xβ + (X X )
= β + (X X ) X ε
= XTX
T
(
Dengan X T X
)
−1
−1
T
−1
T
T
−1
T
T
−1
X Tε
(2.16)
XTX = I
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
( ) [(
E βˆ = E X T X
) (X Y )]
−1
( )
= (X X )
= (X X )
T
−1
X T E (Y )
T
−1
X T ( Xβ )
T
−1
X T Xβ
= XTX
= Iβ
=β
() ( )σ
Cov (βˆ ) = E ((βˆ − E (βˆ ))(βˆ − E (βˆ ))) 


2. Kovarian βˆ = X T X
−1
2
T
(
((
(
)(
)
(
= E β + X T X X Tε − β β + X T X

T
−1
−1
= E X T X X Tε X T X X Tε 


[(
( )
= (X X )
T
2.6
)((
)
= E XTX
= XTX
−1
−1
−1
)
−1
)
( )]
X (X X ) E (ε ε )
X T εε T X X T X
XT
T
−1
)
) (X )ε − β ) 
−1
T
T

−1
T
σ2
Matriks Korelasi
Misalkan kita ingin mengestimasi parameter dalam model :
Yi = β 0 + β1 X i1 + β 2 X i 2 +  + β k X ik + ε i
i = 1, 2, ... , n
Kita dapat menuliskan kembali model ini dengan sebuah perubahan intercept
β 0* sebagai :
Yi = β 0 * + β1 ( X i1 − X 1 ) + β 2 ( X i 2 − X 2 ) +  + β k ( X ik − X k ) + ε i
Atau karena β 0* = Y
= Yi − Y = β1 ( X i1 − X 1 ) + β 2 ( X i 2 − X 2 ) +  + β k ( X ik − X k ) + ε i
Matriks XTX untuk model ini adalah :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
 S11
S
T
X X =  21
 

 S k1
S12
S 22

Sk 2
 S1k 
 S 2 k 
  

 S kk 
Dimana S kj = ∑ ( xik − xk )(xij − x j )
n
i =1
Maka bentuk korelasi matriks XTX adalah :
1
r
 21
C = R = r31


rk1
Dimana rkj =
(S
S kj
kk S jj )
1
2
r12
1
r32

rk 2
r13  r1k 
r23  r2 k 
1  r3k 

   
rk 3  1 
k, j = 1, 2, ... , n dan r11 = r12 =  = rkk = 1
Transformasi ini dihasilkan dalam sebuah variabel regresi yaitu :
yi * = b1 Z i1 + b2 Z i 2 +  + bk Z ik + ε i*
Dengan variabel-variabel barunya adalah :
yi* =
Z =
*
ij
yi − y
(n − 1)S yy
xi − x
(2.17)
(n − 1)S jj
Hubungan parameter β̂1 dan β̂ 2 dalam model baru dengan parameter β 0 , β1 , β 2 dalam
model semula adalah :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
 Sy 

 S11 
β1 = βˆ1 
 Sy 

 S 22 
β 2 = βˆ2 

(2.18)
 Sy
 S kk



β 0 = y − β1 x1 − β 2 x2 −  − β k xk
β k = βˆk 
n
n
Sy =
2.7
2
∑ ( yi − y )
i =1
n −1
dan S kk =
∑ (x
i =1
i
− x)
2
n −1
Multikolinieritas
Istilah multikolinieritas mula-mula ditemukan oleh Ragnar Frisch pada tahun 1934
yang berarti adanya hubungan linier antar sesama variabel bebas Xi. Maksud dari
adanya hubungan linier antara variabel bebas Xi adalah sebagai berikut : misalkan
terdapat dua variabel bebas X1 dan X2. Jika X1 dapat dinyatakan sebagai fungsi linier
dari X2 atau sebaliknya, maka dikatakan bahwa ada hubungan linier antara X1 dan X2.
Misalkan secara substansi diketahui bahwa total pendapatan (X1) adalah penjumlahan
pendapatan dari upah (X2) dan pendapatan bukan dari upah (X3), hubungannya adalah
X1=X2 + X3. Bila model ini diestimasi dengan OLS, maka β1 tidak dapat diperoleh
[
karena X T X
]
−1
tidak dapat dicari, kejadian inilah yang dinamakan multikolinieritas
sempurna.
Dalam hal lain, misalkan :
Konsumsi = β1 + β 2 pendapatan + β 3 kekayaan + ε
Ada hubungan positif antara kekayaan dan pendapatan, dalam arti seseorang
yang kaya cenderung berpendapatan tinggi. Jika model ini di estimasi dengan OLS, β
dapat ditentukan, tetapi variansi yang dihasilkan besar yang mengakibatkan galatnya
besar dan interval kepercayaannya semakin besar, sehingga β kurang tepat.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Disimpulkanlah terjadi multikolinieritas yang hampir sempurna. Permasalahan ini
membawa dampak yang tidak baik bagi model.
Pada analisis regresi, multikolinieritas dikatakan ada apabila bebarapa kondisi
berikut dipenuhi:
a. Dua variabel berkorelasi sempurna (oleh karena itu vektor-vektor yang
menggambarkan variabel tersebut adalah kolinier)..
b. Dua variabel bebas hampir berkorelasi sempurna yaitu koefisien korelasinya
mendekati ± 1 .
c. Kombinasi linier dari beberapa variabel bebas berkorelasi sempurna atau
mendekati sempurna dengan variabel bebas yang lain.
d. Kombinasi linier dari satu sub-himpunan variabel bebas berkorelasi sempurna
dengan suatu kombinasi linier dari sub-himpunan variabel bebas yang lain.
2.8
Pendeteksian Multikolinieritas
Ada beberapa cara untuk mengetahui ada tidaknya multikolinieritas diantaranya
adalah :
a. Faktor Variansi Inflasi
Adalah merupakan elemen diagonal utama dari invers matriks korelasi. Faktor
variansi inflasi yang kecil, maka multikolinieritas lebih sederhana. Faktor
inflasi yang melebihi 10 maka multikolinieritas di katakan ada.
b. Nilai Determinan
Nilai determinan terletak antara 0 dan 1. Bila nilai determinan satu, kolom
matriks X adalah ortogonal (seregresi) dan bila nilainya 0 disana ada sebuah
ketergantungan linier yang nyata antara kolom X. Nilai yang lebih kecil
determinannya maka tingkat multikolinieritasnya lebih besar.
c. Kadang – kadang pemeriksaan masing – masing elemen matriks korelasi
dapat menolong dalam mendapatkan multikolinieritas. Jika elemen
[r ]
ij
mendekati satu, maka Xi dan Xj mungkin benar – benar ada masalah
multikolinieritas. Karena bila lebih dari dua variabel bebas yang dicakup
dalam sebuah multikolinieritas tidak selalu memungkinkan kita untuk
mendapatkan keberadaan multikolinieritas.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
d. Jika pengujian F untuk regresi adalah nyata tetapi pengujian pada koefisien
regresi secara individu tidak nyata, maka multikolinieritas mungkin menjadi
ada.
2.9
Pengaruh Multikolinieritas
Multikolinieritas berpengaruh terhadap estimasi kuadrat terkecil dari koefisien regresi.
Akan
diperlihatkan
(βˆ , βˆ ),
j
h
bagaimana β̂ ,
Variansi
(β̂ ) dan
j
kovariansi
j , h = 1, 2,  , k . jika ada multikolinieritas. Misalkan ada dua variabel
bebas (X1,X2) dan Y variabel terikat sehingga model Y = β1 X 1 + β 2 X 2 + ε Persamaan
normal dengan kuadrat terkecil adalah (X T X )β̂ = X T Y
1
XTX = 
r21
[
Diperoleh X T X
]
−1
r12 
1 
 1
1 − r 2
12
=
r
−
 12
1 − r122
 r1 y 
X TY =  
r2 y 
− r12 
1 − r122 

1 
1 − r122 
[
Elemen diagonal utama dari matriks X T X
]
−1
adalah merupakan faktor variansi inflasi
(VIF), yaitu :
C jj =
1
1 − R 2j
j = 1, 2,  , k
Dengan R 2j adalah koefisien determinansi dari regresi Xj
r12 = rX1 X 2 = Korelasi antara X1 dan X2
rX jY = Korelasi antara Xj dan Y
1
r
 21
βˆ1 =
r12   βˆ1   r1 y 
 = 
1   βˆ 2  r2 y 
r1 y − r12 r2 y
(1 − r )
2
12
βˆ 2 =
r2 y − r12 r1 y
(1 − r )
2
12
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Jika ada multikolinieritas antara x1 dan x2 yang sangat erat dan r12 → 1 .
Variansi
( )
dan
kovariansi
koefisien
regresi
(
menjadi
sangat
besar
karena
)
V βˆ j = C jj r2 → ∞ seperti r12 → 1 , galat Cov βˆ1 , βˆ 2 = C12δ 2 → ±∞ , variansi yang
besar untuk β̂ j menyatakan bahwa koefisien regresi adalah perkiraan yang sangat
lemah.
Pengaruh
multikolinieritas
adalah
untuk
memperkenalkan
sebuah
ketergantungan linier yang dekat dalam kolom matriks. Selanjutnya jika kita
mengasumsikan X 1T Y → X 2T Y , seperti r12 → 1 , perkiraan koefisien regresi menjadi
sama besarnya, tetapi berlawanan tanda, yaitu βˆ1 = − βˆ2 .
Masalah yang sama terjadi bila masalah multikolinieritas disajikan dan ada
[
lebih dari dua variabel bebas. Umumnya elemen diagonal matriks C = X T X
]
−1
dapat
ditulis sebagai berikut :
C jj =
1
1 − R 2j
R 2j dihasilkan dari meregresikan X j pada variabel bebas lainnya. Kita katakan bahwa
(
)
β̂ j
ini
variansi dari β̂ j “Di-inflated” dengan 1 − R 2j
−1
. Konsekuensinya kita biasa menyebut
:
( )
VIF βˆ j =
Faktor
Variansi
Inflasi
1
1 − R 2j
untuk
adalah
ukuran
penting
perkiraan
Multikolinieritas.
2.10 Metode Regresi Ridge
2.10.1 Gambaran Umum Regresi Ridge
Regresi Ridge bertujuan untuk mengatasi multikolinieritas yang terdapat dalam
regresi linier berganda yang mengakibatkan matriks XTX - nya hampir singular yang
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
pada gilirannya menghasilkan nilai estimasi parameter yang tidak stabil. Dalam
bentuknya yang sederhana adalah sebagi berikut :
−1
βˆ (c ) = (X T X + cI ) X T Y
Dimana c adalah sebuah bilangan yang positif atau c ≥ 0 , umumnya c terletak antara
interval 0 < c < 1.
Umumnya sifat dari penafsiran ridge ini memiliki variansi yang minimum
sehingga diperoleh nilai VIF-nya yang merupakan diagonal utama dai matriks :
(X
T
X + cI
)
−1
(
X T X X T X + cI
)
−1
2.10.2 Gambaran Umum Ridge Trace
Ridge Trace adalah plot dari estimator regresi ridge secara bersama dengan berbagai
kemungkinan tetapan bias c, konstanta c mencerminkan jumlah bias dalam estimator
βˆ (c ). Bila c = 0 maka estimator β̂ (c ) akan bernilai sama dengan kuadrat terkecil β ,
tetapi cenderung lebih stabil dari pada estimator kuadrat terkecil.
Pemilihan tetapan bias c merupakan masalah yang perlu diperhatikan. Tetapan
bias yang diinginkan adalah tetapan bias yang menghasilkan bias relatif kecil dan
menghasilkan koefisien yang relatif stabil.
2.11 Uji Regresi Linier
Setelah model yang baik diperoleh kemudian model itu akan diperiksa. Pemeriksaan
ini ditempuh melalui hipotesis. Untuk mengujinya diperlukan dua macam jumlah
kuadrat sisa (JKS) yang dapat dihitung dengan rumus :
( )
JKR = βˆ T x T y − ny 2
( )
JKS = y T y − β̂ T x T y
(2.19)
JKT = JKR + JKS
Dengan JKT : jumlah kuadrat total.
Dengan JKR derajat kebebasannya sebanyak k dan (n-k-1)
untuk derajat
kebebasan JKS.
F statistiknya dapat dicari dengan rumus :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Fhitung =
JKR / k
JKS /(n − k − 1)
(2.20)
F statistik inilah yang dipakai untuk menguji kelinieran suatu regresi. Jika
Fhitung > FTab dengan (taraf signifikan yang dipilih) maka dapat disimpulkan bahwa
regresi linier.
2.12 Uji Koefisien Korelasi Ganda
Koefisien korelasi ganda yang disimbolkan dengan refraksi dihitung dengan rumus :
R2 =
JKR
JKT
(2.21)
Jadi statistik yang digunakan untuk menguji hipotesa nol adalah :
F=
R2 / k
1 − R 2 / (n − k − 1)
(
)
(2.22)
Tolak hipotesa nol bahwa koefisien korelasi berarti jika Fhitung > FTab dalam hal ini
hipotesa bahwa koefisien korelasi ganda berarti harus diterima.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
BAB 3
PEMBAHASAN
3.1 Regresi Ridge
Regresi Ridge merupakan salah satu metode yang digunakan untuk mengatasi masalah
multikolinieritas melalui modifikasi terhadap metode kuadrat terkecil. Modifikasi
tersebut ditempuh dengan cara menambah tetapan bias c yang relatif kecil pada
diagonal utama matriks XTX, sehingga koefisien estimator Ridge dipenuhi dengan
besarnya tetapan bias c.
Estimator regresi ridge diperoleh dengan meminimumkan jumlah kuadrat galat
untuk model :
Y = βX + ε
k
Dengan syarat memenuhi kendala tunggal
∑ βˆ
j =1
2
j
=ρ
Dari persamaan (2.10)
()
2
ε T ε = Y T Y − 2 X T Yβˆ + X T X βˆ + cI
(∑ βˆ
2
j
−ρ
)
dengan menggunakan syarat minimum persamaan diatas didiferensialkan terhadap
β̂ dan estimasi regresi Ridge diperoleh sebagai berikut :
δε T ε
= −2 X T Y − 2 X T Xβˆ + 2cIβˆ = 0
ˆ
δβ
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
X T Xβˆ + cIβˆ = X T Y
(X
)
X + cI β̂ = X T Y
T
−1
βˆ * (c ) = (X T X + cI ) X T Y
Sifat dari estimator Ridge adalah :
1. Bias
( ) (
)
= (X X + cI )
E βˆ (c ) = X T X + cI
−1
−1
T
X T Y dengan Y = Xβ̂
X T Xβ̂
2. Variansi Minimum
[ ] (
)
(
)
Var β̂ (c ) = X T X + cI
= X T X + cI
−1
−1
X Tσ 2
(
= σ 2 X T X + cI
Sehingga
(X
T
X + cI
nilai
)
−1
VIF
(
X T X X T X + cI
[(
) ]
IX (X X + cI )
X (X X + cI )
X T ∑ X T X + cI X T
)
−1
XT
merupakan
)
−1
T
−1
T
−1
T
diagonal
utama
dari
matriks
.
3.2 Ridge Trace
Ridge Trace merupakan plot dari estimator regresi Ridge secara bersama dengan
berbagai kemungkinan nilai tetapan bias c. Konstanta c mencerminkan jumlah bias
dalam estimator β̂ (c ) . Bila c = 0 maka estimator β̂ (c ) akan bernilai sama dengan
estimator kuadrat terkecil β . Bila c > 0, koefisien estimator Ridge akan bias terhadap
parameter β , tetapi cenderung lebih stabil dari pada estimator kuadrat terkecil.
Umumnya nilai c terletak pada inverval 0<c<1.
Pemilihan besarnya tetapan bias c merupakan masalah yang perlu
diperhatikan. Tetapan bias yang diinginkan adalah tetapan bias yang menghasilkan
relatif kecil dan menghasilkan koefisien estimator yang relatif stabil.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Suatu acuan yang digunakan untuk memilih besarnya c, dengan melihat
besarnya VIF dan melihat pola kecenderungan Ridge Trace. VIF merupakan faktor
yang mengukur seberapa besar kenaikan variansi dari koefisien estimator β̂ k
dibandingkan terhadap variabel bebas lain yang saling ortogonal. Bila diantara
variabel bebas tersebut terdapat korelasi yang tinggi, nilai VIF akan besar. VIF
memiliki nilai mendekati 1 jika variabel bebas X tidak saling berkorelasi dengan
variabel-variabel bebas lainnya.
Determinan dari XTX dapat digunakan sebagai indeks dari multikolinieritas.
Nilai determinannya yaitu 0 ≤ X T X ≤ 1 . Jika XTX = 1 maka terdapat hubungan yang
orthogonal antara variabel bebasnya. Jika X T X = 0 terdapat hubungan yang linier
diantara variabel-variabel bebasnya. Dengan kata lain bahwa tingkat multikolinieritas
dilihat dari X T X mendekati 0.
Oleh karena itu nilai VIF untuk koefisien regresi β̂ (c ) didefinisikan sebagai
(X
diagonal utama dari matriks
dengan uraian diatas bahwa
(X
T
T
X + cI
X + cI
)
−1
)
−1
(
X T X X T X + cI
(
X T X X T X + cI
)
)
−1
−1
, maka sama halnya
=1
Contoh Kasus :
Untuk memperjelas penggunaan Regresi Ridge dalam mengatasi multikolinieritas
pada variabel-variabel bebas, berikut ini akan dibahas suatu contoh kasus yang
memiliki multikolinieritas diantara variabel-variabel bebasnya. Data yang akan
dibahas adalah data yang tertera dalam tabel berikut :
Tabel
3.1
Tabel
barang
import
dan
faktor
–
faktor
yang
mempengaruhinya
Tahun
1949
1950
1951
1952
1953
1954
1955
1956
Y
15,9
16,4
19,0
19,1
18,8
20,4
22,7
26,5
X1
149,3
161,2
171,5
175,5
180,8
190,7
202,1
212,4
X2
4,2
4,1
3,1
3,1
1,1
2,2
2,1
5,6
X3
108,1
114,8
123,2
126,9
132,1
137,7
146,0
154,1
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
1957
28,1
226,1
1958
27,6
231,9
1959
26,3
239,0
1960
31,1
258,0
1961
33,3
269,8
1962
37,0
288,4
1963
43,3
304,5
1964
49,3
323,4
1965
50,3
336,8
1966
56,6
353,9
Sumber : Chatterjee Samprit and Price Bertram 1977.
5,0
5,1
0,7
5,6
3,9
3,1
4,6
7,0
1,2
4,5
162,3
164,3
167,6
176,8
186,6
199,7
213,9
223,8
232,0
242,9
Keterangan :
Y = barang import (miliard Franc Prancis)
X1 = barang yang dipesan (miliard Franc Prancis)
X2 = persediaan barang (miliard Franc Prancis)
X3 = barang yang dikonsumsi (miliard Franc Prancis)
Akan dibuat suatu model yang sesuai dan diperiksa apakah terdapat
multikolinieritas diantara variabel bebas Xi. Analisa regresi dengan metode kuadrat
terkecil (pers. 2.15) terhadap data menghasilkan nilai estimator parameter (Tabel 3.2)
dengan daftar anava (Tabel 3.3)
Tabel 3.2 Estimator Parameter Regresi Kuadrat Terkecil
Peubah
Konstan
X1
X2
X3
Penduga Parameter
-15,687
0,113
-1,288
0,155
Simpangan Baku
3,808
0,169
0,525
0,256
Tabel 3.3 Tabel Anava Untuk Data Awal
Sumber
Variansi
Regresi
Sisa
Total
Jumlah
Kuadrat
256,8295
54,283
262,2578
DK
RJK
Fhitung
3
14
17
856,098
3,877
220,794
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Dari data diatas diperoleh persamaan regresi linier berganda seperti pada
persamaan (2.11) yaitu :
yˆ = −15,687 + 0,113 X 1 − 1,288 X 2 + 0,155 X 3
Untuk pendeteksian multikolinieritas ada beberapa cara yang dapat digunakan
antara lain :
1. Faktor Variansi Inflasi (Variance Inflation Factor, VIF)
(X X )
T
−1
 469,3032 − 0,9488 − 468,5969
1,0499
0,7234 
=  − 0,9488
− 468,5969 0,7234
468,939 
Dari data diatas ada 2 faktor variansi inflasi yang melebihi 10, ini merupakan
sebuah indikator yang baik bahwa multikolinieritas ada.
1. Koefisien Korelasi Parsial
Untuk memperoleh koefisien korelasi parsial antara Xj dan Xh dihitung dengan
menggunakan persamaan (2.4) maka diperoleh :
rX 1 X 1 = 1
rX 1 X 2 = 0,215
rX 2 X 2 = 1
rX 1 X 3 = 0,999
rX 2 X 3 = 0,214 rX 3 X 3 = 1
Sehingga korelasi parsial antara XjXh dapat dibuat dalam bentuk matriks korelasi C
sebagai berikut :
0,215 0,999 
 1

C = 0,215
1
0,214
0,999 0,214
1 
Dari matriks C terlihat bahwa korelasi antara variabel bebas X1 dan X3 sangat
tinggi sehingga mendekati 1. Ini menunjukkan bahwa adanya multikolinieritas antara
variabel bebasnya.
2. Determinan Matriks Korelasi
Dari matriks korelasi C dapat dihitung determinannya, yaitu :
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
0,215 0,999 
 1

C = 0,215
1
0,214
0,999 0,214
1 
C = 0,0019
Nilai determinan dari matriks korelasi C mendekati 0, ini menunjukkan bahwa tingkat
multikolinieritasnya tinggi.
3.3 Pemodelan Regresi Ridge
Sebelum pemodelan regresi Ridge dibentuk, perlu dilakukan pentransformasian untuk
meminimumkan kesalahan pembulatan dan untuk menganggap regresi sudah dipenuhi
kenormalannya. Dengan menggunakan transformasi
(pers. 2.17) diperoleh data
sebagai berikut :
Tabel 3.4 Data Transformasi
No
1
2
3
4
5
6
7
8
9
Y*
-0,2752
-0,2655
-0,2151
-0,2132
-0,2190
-0,1880
-0,1046
-0,0697
-0,0387
Z1
-0,3368
-0,2914
-0,2521
-0,2368
-0,2166
-0,1788
-0,1355
-0,0959
-0,0436
Z2
-0,0727
-0,0588
-0,0805
-0,0805
-0,3590
-0,2058
-0,2197
0,2677
0,1842
Z3
-0,3458
-0,3592
-0,2577
-0, 2361
-0,2058
-0,1731
-0,1247
-0,0778
-0,0296
10
-0,0484
-0,0214
0,1981
-0,0179
11
12
13
14
15
16
17
-0,0736
0,0195
0,0622
0,1339
0,2561
0,3666
0,3918
0,0057
0,0782
0,1233
0,1943
0,2558
0,3279
0,3791
-0,4147
0,2677
0,0310
-0,0805
0,1284
0,4627
-0,3451
0,0013
0,0550
0,1121
0,1885
0,2714
0,3291
0,3769
18
0,5139
0,4444
0,1145
0,4405
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Dalam proses pengestimasian regresi Ridge pemilihan tetapan bias c
merupakan hal yang paling penting dalam penelitian ini, penentuan tetapan bias c
ditempuh melalui pendekatan nilai VIF dan gambar Ridge trace. Nilai dari koefisien
β̂ (c ) dengan berbagai kemungkinan tetapan bias c dapat dilihat pada tabel.
Tabel 3.5 Nilai VIF β̂ (c ) Dengan Berbagai Nilai c
Nilai c
VIF β̂1 (c )
0,000
0,001
0,002
0,003
0,004
0,005
0,006
0,007
0,008
0,009
0,010
0,020
0,030
0,040
0,050
0,060
0,070
0,080
0,090
0,100
0,200
0,300
469,3032
125,1808
56,9900
32,3153
21,0415
14,7548
10,9425
8,4577
6,7488
5,5232
4,6146
1,4580
0,8059
0,5667
0,4522
0,3880
0,3479
0,3208
0,3014
0,2868
0,2250
0,1983
VIF β̂ 2 (c )
VIF β̂ 3 (c )
1,0499
1,0465
1,0441
1,0418
1,0395
1,0373
1,0351
1,0328
1,0306
1,0285
1,0263
1,0048
0,9841
0,9640
0,9445
0,9256
0,9072
0,8894
0,8722
0,8554
0,7116
0,6014
468,9395
125,0844
56,9495
32,4948
21,0260
14,7442
10,9348
8,4520
6,7443
5,5197
4,6118
1,4576
0,8060
0,5670
0,4525
0,3884
0,3483
0,3213
0,3019
0,2873
0,2254
0,7986
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
0,400
0,500
0,600
0,700
0,800
0,900
1,000
0,1790
0,1633
0,1500
0,1384
0,1282
0,1192
0,1111
0,5152
0,4465
0,3907
0,3449
0,3067
0,2746
0,2473
0,1793
0,1636
0,1502
0,1386
0,1284
0,1193
0,1112
Dari tabel diatas tampak bahwa mulai tetapan bias c = 0,000 sampai pada c =
1, VIF koefisien estimator β̂ (c ) semakin lama semakin kecil. Nilai VIF yang diambil
adalah VIF yang relatif dekat dengan satu, sedangkan nilai koefisien estimator
parameter β̂ (c ) dengan berbagai kemungkinan ketetapan bias c dapat dilihat pada
tabel 3.6.
Tabel 3.6 Nilai β̂ (c ) Dengan Berbagai Harga c
Nilai c
β̂1 (c )
β̂ 2 (c )
β̂ 3 (c )
0,000
0,001
0,002
0,003
0,004
0,005
0,006
0,007
0,008
0,009
0,1583
0,3166
0,3715
0,3993
0,4160
0,4271
0,4350
0,4419
0,4454
0,4490
0,0600
0,0598
0,0598
0,0598
0,0598
0,0598
0,0598
0.0599
0.0599
0.0599
0,8135
0,6548
0,5994
0,5712
0,5540
0,5424
0,5340
0,5276
0,5226
0,5185
0,010
0,020
0,030
0,040
0,050
0,060
0,070
0,080
0,4519
0,4645
0,4674
0,4677
0,4670
0,4658
0,4643
0,4626
0,0600
0,0604
0,0608
0,0612
0,0616
0,0619
0,0623
0,0626
0,5151
0,4977
0,4900
0,4848
0,4808
0,4773
0,4742
0,4713
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
0,090
0,100
0,200
0,300
0,400
0,500
0,600
0,4608
0,4590
0,4394
0,4207
0,4034
0,3873
0,3725
0,0629
0,0632
0,0656
0,0669
0,0675
0,0677
0,0674
0,4686
0,4659
0,4430
0,4231
0,4051
0,3888
0,3737
0,700
0,800
0,900
1,000
0,3588
0,3461
0,3343
0,3232
0,0669
0,0663
0,0655
0,0646
0,3599
0,3470
0,3351
0,3239
Atas dasar koefisien estimator pada tabel 3.6 dapat dibuat suatu gambar Ridge trace
yang disajikan pada gambar 3.1.
Gambar 3.1 Ridge Trace
Dari berbagai harga c yang ada, nilai VIF mulai tampak ada penurunan pada c
sebesar 0,03. harga c yang memberikan nilai VIF relatif dekat dengan 1, yaitu pada c
= 0,03 ini menunjukkan bahwa pada c = 0,03 koefisien β̂ lebih stabil. Dengan
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
demikian persamaan regresi Ridge yang diperoleh jika c yang diambil sebesar 0,03
yaitu :
yˆ * = 0,4647 Z 1 + 0,0608Z 2 + 0,1474 Z 3
3.4 Uji Keberartian Regresi
Setelah model diperoleh kemudian akan diuji keberartian dari model tersebut, untuk
melakukan pengujian regresi linier dilakukan sebagai berikut :
Ho : β 0 = β1 = β 2 = 0 : regresi tidak berarti
H1 : β i ≠ 0 ; regresi berarti
Kriteria : tolak Ho bila Fhit > Ftab ; dalam hal lain terima Ho
Perhitungan Statistik
Dengan menggunakan rumus pada persamaan (2.19) dan (2.20) maka jumlah kuadrat
dapat diperoleh :
JKR = 0,9586 ; JKS = 0,0414 ; JKT = 1 ; Fhit =106,5. Untuk mempermudah
pengujian hasil tersebut dapat dibentuk dalam tabel ANAVA sebagai berikut :
Tabel 3.7 Anava Ridge
S. Varians
JK
DK
RJK
Regresi
0,9586
3
0,3195
Sisa
0,0414
14
0,003
Total
1
17
Fhit
106,5
Ftab
3,34
Hasil : Dengan taraf nyata α = 0,05 maka Ftabel(3,14,0,05) = 3,34 karena Fhit > Ftab
maka dapat dinyatakan bahwa regresi berarti.
Untuk mengetahui apakah koefisien yang diperoleh berarti atau tidak
dilakukan pengujian sebagai berikut :
Hipotesa : Ho : µ = µ o ; koefisien korelasi berarti
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
H1 : µ ≠ µ o ; koefisien korelasi tidak berarti
Kriteria
Terima Ho : jika Fhit > Ftab, dalam hal lain tolak Ho
Perhitungan statistik:
Dengan menggunakan persamaan (2.21) dan persamaan (2.22)
R2 =
JKR
= 0,9586
JKT
Fhit =
R2 k
= 106,5
(1 − R 2 ) (n − k − 1)
Hasil : dengan taraf nyata α = 0,05 maka Ftabel(3,14,0,05) = 3,34. maka disimpulkan
koefisien berarti.
Maka dengan menggunakan persamaan (2.18), persamaan diatas akan diubah
kebentuk semula dengan Y = 30,0944 , X 1 = 237,5167 , X 2 = 3,6778 , X 3 = 167,3778 ,
S Y = 12,5082 , S X 1 = 63,51674, S X 2 = 1,74138, S X 3 = 41,58106.
Sehingga model yang diperoleh adalah :
yˆ = −18,0347 + 0,0929 X 1 + 0,4367 X 2 + 0,1474 X 3
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
BAB 4
KESIMPULAN DAN SARAN
4.1 Kesimpulan
1. Estimasi yang diperoleh dengan menggunakan metode kuadrat terkecil yaitu :
yˆ = −15,687 + 0,113 X 1 − 1,288 X 2 + 0,155 X 3
2. Adanya multikolinieritas dalam persamaan regresi tersebut, ini terlihat dari
besarnya nilai korelasi antara variabel bebas ( Γx1x 3 = 0.999 ), nilai determinan
dari matriks korelasi mendekati 0 dan nilai VIF dari (XTX)-1 besar (lebih besar
dari 10)
3. Dengan menggunakan metode regresi Ridge, yaitu dengan menambah tetapan
bias c pada diagonal matriks XTX yang bertujuan memperkecil variansinya.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Pada nilai c = 0.030 nilai VIF relatif dekat dengan 1, sehingga pada c = 0.030
koefisien β̂ lebih stabil. Jadi diperoleh persamaan Ridge yaitu :
yˆ * = 0,4647 Z 1 + 0,0608Z 2 + 0,1474 Z 3
4. Estimasi yang diperoleh dengam menggunakan regresi Ridge yaitu :
yˆ = −18,0347 + 0,0929 X 1 + 0,4367 X 2 + 0,1474 X 3
5. Nilai koefisien korelasi determinansi estimator mendekati 1 yaitu :
R2 = 93,42 %, hal ini menunjukkan bahwa estimator yang diperoleh sudah
dapat digunakan.
4.2 Saran
Multikolinieritas merupakan masalah yang dapat menimbulkan model yang diperoleh
kurang baik untuk peramalan, untuk itu disarankan kepada pembaca untuk terlebih
dahulu menghilangkan multikolinieritas tersebut. Salah satu cara yaitu dengan Regresi
Ridge.
DAFTAR PUSTAKA
Algifari. 2000. Analisis Regresi. Edisi 2. Yogyakarta: BPFE – Yogyakarta.
Anton, Howard. 1987. Aljabar Linier Elementer. Edisi Kelima. Jakarta : Erlangga.
Chatterjee, Samprit and Price, Bertram. 1977. Regression Analysis by Example.
Second Edition. New York: University New York.
Djalal Nachrowi, Nachrowi et al. 2002. Penggunaan Teknik Ekonometri. Edisi
Revisi. Jakarta : PT. RajaGrafindo Persada.
Drapper. N.R. and Smith. 1981. Applied Regression Analysis. Second Edition.
New York: John Wiley and Son Inc.
Gaspersz, Vincent. 1991. Ekonometrika Terapan. Jilid 2. Bandung: Tarsito.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009
Schay, Geza. 1997. Introduction To Linear Algebra. London: Jones and Bartlett
Publishers, Inc.
Sianipar, P. 1995. Aljabar Linier. Edisi Pertama. Medan : Intan Dirja Lela.
Sumodiningrat, Gunawan. 1994. Ekonometrika Pengantar. Yogyakarta: BPFE –
Yogyakarta.
Supranto. J. 1984. Ekonometrik. Jilid 2. Jakarta : LPFE Universitas Indonesia.
Walpole. R. and Raymond. Myers H. 1995. Ilmu Peluang dan Statistika Untuk
Insinyur dan Ilmuan. Edisi 4. Jakarta: Universitas Indonesia.
Wono Setya, Budi. 1995. Aljabar Linier. Jakarta: Gramedia Pustaka Utama.
Nanang Pradipta : Metode Regresi Ridge Untuk Mengatasi Model Regresi Linier Berganda Yang Mengandung
Multikolinieritas, 2009.
USU Repository © 2009