Modul Pengantar Model Linier

Modul Pengantar Model Linier
Pertemuan Ketiga:
Contoh Sistem Persamaan Linier (SPL)
1.
3X1 + 2X2 = 5
2X1 + X2 = 3
Memiliki vektor jawab X̂1 = 1 dan X̂ 2 = 1
Vektor jawabnya khas/tunggal/spesifik (hanya ada satu jawaban)
2.
3X1 + 2X2 = 5
6X1 + 4X2 = 10
Memiliki vektor jawab X̂1 = 1 dan X̂ 2 = 1 atau X̂1 = 2 dan X̂ 2 = -1/2
Vektor jawabnya tidak khas (lebih dari satu)
3.
3X1 + 2X2 = 5
6X1 + 4X2 = 5
Tidak punya vektor jawab
Macam-macam vektor jawab : (1) khas/tunggal, dan (2) tidak khas/jamak
Dalam bentuk matriks, SPL di atas:
AX = Y
Penyelesaian ada 2, yaitu:
1.
X̂ = A- Y
2.
X̂ = A-1 Y
A- adalah matriks kebalikan umum -> untuk semua matriks
A-1 adalah matriks kebalikan khusus -> bilamana matriks berbentuk nonsingular, det(A)  0)
1|Page
Mengapa analisis regresi selalu bisa dicari vektor jawabnya?
Suatu sistem persamaan dapat dicari vektor jawabnya bilamana jika:
Alasan 1
P(A) = P(Ay)
P(A) = pangkat dari matriks transformasi -> pangkat adalah ordo matriks yang det  0
Catatan: pangkat : banyaknya baris/kolom dari suatu matriks yang saling ortogonal/bebas
det  0, artinya pangkat = ordo (berpangkat penuh atau full rank)
P(Ay) = pangkat dari matriks augmen
Dari persamaan 1 :
1.
3X1 + 2X2 = 5
2X1 + X2 = 3
 3 2
Matriks Transformasi = 
 maka P(A) = 2 (det  0)
2 1 
3 2 5
Matriks Augmen = 
 maka P(Ay) = 2 (det  0)
2 1 3
Karena P(A) = P(Ay), maka matriks SPL tersebut punya vektor jawab
Dari persamaan 3 :
3.
3X1 + 2X2 = 5
6X1 + 4X2 = 5
3 2
Matriks Transformasi = 
 maka P(A) = 1 (det untuk matriks 2x2 = 0)
6 4 
3 2 5
Matriks Augmen = 
 maka P(Ay) = 2 (det  0)
6 4 5
Karena P(A)  P(Ay), maka matriks SPL tersebut tidak punya vektor jawab
2|Page
Alasan 2
Bila hubungan linier antara baris matriks transformasi juga berlaku bagi hubungan antar
baris vektor Y
Misal persamaan 2
3X1 + 2X2 = 5
6X1 + 4X2 = 10
Baris 1 = ½ dari baris 2
Maka sistem persamaan 2 memiliki vektor jawab
Jika dapat dicari vektor jawabnya disebut Sistem Persamaan yang konsisten
Secara matematis, suatu persamaan linier punya 3 kemungkinan jawaban:
(1) Tidak punya vektor jawab
(2) Punya vektor jawab yang khas
(3) Punya vektor jawab yang tidak khas
3|Page
Definisi: AX = Y yang bersifat konsisten memiliki vektor jawab X̂ = G Y
Matriks G memiliki sifat bahwa AGA = A
Matriks G dinamakan General invers of A
Akan tetapi, matriks G memiliki bentuk khusus yaitu A-1, dengan syarat
AA-1A = A
IA=A
A=A
Cara mencari General Invers Matriks (Matriks Kebalikan Umum)
1.
Pendekatan Penyapuan
Step by step
a. Cari anak/sub matriks yang nonsingular (det  0) dan terbesar
2 4 7 
Contoh matriks singular A = 3 6 8 
5 10 10
Det(A) = 0
Ambil matriks M yaitu baris 2 dan 3 dan kolom 2 dan 3 dari matriks A
b. Hitung matriks kebalikan khusus dari M
6 8
M= 
 , dimana M nonsingular, Det(M) = ??
10 10
 1 / 2 2 / 5 
Maka invers M atau M-1 = 

 1 / 2  3 / 10
c. Ganti unsur M dengan M-1 pada matriks A, dan diluar unsur M diganti dengan 0
0
0 
0
A* = 0  1 / 2 2 / 5 


0 1 / 2  3 / 10
4|Page
d. MKU diperoleh dari transpose matriks A* di atas
0
0 
0
MKU = A- = 0  1 / 2 1 / 2 


0 2 / 5  3 / 10
MKU bersifat tidak khas, bergantung bagaimana kita mengambil M.
Buktikan AGA = A dimana G = A-
5|Page
Pertemuan ke 6
METODE KUADRAT TERKECIL
Tujuannya:
1. Merubah SPL yang belum tentu konsisten menjadi sistem persamaan normal yang
pasti konsisten
2. Mendapatkan suatu garis yang paling akurat (error terkecil)
3. Dari uji koefisien secara serempak untuk mendapatkan suatu model dari data sampel
yang berlaku untuk populasi
Kenapa dalam analisis regresi, vektor jawab pasti konsisten?
Dari Sistem Persamaan Linier:
y1 = b0 + b1 x1 + e1
y2 = b0 + b1 x2 + e2
y3 = b0 + b1 x3 + e3
…..
yn = b0 + b1 x1 + en
Persamaan-persamaan tersebut belum tentu konsisten
Q = e2 = (y – b0 – b1x)2
Q
0 
b 0
-2(y – b0 – b1x) = 0

nb0 + b1x = y
(1)
Q
0 
b 1
-2(y – b0 – b1x)x = 0

b0x + b1x2 = xy
(2)
Persamaan (1) dan (2) adalah sistem persamaan normal, dengan penyelesaian sebagai berikut:
 x  b 0 
 n
 y 
 x  x 2   b  =  xy 

  1


X’X
̂
= X’Y
Permasalahan: SPL akan ada vektor jawabnya jika konsisten. Kalau suatu SPL belum tentu
konsisten, maka melalui MKT dapat dirubah menjadi SPL yang konsisten, sehingga selalu
dapat dicari b0 dan b1 nya (vektor jawabnya)
6|Page
Mengapa?
Persamaan normal:
X’X ̂ = X’Y,
memenuhi syarat matriks yang dapat dicari vektor jawabnnya, sehingga sistem persamaan
regresi konsisten. Dalam hal ini, X’X ̂ = X’Y dianggap X’ sebagai faktor pengali (ingat
alasan 2 halaman 4), sehingga MKT berguna untuk merubah sistem persamaan yang belum
tentu konsisten menjadi sistem persamaan normal yang pasti dijamin konsisten, makanya ̂
dalam regresi selalu konsisten/dapat dicari.
Kapan vektor jawab dalam analisis regresi bersifat unik?
Vektor jawab yang tidak unik, apabila matriks transformasi sistem persamaan bersifat
singular, yang dapat dicari disini hanya matriks kebalikan umum.
Vektor jawab akan unik jika matriks transformasi sistem persamaan bersifat nonsingular
(berpangkat penuh) (atau X’X harus bersifat nonsingular), sehingga dalam X’Xb = X’Y
Non singular (det0) terjadi jika antar baris dan antar lajur saling ortogonal/saling bebas,
karena itu maka antar variabel X harus saling bebas. Antar X saling bebas, jika dalam regresi
tidak bersifat multikolinieritas.
Latihan:
Buktikan secara matematis persamaan Y = b0 + b1 X1 + b2 X2, dimana X2 = 2X1 matriks X’X
adalah singular. Gunakan data sederhana untuk pembuktian lebih lanjut.
Penguraian Data menjadi nilai Duga dan Sisaan
Pada matris X’X nonsingular, apabila
Y=X ̂ +
dimana  adalah sebuah vektor yang berada dalam ruang X, atau dilambangkan dengan
C(X’), dan  juga bisa berada di dalam ruang vektor C(X’) atau bisa juga berada di luar ruang
vektor C(X’).
Jika  di dalam C(X’) berarti Y merupakan kombinasi yang sempurna terhadap X
Jika  di luar C(X’) berarti Y tidak tepat merupakan kombinasi linier dari kolom-kolom X,
tetapi masih ada gangguan berupa e
7|Page
Apakah Y dapat dinyatakan sebagai kombinasi linier dari X?
Ŷ =X ̂
Jika ya, maka Ŷ =X artinya X ̂ =Y, sehingga  dapat diduga oleh ̂
Definisi
Jika V adalah sebuah ruang vektor dan V adalah ruang vektor yang ortogonal terhadap V,
maka setiap X dapat dipecah menjadi 2 vektor u dan v yang masing-masing bersifat khas
dimana u  V dan v  V.
x=u+v
x = u1 + v1
x-x = 0
x = u2 + v2
(u1 + v1) – (u2 + v2) = 0
akan mencapai 0 jika u1=u2 dan v1 = v2, artinya hanya ada 1 u dan 1 v
(khas)
Sehingga u dan v adalah 2 vektor yang ortogonal
Catatan: ortogonal-> hasil perkalian=0, sedangkan ortonormal-> hasil perkalian=0 dan
panjang vektor=1
Oleh karena itu, jika kita mempunyai Y=X ̂ +, maka Y harus dipecah dalam Y dan X ̂
dalam ruang vektor C(X’) dan  berada dalam ruang vektor yang ortogonal terhadap C(X’),
sehingga apabila suatu vektor berada dalam V, dia akan ortogonal terhadap ruang vektor V.
Y

X
Untuk mendapatkan  terpendek, diperoleh dari garis tegak lurus dengan X ̂
8|Page
Implikasinya:
Bahwa setiap data hasil pengamatan (yi) pada prinsipnya dapat dipecah menjadi 2 vektor yang
terletak pada ruang vektor C(X’) dan ruang vektor lainnya yang ortogonal terhadap C(X’)
Sehingga:
Data = Dugaan + Sisaan
Y = X ̂ + 
Y = Ŷ + 
Y = Ŷ + (Y - Ŷ ), dimana Ŷ = X ̂ dengan ̂ = (X’X)-1X’Y
Y = X(X’X)-1X’Y + (Y – X(X’X)-1X’Y)
Y = [X(X’X)-1X’]Y + [I - X(X’X)-1X’] Y
Y = Px.Y + Px Y
Dimana
Px = X(X’X)-1X’ disebut matriks proyeksi
Px = I – X(X’X)-1X’ disebut matriks proyeksi ortogonal
Dugaan = PxY
Sisaan = Px Y
Sifat keduanya (Px dan Px):
a. Simetris (setangkup)  A = A’
b. Merupakan idempoten  A.A = A
Buktikan: Px dan Px saling ortogonal?
Karena Px dan Px saling ortogonal, maka dijamin  terpendek (minimum)
Maka, dapat disimpulkan bahwa MKT:
1. Mendapatkan  terpendek
2. Mengubah sistem persamaan yang belum tentu konsisten menjadi sistem
persamaan normal yang sudah pasti dijamin konsisten
3. Mampu mendekomposisi dugaan dan sisaan yang masing-masing bersifat unik
dan saling ortogonal ()
9|Page
Dekomposisi Jumlah Kuadrat
Y = Px.Y + Px Y
Y’Y = Y’ Px.Y + Y’ Px Y
JK total = JK model + JK sisaan
Pengujian keberartian koefisien regresi:
thitung =
F=
bi
N(,  2  )

 t(v)  menjamin berlakunya sebaran t
Se(b i )
 2 ( v)
 21 / v1
 F(v1,v2)  menjamin berlakunya sebaran F
22 / v2
Sifat Penduga Kuadrat Terkecil
1. Tak Bias
E( ̂ ) = 
Bukti: ̂ = (X’X)-1X’Y
E( ̂ ) = E((X’X)-1X’Y)
E( ̂ ) = (X’X)-1X’E(Y)
E( ̂ ) = (X’X)-1X’X
E( ̂ ) = I =  (tidak bias)
Catatan Y = X + 
E(Y) = E(X + )
E(Y) = XE() + E(), dimana E() = 0, X suatu tetapan
E(Y) = X
2. Varian Konstan
Var( ̂ ) = Var((X’X)-1X’Y) = (X’X)-12
10 | P a g e
Hipotesis Fungsi Linier Parameter
Y = 0 + 1X1 + 2X2 + 3X3 + 
Hipotesis secara parsial
H0 : i = 0 vs
H1 : i  0
Hipotesis secara simultan
H0 : 1 = 2 = 3 = 4 = 0 vs
H1 : paling tidak ada satu  yang tidak sama dengan 0
Hipotesis fungsi linier parameter:
H0 : 1 + 2 = 1.0
H0 : 1 + 2 – 3 = 0.5
Diuji pake apa?
Untuk hipotesis H0 : 1 = 0 diuji pakai
’ = m
Dengan ’ adalah ortogonal ()
’ dimanakan fungsi linier parameter
Dimana
’ = (0 1 0 0)
m=0
Untuk H0 : 1 + 2 = 1.0
’ = (0 1 1 0) dan m = 1
Untuk H0 : 1 + 2 – 3 = 0.5
’ = (1 1 -1) dan m = 0.5
Pertanyaan:
1. Bagaimana menguji hipotesis fungsi linier parameter dalam bentuk umum?
2. Jika benar, berarti apakah  nya harus memenuhi sifat penduga parameter?
E(’ ̂ ) = ’?
E(’ (X’X)-1X’Y) = ’ (buktikan bahwa tidak bias)
Jika H0 benar, syarat yang harus dipenuhi:
Meminimumkan error yaitu (Y – X ̂ )’ (Y – X ̂ ) dengan kendala ’ – m = 0
11 | P a g e
̂ adalah penduga parameter tanpa kendala
~
~
 adalah penduga parameter dengan disertai kendala ’  – m = 0
Definisi
Minimumkan f(x) dengan g(x) = 0  min h(x, k) = f(x) + kg(x)
~
~
~
Minimumkan (Y – X  )’ (Y – X  ) dengan kendala ’  – m = 0
~
~
~
Min h(x, k) = (Y – X  )’ (Y – X  ) + k(’  – m)
Agar minimum, maka h(x, k) diturunkan parsial
h ( x , k )
0
k
~
~
~
h(x,k) = Y’Y – 2X’  Y + X’X  2 + k’  - km
~
-2X’Y + 2X’X  + k ’ = 0
~
-2X’(Y - X  ) + k ’ = 0
~
(X’Y – X’X  ) – 0.5k’ = 0
~
X’X  = X’Y – 0.5 k’
~
 = (X’X)-1X’Y – 0.5(X’X)-1 k’
~
 = ̂ – 0.5(X’X)-1 k’
Sehingga
~
’  – m = 0
’( ̂ – 0.5(X’X)-1 k’) = m
0.5k = [’ ̂ - m] [’(X’X)-1]-1
K = 2[’(X’X)-1]-1[’ ̂ - m]
Jadi
~
 = ̂ – (X’X)-1[’(X’X)-1]-1[’ ̂ - m]
Matriks [’(X’X)-1]-1[’ ̂ - m] akan selalu berpangkat penuh karena  saling ortogonal
12 | P a g e
Jumlah kuadrat sisa tanpa kendala:
JKs
= Y’IY – Y’PxY
= Y’ (I – Px) Y
= Y’ Px Y
= (Y - X ̂ )’(Y - X ̂ )
Jumlah kuadrat sisa dengan kendala:
~
~
JKsk = (Y - X  )’(Y - X  )
= {Y – X( ̂ – [’(X’X)-1]-1[’ ̂ - m])}’{Y – X( ̂ – [’(X’X)-1]-1[’ ̂ - m])}
= {Y - X ̂ + X(X’X)-1’(’(X’X)-1)-1(’ ̂ - m)}’
{Y - X ̂ + X(X’X)-1’(’(X’X)-1)-1(’ ̂ - m)}
= (Y - X ̂ )’(Y - X ̂ ) + (’ ̂ - m)’(’(X’X)-1)-1(’ ̂ -m)
= JKs + Q
Dimana Q = (’ ̂ - m)’(’(X’X)-1)-1(’ ̂ -m)
Q menunjukkan bahwa dengan adanya kendala maka variansi sisaan akan meningkat. Atau
dengan kata lain JKsk > JKs
Yang diuji dengan kendala:
~
~
’  – m = 0 atau ’  = m
Dengan
~
[’  – m]  N(’, (’(X’X)-1)2)
Q  2[p(’), 0,5(’-m)’(’(X’X)-1)-1(’-m]
Agar distribusi Q tersentra, H0 harus dianggap benar, sehingga Q  2(banyaknya baris k’)
Q
 F[p(’), n-p]
s2
Dimana s2 = Y’PxY (JK sisaan tanpa kendala)
13 | P a g e
Pertemuan ke 7
MODEL TIDAK PENUH

Model sebelumnya menggunakan analisis asosiasi (analisis regresi) disebut model penuh
(full model), karena X’X nonsingular (asumsi multikolinieritas)

Sedangkan model tidak penuh yaitu model yang menggunakan analisis komparatif (karena
X’X singular), seperti:
1. Pengujian 1 populasi (Z test -> ragam diketahui)
2. Pengujian 1 populasi (t test -> ragam tidak diketahui)
3. Pengujian 2 populasi (Z test -> ragam diketahui)
4. Pengujian 2 populasi (t test -> ragam tidak diketahui)
5. Pengujian lebih dari 2 populasi (F test -> dengan proses komputasi melalui ANOVA)

Ragam populasi diketahui dari: (1) ragam yang diperoleh dari penelitian sebelumnya, (2)
ragam yang telah dispesifikasi/ditetapkan oleh pihak tertentu, (3) pendapat dari pakar

Contoh: dalam penelitian, obyek karyawan (1 s/d 5) dengan variabel produktivitas
(kg/menit), menggunakan 3 jenis training A, B, dan C.
No
1
2
3
4
5
A
0.91
0.81
0.90
0.95
1.00
B
0.90
0.75
0.81
0.78
0.89
C
0.80
0.81
0.78
0.91
0.82

Model matematis: Yij =  + i + ij

 = rata-rata umum

i = produktivitas akibat pengaruh training (A, B atau C) dimana i = 1, 2, 3

Sumber variasi data yang dapat diidentifikasi ada 1 yaitu jenis training sehingga
menggunakan klasifikasi satu arah

Misal sumber variasi data dapat diidentifikasikan menjadi 2 yaitu jenis training dan jenis
kelamin, sehingga menggunakan klasifikasi dua arah Yij =  + i + j + ij
14 | P a g e
Klasifikasi Satu Arah
H0 : A = b = A atau H0 : A = B = c = 0
Hipotesis
H1 : minimal ada sepasang kondisi yang berbeda
Tabel ANOVA
SK
Kondisi/Perlakuan
Error
Total
JKt =   Yij 
2
JK
JKp
JKs
JKt
KT
KTp
KTs
F
KTm/KTs
(  Yij ) 2
JKp =  Yi / n 
2
db
p-1
Sisa
np-1
np
(  Yij ) 2
np
JKs = JKt – JKp
Bila H0 benar, maka F akan menyebar F(,dbp,dps)
Dalam model tidak penuh, kita pendugaan ̂ bukanlah prioritas, tetapi prioritasnya adalah
memecah data pengamatan menjadi beberapa komponen: perlakuan, galat, total
Model klasifikasi satu arah: Yij =  + i + ij
Misal i = 1, 2, 3 dan j = 1, 2 (perlakuan 3, ulangan 2)
 y 11  1
 y  1
 12  
 y 21  1
 
 y 22  1
 y 31  1
  
 y 32  1
1 0 0
 e 11 

1 0 0     e 12 
0 1 0  1   e 21 
 

0 1 0  2  e 22 
 
0 0 1   3   e 31 
 

0 0 1
e 32 
Y
X
=

+ 
X adalah matriks rancangan (design matrix) dan pasti berpangkat tak penuh (karena ada
keterkaitan antar kolom, yaitu kolom 1 adalah penjumlahan dari kolom lainnya = saling
kombinasi linier, oleh karena itu Det X’X pasti = 0)
6
2
X’X = 
2

2
2 2 2
2 0 0
0 2 0

0 0 2
  Yij   Y.. 
 Y   
Y
1j 
  1. 
X’Y = 
  Y2 j  Y2; 

  
  Y3 j   Y3. 
15 | P a g e
Persamaan normal
(X’X) ̂ = X’Y, sehingga ̂ = (X’X)-X’Y
̂ bersifat tidak khas sehingga kurang bermanfaat jika dilakukan pendugaan parameter
Penyelesaiannya yaitu dengan paramterisasi yaitu distandarisasi ke rata-rata parameter
Rataan umum:
̂ =   Yij / np = Y..
Rataan perlakuan:
ˆ i   Yij / n   Y..  Yi.  Y..
E(Y
16 | P a g e