Metnum Regresi Linier dan Non-Linier

POLITEKNIK ELEKTRONIKA NEGERI SURABAYA
DEPARTEMEN TEKNIK INFORMATIKA DAN KOMPUTER
PROGRAM STUDI TEKNIK INFORMATIKA
Regresi Linier
Metode Numerik
Zulhaydar Fairozal Akbar
[email protected]
2017
TOPIK
š Pengenalan Regresi
š Regresi Linier
š Regresi Non-Linier
2
Pendahuluan
š Pada pembahasan interpolasi, data dianggap telah diperoleh dengan teliti
tanpa kesalahan yang signifikan. Kurva polinom penginterpolasi melintasi setiap
titik / simpul data secara langsung.
š Pada data dengan tingkat kesalahan yang signifikan, kurva dikehendaki
menyatakan kecenderungan umum dari data (mengikuti pola titik-titik data
yang diperoleh). Pendekatan ini dinamakan regresi kuadrat terkecil.
3
Pendahuluan
š Regresi adalah teknik percocokan kurva untuk data yang berketelitian rendah.
š Contoh data yang berketelitian rendah data hasil pengamatan, percobaan di
laboratorium, atau data statistik. Data seperti itu kita sebut data hasil
pengukuran.
š Untuk data hasil pengukuran, pencocokan kurva berarti membuat fungsi
mengampiri (approximate) titik-titik data.
š Kurva fungsi hampiran tidak perlu melalui semua titik data tetapi dekat
dengannya tanpa perlu menggunakan polinom berderajat tinggi.
4
Pendahuluan
š Contoh : diberikan data jarak tempuh (y) sebuah kendaraan dalam mil setelah x
bulan seperti pada tabel di bawah ini.
x
y
1.38
1.83
3.39
2.51
4.75
3.65
6.56
4.10
7.76
5.01
5
Pendahuluan
š Dari kedua pencocokan tersebut, terlihat bahwa garis lurus memberikan hampiran yang bagus, tetapi
belum tentu yang terbaik. Pengertian terbaik disini bergantung pada cara kita mengukur error hampiran.
6
Pendahuluan
š Prinsip penting yang harus diketahui dalam mencocokan kurva untuk data hasil pengukuran
adalah :
• Fungsi mengandung sesedikit mungkin parameter bebas
• Deviasi fungsi dengan titik data dibuat minimum
š Kedua prinsip di atas mendasari metode regresi kuadrat terkecil.
š Manfaat pencocokan kurva untuk data hasil pengukuran :
1. Bagi ahli sains/rekayasa : mengembangkan formula empirik untuk sistem yang diteliti.
2. Bagi ahli ekonomi : menentukan kurva kecenderungan ekonomi untuk “meramalkan”
kecenderungan masa depan.
7
Regresi Linier
š Misalkan (xi ,yi) adalah data hasil pengukuran. Kita akan menghampiri titik-titik tersebut dengan
sebuah garis lurus.
š Garis lurus tersebut dibuat sedemikian sehingga errornya sekecil mungkin dengan
titik-titik data.
8
Regresi Linier
š Karena data mengandung error, maka nilai data sebenarnya, 𝑔(𝑥$ ), dapat ditulis sebagai :
𝑔 𝑥$ = 𝑦$ + 𝑒$
𝑖 = 1,2, … , 𝑛
(1)
š Yang dalam hal ini, ei adalah error setiap data. Diinginkan fungi linier :
𝑓 𝑥 = 𝑎 + 𝑏𝑥
(2)
š Yang mencocokkan data sedemikian sehingga deviasinya, minimum.
𝑟$ = 𝑦$ − 𝑓(𝑥$ ) = 𝑦$ − (𝑎 + 𝑏𝑥$ )
(3)
š Total kuadrat deviasi persamaan (4) adalah :
𝑅 = ∑9$:; 𝑟$8 = ∑9$:;(𝑦$ − 𝑎 + 𝑏𝑥$ )8
(4)
9
Regresi Linier
š Agar 𝑅 minimum, maka haruslah :
𝜕𝑅
𝜕𝑅
= −2 = 𝑥$ (𝑦$ − 𝑎 − 𝑏𝑥$ ) = 0
= −2 =(𝑦$ − 𝑎 − 𝑏𝑥$ ) = 0
𝜕𝑏
𝜕𝑎
š Untuk selanjutnya, notasi ditulis “∑” saja.
10
Regresi Linier
Penyelesaian :
š Masing-masing ruas kedua persamaan dibagi dengan -2 :
∑ 𝑦$ − 𝑎 − 𝑏𝑥 $ = 0 ⟹ ∑ 𝑦$ − ∑ 𝑎 − ∑ 𝑏𝑥 $ = 0
∑ 𝑥 $ 𝑦$ − 𝑎 − 𝑏𝑥 $ = 0 ⟹ ∑ 𝑥 $ 𝑦$ − ∑ 𝑎𝑥 $ − ∑ 𝑏𝑥 $ 8 = 0
š Selanjutnya ,
= 𝑎 + = 𝑏𝑥 $ = = 𝑦$
= 𝑎𝑥 $ + = 𝑏𝑥 $ 8 = = 𝑥 $ 𝑦$
š atau
𝑛𝑎 + 𝑏 = 𝑥 $ = = 𝑦$
𝑎 = 𝑥 $ + 𝑏 = 𝑥 $ 8 = = 𝑥 $ 𝑦$
11
Regresi Linier
š Kedua persamaan terakhir ini dinamakan persamaan normal, dan dapat ditulis dalam bentuk
persamaan matrikx :
𝑛
= 𝑥$
= 𝑥$
= 𝑥$ 8
𝑎
𝑏 =
= 𝑦$
= 𝑥 $ 𝑦$
š Solusi (nilai a dan b) bisa dicari dengan metode eliminasi Gauss
š Atau langsung dengan rumus :
𝑏=
𝑛 ∑ 𝑥$ 𝑦$ − ∑ 𝑥$ ∑ 𝑦$
8
𝑛 ∑ 𝑥$ 8 − (∑ 𝑥$ )
𝑎 = 𝑦A − 𝑏𝑥̅
12
Regresi Linier
š Untuk menentukan seberapa bagus fungsi hampiran mencocokkan data, kita dapat
mengukurnya dengan error RMS (Root-mean-square error) :
9
𝐸DEF
1
= |𝑓 𝑥$ − 𝑦$ |8
=
𝑛
;/8
$:;
š Semakin kecil nilai 𝐸DEF semakin bagus fungsi hampiran mencocokkan titik-titik data.
13
Algoritma Regresi Linier
1. Tentukan N titik data yang diketahui dalam (𝑥$ , 𝑦$ ) untuk 𝑖 = 1,2,3, … , 𝑁
2. Hitung nilai 𝑎 dan 𝑏 dengan menggunakan formulasi dari regresi linier.
3. Tampilkan fungsi linier.
4. Hitung fungsi linier tersebut dalam range x dan step dx tertentu.
5. Tampilkan hasil tabel (𝑥9 , 𝑦9 ) dari hasil fungsi linier tersebut.
14
Contoh Regresi Linier
š Contoh : Tentukan persamaan garis lurus yang mencocokkan data pada tabel di bawah ini.
Kemudian, perkirakan nilai 𝑦untuk 𝑥 = 1.0 .
š Penyelesaian :
𝑖
𝒙𝒊
𝒚𝒊
𝒙𝒊 𝟐
𝒙𝒊 𝒚𝒊
1
0.1
0.61
0.01
0.061
2
0.4
0.92
0.16
0.368
3
0.5
0.99
0.25
0.495
4
0.7
1.52
0.49
1.064
5
0.7
1.47
0.49
1.029
6
0.9
2.03
0.81
1.827
= 𝑥$ = 3.3
= 𝑦$ = 7.54
= 𝑥$ 8 = 2.21
= 𝑥$ 𝑦$ = 4.844
15
Contoh Regresi Linier
š Diperoleh sistem persamaan linier :
6
3.3
š Solusi SPL di atas adalah :
3.3 𝑎
= 7.54
2.21 𝑏
4.844
𝑎 = 0.2862
𝑏 = 1.7645
š Persamaan garis regresinya adalah :
𝑓 𝑥 = 0.2862 + 1.7645𝑥
16
Contoh Regresi Linier
š Perbandingan antara nilai 𝑦$ dan 𝑓(𝑥$ ) :
𝑖
𝒙𝒊
𝒙𝒊
𝒇 𝒙𝒊 = 𝒂 + 𝒃𝒙𝒊
Deviasi
|𝒇 𝒙𝒊 − 𝒚𝒊 |
(deviasi)2
1
0.1
0.61
0.46261
0.147389
0.02172
2
0.4
0.92
0.99198
0.07198
0.00518
3
0.5
0.99
1.16843
0.17844
0.03184
4
0.7
1.52
1.52135
0.00135
1.82E-06
5
0.7
1.47
1.52135
0.05135
0.00264
6
0.9
2.03
1.87426
0.15574
0.02425
= = 0.08563
š Taksiran nilai 𝑦 untuk 𝑥 = 1.0 adalah :
𝑦 = 𝑓 1.0 = 0.2862 + 1.7645 1.0 = 2.0507
š Errror RMS adalah
𝐸DEF
0.08563 ;/8
=(
) = 0.119464
6
17
Linierisasi Persamaan Non-Linier
š Regresi linier hanya tepat bila data memiliki hubungan linier antara peubah bebas dan
peubah terikatnya.
š Gambar berikut memperlihatkan bahwa garis lurus tidak tepat mewakili kecenderungan titiktitik data. Fungsi kuadratik lebih tepat menghampiri titik-titik tersebut.
18
Linierisasi Persamaan Non-Linier
š Langkah pertama dalam analisis regresi seharusnya berupa penggambaran titik-titik data
pada diagram kartesian.
š Kemudian secara visual memeriksa data untuk memastikan apakah berlaku suatu model linier
atau model non-linier.
š Penggambaran titik-titik ini sekaligus juga sangat membantu dalam mengetahui fungsi yang
tepat untuk mencocokkan data.
š Meskipun fungsi hampiran berbentuk non-linier, namun pencocokan kurva dengan fungsi nonlinier tersebut dapat juga diselesakan dengan cara regresi linier.
19
Linierisasi Persamaan Non-Linier
š Tiga macam fungsi non-linier di bawah ini :
1. Persamaan pangkat sederhana
𝑦 = 𝐶𝑥 Z , 𝐶 dan 𝑏 konstanta.
2. Model eksponensial
𝑦 = 𝐶𝑒 Z[ , 𝐶 dan 𝑏 konstanta.
Contoh : - model pertumbuhan populasi
- model peluruhan zat radioaktif
3. Persamaan laju pertumbuhan jenuh (saturation growth-rate)
𝑦=
\[
]^[
, 𝐶 dan 𝑏 konstanta.
Contoh : model pertumbuhan bakteri kondisi pembatas (misalnya dibatasi oleh jumlah
makanan)
20
Linierisasi Persamaan Non-Linier
21
Pelinieran Persamaan Pangkat Sederhana
š Misalkan kita akan mencocokkan data dengan fungsi :
𝑦 = 𝐶𝑥 Z
š Lakukan pelinieran sebagai berikut :
𝑦 = 𝐶𝑥 Z ⇔ ln 𝑦 = ln 𝐶 + 𝑏ln(𝑥)
š Definisikan :
𝑦 = ln 𝑦 ; 𝑎 = ln 𝐶 ; 𝑋 = ln(𝑥)
š Persamaan regresi linier adalah :
𝑌 = 𝑎 + 𝑏𝑥
š Lakukan pengubahan dari (𝑥 $ , 𝑦$) menjadi (ln(𝑥 $ ), ln(𝑦$ )), lalu hitung 𝑎 dan 𝑏 dengan cara regresi
linier. Dari persamaan 𝑎 = ln(𝐶), kita dapat menghitung nilai :
𝐶 = 𝑒e
š Masukkan nilai 𝑏dan 𝐶dalam pangkat 𝑦 = 𝐶𝑥 Z
22
Contoh fungsi 𝑦 = 𝐶𝑥 Z
š Contoh : Cocokkan data berikut dengan fungsi 𝑦 = 𝐶𝑥 Z
𝒊
𝒙𝒊
𝒚𝒊
𝒙𝒊 = 𝒍𝒏(𝒙𝒊 )
𝒚𝒊 = 𝒍𝒏(𝒚𝒊 )
𝒙𝒊 𝟐
𝒙𝒊 𝒚𝒊
1
0.1500
4.4964
-1.971
1.5033
3.5990
-2.8519
2
0.4000
5.1284
-0.9163
1.6348
0.8396
-1.4980
3
0.6000
5.6931
-0.5108
1.7393
0.2609
-0.8884
4
1.0100
6.2884
0.0100
1.8387
0.0001
0.0184
5
1.5000
7.0989
0.4055
1.9599
0.1644
0.7947
6
2.2000
7.5507
0.7885
2.0216
0.6217
1.5940
7
2.4000
7.5106
0.8755
2.0163
0.7665
1.7653
= 𝑥 $ = −1.2447
= 𝑦$ = 12.7139
= 𝒙𝒊 𝟐 =6.2522 = 𝒙𝒊 𝒚𝒊 =−1.0659
23
Contoh fungsi 𝑦 = 𝐶𝑥 Z
š Diperoleh sistem persamaan linier
7
−1.2447
−1.2477 𝑎
12.7139
=
6.2522 𝑏
−1.0659
š Solusi SPL di atas 𝑎 = 1.81515 dan 𝑏 = 0.1981
š Hitung 𝐶 = 𝑒 e = 𝑒 ;.h;i;i = 6.369366
š Jadi, titik-titik (𝑥, 𝑦) pada tabel di atas dihampiri dengan fungsi pangkat sederhana
𝑓 𝑥 = 6.369366𝑥 j.;kh;
24
Pelinieran Model Eksponensial 𝑦 = 𝐶𝑒 Z[
š Misalkan kita akan mencocokkan data dengan fungsi : 𝑦 = 𝐶𝑒 Z[
š Lakukan pelinieran sbb :
𝑦 = 𝐶𝑒 Z[
ln 𝑦 = ln 𝐶 + 𝑏𝑥 ln 𝑒
ln 𝑦 = ln 𝐶 + 𝑏𝑥 à ln 𝑒 = 1
š Definisikan :
•
𝑌 = ln 𝑦
•
𝑎 = ln 𝐶
•
𝑋=𝑥
à 𝐶 = 𝑒e
š Persamaan Regresi Liniernya : 𝑌 = 𝑎 + 𝑏𝑋
š Lakukan pengubahan (𝑥 $ , 𝑦$ ) à (𝑥 $ , ln(𝑦$ )) lalu hitung a dan b dengan cara regresi linier.
š Dari persamaan 𝑎 = ln 𝐶 di dapat 𝐶 = 𝑒 e
š Masukkan nilai b dan C dalam persamaan eksponensial 𝑦 = 𝐶𝑒 Z[
25
Soal
š Hubungan antara variabel X dan variabel Y
x
1
2
3
4
5
6
y
6
4
3
5
4
2
š Buatkan persamaan regresinya
š Tentukan nilai Y, jika x = 8 .
26
Soal
š Hubungan antara variabel X dan variabel Y
x
1
2
3
4
5
6
y
6
4
3
5
4
2
š Buatkan persamaan regresinya
š Tentukan nilai Y, jika x = 8 .
27
Soal
š Hubungan antara kompetensi (x) dan kinerja pegawai (y) kita ambil sampel acak 15 orang pegawai
sebagai berikut :
x
40
55
32
55
50
52
61
44
30
22
40
64
58
48
44
y
4
16
12
24
15
24
22
17
4
14
24
26
20
9
14
š Buatkan persamaan regresinya
š Tentukan nilai Y, jika x = 35 .
š Hitung nilai ERMS
28