Regresi Linier

Regresi Non-Linier
Metode Numerik
Oleh: Ir. Kutut Suryopratomo, MT., MSc.
Teknik Fisika, Fakultas Teknik, Universitas Gadjah
Mada, Yogyakarta, Indonesia
1
Pengertian Regresi
 Regresi: perumusan/pemodelan asosiasi antara satu
variabel dependen dan satu/lebih variabel
independen, dalam bentuk persamaan yang
memungkinkan penaksiran nilai variabel dependen.
 Dalam Regresi Linier, model yang dipilih dalam
perumusan asosiasi adalah persamaan linier.
y = f(x) = ax + b
 Dalam Regresi Nonlinier, model yang dipilih dalam
perumusan asosiasi adalah persamaan nonlinier.
y = f(polinom, eksponensial, pangkat, dll.)
2
Regresi vs. pola sebaran data
 Jika diketahui n pasangan data: (x1,y1), (x2,y2),
(x3,y3),… , (xn,yn) dengan x variabel independen dan y
variabel dependen.
 Pada data akan dipaskan suatu fungsi y = f(x) yang
paling bisa mengikuti pola perubahan y vs. x.
•
•
Jika pola sebaran data memperlihatkan
kecenderungan linier, maka diambil regresi
linier.
Jika pola sebaran data memperlihatkan
kecenderungan nonlinier, maka diambil regresi
nonlinier.
3
Pola Sebaran Data Cenderung Linier
80
y
60
40
20
0
0
3
6
9
12
15
x
4
Pola Sebaran Data Cenderung Nonlinier
300
y
225
150
75
0
0
3
6
9
12
15
x
5
Pola Sebaran Data Cenderung Nonlinier
25
15
y
5
-5 0
2
4
6
8
-15
-25
x
6
Regresi Nonlinier
 Dalam regresi nonlinier, model regresi yang sering
dipilih adalah:
 Model exponensial
f x   aebx
 Model pangkat
f x   ax b
 Model pertumbuhan jenuh f  x  
 Model polinomial
ax
b x
f x   a0  a1 x  ...  an x n
 Fungsi tersebut dipaskan pada n pasangan data:
(x1,y1), (x2,y2), (x3,y3),… , (xn,yn)
dengan mengatur nilai koefisiennya.
7
Regresi Nonlinier
 Pas (cocok) atau tidaknya model regresi dengan
data bisa dilihat dari seberapa jauh nilai data bisa
didekati oleh nilai taksiran regresi.
 Oleh karena itu didefinisikanlah error sebagai selisih
antara nilai data dan nilai taksiran fungsi regresi:
Error, i = yi – f(xi)
dengan i=1..n
8
Model Regresi Eksponensial
Uraian Rinci
9
Regresi Nonlinier: Model Eksponensial
 Pada himpunan data (xi,yi) dengan i=1..n
akan diregresikan model eksponensial,
f(x) = a.ebx.
 Error regresi
(selisih antara nilai data & taksiran fungsi regresi)
adalah:
Error, i = yi – f(xi) = yi – a.ebxi.
dengan i=1..n
10
Error dalam Regresi Non-Linier
2
Error ,  i  yi  f xi 
1,6
y
1,2
0,8
0,4
0
0
1
2
3
4
5
x
11
Kriteria Error sbg Syarat Pengepasan

fungsi regresi bisa dipandang paling pas
errornya minimum.
Suatu
 Kriteria error
yang paling bisa dipakai untuk
menentukan koefisien persamaan regresi adalah
kuadrat error, S = (i)2
n
n

S    i   yi  ae
i 1

2
jika
jumlah

bxi 2
i 1
Nilai jumlah kuadrat error, (i)2 diminimalkan
dengan menolkan turunannya terhadap
koefisien2 persamaan regresi.
12
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”

Turunan
S terhadap a dinolkan:

S  n
bxi

y

ae
 i
a a i 1


2






yi  aebxi
i 1 a
n

2

n
S
  2 yi  aebxi  ebxi  0
a i 1

Turunan
S terhadap b dinolkan:

S r
 n
  yi  aebxi
b b i 1



2


yi  aebxi
i 1 b
n
2

n
S r
  2 yi  aebxi  aebxi xi  0
b i 1
13
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”
 Hasilnya:
n
  yi e
n
bxi
i 1
n
 yi xi e
 a  e 2bxi  0
i 1
n
bxi
i 1
 a  xi e 2bxi  0
i 1
 Koefisien a dari persamaan 1 bisa disulihkan ke
persamaan 2 sehingga diperoleh persamaan
nonlinier dalam b:
n
n
 y i xi e
i 1
bxi

 yi e
i 1
n
e
i 1
bxi
n
 xi e
2bxi i 1
2bxi
0
14
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”
 Persamaan nonlinier dalam b ini:
n
n
 y i xi e
i 1
bxi

bxi
y
e
 i
i 1
n
2bxi
e

n
2bxi
x
e
0
 i
i 1
i 1
bisa diselesaikan dengan metode bisection atau
secant.
15
Contoh:
16
Lembar Kerja Excel
copy
copy
copy
Model Regresi Polinomial
Uraian Rinci
18
Regresi Nonlinier: Model Polinomial
 Pada himpunan data (xi,yi) dengan i=1..n akan
diregresikan model polinomial, f(x) = a0 + a1.x +
a2.x2 + … + am.xm, dengan m ≤ (n-1).
 Error regresi (selisih antara nilai data dan nilai
taksiran fungsi regresi):
Error, i =yi – f(xi)=yi–(a0+a1.xi+…+am.xim).
dengan i=1..n
 Jumlah kuadrat error:
n
n


S    i   yi  a0  a1 xi  a x  ...  a x
i 1
2
i 1
2
2 i
m
m i

2
19
Error dalam Regresi Non-Linier
2
Error ,  i  yi  f xi 
1,6
y
1,2
0,8
0,4
0
0
1
2
3
4
5
x
20
Kriteria Error sbg Syarat Pengepasan

fungsi regresi bisa dipandang paling pas
errornya minimum.
Suatu
 Kriteria error
yang paling bisa dipakai untuk
menentukan koefisien persamaan regresi adalah
kuadrat error, S = (i)2
n
n


S    i   yi  a0  a1 xi  a x  ...  a x
i 1

2
i 1
2
2 i
jika
jumlah
m
m i

2
Nilai jumlah kuadrat error, (i)2 diminimalkan
dengan menolkan turunannya terhadap
koefisien2 persamaan regresi.
21
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”
 Turunan
S
terhadap
ai
(i=0..m) dinolkan:
n
S
  2. yi  a0  a1 xi  . . .  am xim (1)  0
a0 i 1


n
S
  2. yi  a0  a1 xi  . . .  am xim ( xi )  0
a1 i 1


...
n
S
  2. yi  a0  a1 xi  . . .  am xim ( xim )  0
am i 1


22
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”
 atau:
n
n
n
n
i 1
i 1
i 1
i 1
m
a

a
x

...

a
x
 0 1i
 m i   yi
n
n
n
n
i 1
i 1
i 1
i 1
2
m 1
a
x

a
x

...

a
x
 0i 1i
 m i   yi xi
...
n
n
n
n
i 1
i 1
i 1
i 1
m
m 1
2m
m
a
x

a
x

...

a
x

y
x
 0i 1i
 mi  ii
23
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”
 atau:
a0 n  a1  xi  ...  am  xim   yi
a0  xi  a1  xi2  ...  am  xim 1   yi xi
a0  xi2  a1  xi3  ...  am  xim  2   yi xi2
...
a0  xim  a1  xim 1  ...  am  xi2 m   yi xim
24
Meminimalkan Jumlah Kuadrat Error
Metode “Least Square”
 Dalam bentuk matriks:
 n

  xi
 ...

m
x
 i
 xi
x
2
i
...
m 1
x
 i
m
x
 i   a0    yi 

m 1 
...  xi   a1    xi yi 

...
...   ...   ... 

 
m
2m  
...  xi  am   xi yi 
...
dengan penjumlahan () dilakukan untuk i=1..n.
Matriks lalu bisa diselesaikan untuk memperoleh ai.
25
Contoh:
Tabel data
 Data hubungan koefisien
ekspansi termal () dg
suhu (T) akan diregresi
dengan fungsi polinom
orde-2:
80
Koef. Ekspansi,
o
(in/(in
F))

6,47E-06
40
6,24E-06
(T) = a0+ a1.T + a2.T2
-40
5,72E-06
karena sebarannya
cenderung kuadratik.
-120
5,09E-06
-200
4,30E-06
-280
3,33E-06
-340
2,45E-06
 Sarana: Microsoft
Excel
Suhu,
o
T ( F)
26
Koef. ekspansi termal, Alpha (in/in/F)
Contoh:
Sebaran data
7,E-06
6,E-06
5,E-06
4,E-06
3,E-06
2,E-06
1,E-06
0,E+00
-400
-300
-200
-100
0
100
Suhu, T (F)
27
Contoh:
Koefisien model
 Dalam bentuk matriks:
 n

T

i

 Ti 2

T T
T T
T T
i
2
i
3
i
  a0    y i 



3 
i   a1     yiTi 
4
2



i   a2 
 yiTi 
2
i
dengan penjumlahan () dilakukan untuk i=1..n.
Matriks lalu bisa diselesaikan untuk memperoleh ai.
28
Contoh:
Koefisien model
 Dalam bentuk matriks:
- 860
258000  a0   3,3600E - 05 
 7
 - 860
  a   - 2,6978E - 03
258000
70472000

 1  

258000 - 70472000 21363360000 a2   8,5013E - 01 
 Matriks ditata ulang (pivoting) lalu diselesaikan
untuk memperoleh ai dengan cara eliminasi.
258000 - 70472000 21363360000 a0   8,5013E - 01 
 - 860
  a   - 2,6978E - 03
258000
70472000

 1  

 7
- 860
258000  a2   3,3600E - 05 
29
Contoh:
Koefisien model
 Hasil eliminasi:
- 860
258000  a0   3,3600E - 05 
7
0 23093,33333
  a    0,000135973 
739200

 1  

0
0
- 355300,757 a2  4,34005E - 06
 Substitusi mundur memberikan nilai ai berikut:
a2  - 1,22152E - 11
 a    6,27899E - 09    T   a  a T  a T 2
0
1
2
 1 

a0   6,02163E - 06 
30
Koef. ekspansi termal, Alpha (in/in/F)
Contoh:
Data vs. Kurva Regresi
7,E-06
6,E-06
5,E-06
4,E-06
Data
3,E-06
Regresi
2,E-06
1,E-06
0,E+00
-400
-300
-200
-100
0
100
Suhu, T (F)
31
Contoh:
% Error Regresi
1,2
% Error Regresi
1
0,8
0,6
0,4
0,2
0
-400
-300
-200
-100
0
100
Suhu, T (F)
32
Linearisasi
Model Nonlinier
Linearisasi data eksponensial dengan
transformasi logaritma + Regresi
Linier
33
Transformasi Data:
Linierisasi Data Nonlinier

data (xi,yi) yang
memperlihatkan kecenderungan nonlinier bisa
ditransformasi sehingga kecenderungannya menjadi
linier.
Ada kalanya himpunan
 Transformasi bisa dilakukan dengan menggunakan
fungsi kebalikan

Data

Data

Data
dlsb.
dari kecenderungan data aslinya:
ekponensial dilinierkan dengan fungsi log.
pangkat dilinierkan dengan fungsi log.
kuadratik dilinierkan dengan akar kuadrat,
34
Transformasi Data:
Linierisasi Data Nonlinier (Eksponensial)

Banyak proses fisik atau
persamaan ekponensial:
kimiawi
bisa dimodelkan oleh
y  aebx
 Model nonlinier
melalui transformasi
 y   ln
a   b x
ln

a
z
a0
diubah menjadi linier
dengan fungsi log:
ini bisa
1
z  a0  a1 x

a0 & a1 selanjutnya bisa ditentukan
dengan regresi linier.
Koefisien2 model
35
Koefisien Model Linier
 Koefisien
a0
 zi  xi   zi xi  xi
2
a0 
n xi   xi 
 Koefisien
a1 
2
2
a1
n zi xi   xi  zi
n xi   xi 
2
2
36
Koefisien Model Nonlinier
(Eksponensial)
 Setelah koefisien a0 dan a1 diperoleh, nilai
koefisien model nonlinier aslinya
y  aebx
bisa ditentukan sebagai:
b  a1
a  e a0
37
Contoh:
Tabel data
 Untuk pemindaian batu
ginjal biasa diinjeksikan
beberapa tetes isotop
Teknesium-99.
Separonya akan meluruh
tiap 6 jam. Perlu 24 jam
agar radiasinya kembali
ke tingkat alamiahnya.
 Sarana: Microsoft
Excel
t
(jam)
I
(intensitas relatif)
0
1
1
0,89
3
0,71
5
0,56
7
0,45
9
0,36
38
Contoh:
Sebaran data
Intensitas Radiasi Relatif, I
1
0,8
0,6
0,4
0,2
0
0
2
4
6
8
10
Waktu, t (jam)
39
Contoh:
Transformasi data
 Proses peluruhan isotop
ekponensial:
dimodelkan oleh persamaan
I  Aet
 Model nonlinier
melalui transformasi
I   ln

ln
A  
t



z
a0
diubah menjadi linier
dengan fungsi log:
ini bisa
a1
z  a0  a1t

a0 & a1 selanjutnya bisa ditentukan
dengan regresi linier.
Koefisien2 model
40
Contoh:
Koefisien Model Linier
 Koefisien
a0
 zi  t i   zi t i  t i
2
a0 
n ti   ti 
 Koefisien
a1 
2
2
a1
n  zi ti   t i  zi
n ti   ti 
2
2
41
Contoh: Lembar Kerja Excel
A
B
C
D
E
1
i
ti
zi
(ti)^2
ti.zi
2
1
0
=LN(B16)
=B2^2
=B2*C2
3
2
1
4
3
3
5
4
5
6
5
7
7
6
9
copy
copy
copy
8
=
=SUM(B2:B7)
9
n=
=A7
10
a0 =
=(C8*D8-E8*B8)/(B9*D8-B8^2)
11
a1 =
=(B9*E8-B8*C8)/(B9*D8-B8^2)
12
A=
=EXP(B10)
13
Lambda =
=B11
copy
Contoh:
Data vs. Kurva Regresi
Intensitas Radiasi Relatif, I
1
0,8
0,6
0,4
I (data)
Regresi
0,2
0
0
2
4
6
8
10
Waktu, t (jam)
43
Contoh:
% Error Regresi
1
% Error
0,8
0,6
0,4
0,2
0
0
2
4
6
8
10
Waktu, t (jam)
44