universitas indonesia karakteristik metode pembelajaran levenberg

UNIVERSITAS INDONESIA
KARAKTERISTIK METODE PEMBELAJARAN
LEVENBERG-MARQUARDT PADA JARINGAN SARAF
TUNGGAL DAN ENSEMBLE NEURAL NETWORK
SKRIPSI
ROSANDI PRARIZKI
0806331241
FAKULTAS TEKNIK
PROGRAM STUDI TEKNIK ELEKTRO
DEPOK
JUNI 2012
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
UNIVERSITAS INDONESIA
KARAKTERISTIK METODE PEMBELAJARAN
LEVENBERG-MARQUARDT PADA JARINGAN SARAF
TUNGGAL DAN ENSEMBLE NEURAL NETWORK
SKRIPSI
Diajukan sebagai salah satu syarat untuk memperoleh gelar Sarjana Teknik
ROSANDI PRARIZKI
0806331241
FAKULTAS TEKNIK
PROGRAM STUDI TEKNIK ELEKTRO
DEPOK
JUNI 2012
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
HALAMAN PERNYATAAN ORISINALITAS
Seminar ini adalah hasil karya saya sendiri dengan bimbingan
Prof. Dr.Eng. Drs. Benyamin Kusumoputro M.Eng.,
dan semua sumber baik yang dikutip maupun dirujuk
telah saya nyatakan dengan benar.
Nama
: Rosandi Prarizki
NPM
: 0806331241
Tanda Tangan
:
Tanggal
: 11 Juni 2012
ii
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
iii
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
KATA PENGANTAR
Puji dan syukur ke hadirat Tuhan Yang Maha Esa, karena atas rahmat dan
karunia-Nya penulis dapat menyelesaikan seminar ini. Seminar ini ditulis sebagai
syarat kelulusan mata kuliah Seminar yang ditujukan untuk mempersiapkan tugas
akhir.
Penulis menyadari bahwa, tanpa bantuan dan bimbingan dari berbagai
pihak, dari masa perkuliahan sampai pada penyusunan seminar ini, sangatlah sulit
bagi penulis untuk dapat menyelesaikan seminar ini. Oleh karena itu, penulis
mengucapkan terima kasih kepada:
1)
Prof. Dr.Eng. Drs. Benyamin Kusumoputro M.Eng., selaku dosen
pembimbing yang telah menyediakan waktu, tenaga, dan pikiran untuk
mengarahkan penulis dalam penyusunan seminar ini;
2)
Renaldi Krissalam, Novia R Putri, dan Musnida Ulya, rekan-rekan dalam
satu bimbingan tugas akhir yang menjadi teman berdiskusi penulis dalam
penulisan tugas akhir;
Akhir kata, penulis berharap Tuhan Yang Maha Esa berkenan membalas segala
kebaikan semua pihak yang telah membantu. Semoga seminar ini membawa
manfaat bagi pengembangan ilmu.
Depok, Juni 2012
Penulis
iv
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
HALAMAN PERNYATAAN PERSETUJUAN PUBLIKASI TUGAS
AKHIR UNTUK KEPENTINGAN AKADEMIS
Sebagai sivitas akademik Universitas Indonesia, saya yang bertanda tangan di
bawah ini:
Nama
: Rosandi Prarizki
NPM
: 0806331241
Program Studi : Teknik Elektro
Departemen : Teknik Elektro
Fakultas
: Teknik
Jenis Karya : Sripsi
Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada
Universitas Indonesia Hak Bebas Royalti Noneksklusif (Non-exclusive RoyaltyFree Right) atas karya ilmiah saya yang berjudul:
KARAKTERISTIK METODE PEMBELAJARAN
LEVENBERG-MARQUARDT PADA JARINGAN SARAF
TUNGGAL DAN ENSEMBLE NEURAL NETWORK
beserta perangkat yang ada. Dengan Hak Bebas Royal
Royalti
ti Noneksklusif ini
Universitas Indonesia berhak menyimpan, mengalihmedia/formatkan, mengelola
dalam bentuk pangkalan data (database), merawat, dan memublikasikan tugas
seminar saya selama tetap mencantumkan nama saya sebagai penulis/pencipta dan
sebagai pemilik Hak Cipta.
Demikian pernyataan ini saya buat dengan sebenarnya.
Dibuat di : Depok
Pada tanggal : 11 Juni 2012
Yang menyatakan
(Rosandi Prarizki)
v
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
ABSTRAK
Nama
: Rosandi Prarizki
Program Studi : Teknik Elektro
Judul
: Karakteristik Metode Pembelajaran Levenberg-Marquardt
Pada Jaringan Saraf Tunggal Dan Ensemble Neural Network
Algoritma pembelajaran jaringan saraf tiruan dewasa ini semakin beragam.
Masing-masing algoritma memiliki kelebihan dan kekurangan dan menjadi hal
yang menarik untuk dipelajari. Pada penelitian ini akan dibahas mengenai
algoritma pembelajaran metode Levenberg-Marquardt yang akan digunakan
untuk jaringan saraf tunggal dan Ensemble Neural Network. Hasil percobaan
menunjukan bahwa metode Levenberg-Marquardt memiliki keunggulan dalam
kecepatan dan kestabilan.
Kata kunci:
Jaringan Saraf Tiruan, algoritma Levenberg-Marquardt, Ensemble Neural
Network.
ABSTRACT
Name
: Rosandi Prarizki
Study Program : Electrical Engineering
Title
: Characteristics of Levenberg-Marquardt Learning Akgorithm
for Single Neural Network and Ensemble Neural Network
Neural network learning algorithm is more diverse today. Each algorithm has
advantages and disadvantages, and those are interesting thing to learn. This
research will be discussed on the learning algorithm Levenberg-Marquardt
method to be used for a single neural network and Ensemble Neural Network.
Results of this research shows Levenberg-Marquardt learning algorithm has a
good speed and stability.
Key Words:
Artificial Neural Network, Levenberg-Marquardt algorithm, Ensemble Neural
Network.
vi
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
DAFTAR ISI
HALAMAN JUDUL ........................................................................................... ii
HALAMAN PERNYATAAN ORISINALITAS .................................................. ii
HALAMAN PENGESAHAN .............................................................................. ii
KATA PENGANTAR ....................................................................................... iiv
HALAMAN PERNYATAAN PERSETUJUAN PUBLIKASI TUGAS
AKHIR UNTUK KEPENTINGAN AKADEMIS ................................................ v
ABSTRAK ......................................................................................................... vi
ABSTRACT ....................................................................................................... vi
DAFTAR ISI ..................................................................................................... vii
DAFTAR GAMBAR ......................................................................................... iix
DAFTAR TABEL ............................................................................................... x
BAB 1 ................................................................................................................. 1
1.1. Latar Belakang ............................................................................................ 1
1.2. Tujuan......................................................................................................... 2
1.3. Batasan Masalah ......................................................................................... 3
1.4. Sistematika Penulisan.................................................................................. 3
BAB 2 ................................................................................................................. 5
2.1. Dasar Teori ................................................................................................. 5
2.1.1 Jaringan Saraf Tiruan ............................................................................... 5
2.1.2 Metode Optimasi Levenberg-Marquardt ................................................. 10
2.1.3 Z-Score .................................................................................................. 16
2.2. Metodologi Percobaan............................................................................... 18
2.3. Alat dan Bahan Penelitian ......................................................................... 20
2.3.1 Alat yang digunakan............................................................................... 20
2.3.2 Data Uranium Pellet ............................................................................... 20
2.4. Persamaan Matematis Metode LM pada Pembelajaran Jaringan Saraf
Tunggal ............................................................................................................. 20
2.5. Algoritma Penerapan Metode LM Pada Pembelajaran Jaringan Saraf Tiruan
......................................................................................................................... 25
2.6. Penelitian Karakteristik Proses Pembelajaran Levenberg-Marquardt ......... 31
2.6.1 Percobaan berulang tanpa variasi data .................................................... 31
2.6.2 Percobaan Variasi Rasio Data Pelatihan dan Pengetesan......................... 33
2.6.3 Percobaan variasi neuron lapisan tersembunyi. ....................................... 37
2.6.4 Percobaan penggunaan Zscore untuk set data ......................................... 43
vii
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
BAB 3 ............................................................................................................... 48
3.1. Ensemble Neural Network (ENN) ............................................................. 48
3.2. Algoritma Negative Correlation Learning.................................................. 51
3.3. Metode pembelajaran Ensemble ................................................................ 54
3.4. Implementasi Persamaan untuk Pemrograman ENN .................................. 55
3.5. Percobaan Proses Pembelajaran ENN ........................................................ 59
3.5.1 Percobaan tanpa variasi parameter .......................................................... 59
3.5.2 Percobaan Variasi Rasio Data Pembelajaran ........................................... 63
3.5.3 Percobaan Variasi Jumlah Neuron Jaringan Saraf Tiruan ........................ 67
3.5.4 Percobaan Normalisasi Data Percobaan .................................................. 70
3.5.5 Percobaan Variasi Jumlah Jaringan Saraf ............................................... 73
3.5.6 Percobaan Variasi Penalti ....................................................................... 76
BAB 4 ............................................................................................................... 80
4.1. Perbandingan kinerja pembelajaran LM dan BackPropagation .................. 80
4.2. Perbandingan Metode ENN Levenberg-Marquardt dengan Jaringan Saraf
Tunggal Metode Levenberg-Marquardt .............................................................. 85
BAB 5 ............................................................................................................... 90
Daftar Pustaka ................................................................................................... 91
LAMPIRAN ...................................................................................................... 92
viii
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
DAFTAR GAMBAR
Gambar 2.1 Sebuah Neuron ................................................................................. 6
Gambar 2.2 Rancangan Sebuah Jaringan Saraf Tiruan ......................................... 8
Gambar 2.3 Pengolahan Data Pada Masing-Masing Neuron................................. 9
Gambar 2.4 Gambar Grafik Data Masukan Dengan 5 Dimensi........................... 16
Gambar 2.5 Grafik Keluaran Zscore Gambar 2.4 ............................................... 17
Gambar 2.6 Struktur Jaringan Saraf Tiruan ........................................................ 21
Gambar 2.7 Algoritma Pemrograman Simulasi Levenberg-Marquardt ............... 30
Gambar 2.8 Grafik Hasil Percobaan Dengan Parameter Sama ............................ 33
Gambar 2.9 Grafik Tingkat Rekognisi Data Percobaan 2 ................................... 35
Gambar 2.10 Grafik Waktu Pembelajaran Percobaan 2 ...................................... 36
Gambar 2.11 Grafik Variasi Jumlah Neuron Lapisan Tersembunyi .................... 39
Gambar 2.12 Waktu Komputasi Variasi Jumlah Neuron Lapisan Tersembunyi .. 40
Gambar 2.13 Jumlah Iterasi Pembelajaran Variasi Jumlah Lapisan Tersembunyi42
Gambar 2.14 Waktu Komputasi Tiap Iterasi ...................................................... 43
Gambar 2.15 Hasil Rekognisi Percobaan Normalisasi Zscore............................. 44
Gambar 3.1 Struktur Sebuah Enn ....................................................................... 48
Gambar 3.2 Tingkat Rekognisi Percobaan Tanpa Variasi Parameter .................. 60
Gambar 3.3 Waktu Komputasi Percobaan Tanpa Variasi Parameter ................... 62
Gambar 3.4 Grafik Rasio Terhadap Tingkat Rekognisi ...................................... 63
Gambar 3.5 Grafik Rasio Terhadap Waktu Komputasi ....................................... 65
Gambar 3.6 Waktu Komputasi Tiap Iterasi ........................................................ 66
Gambar 3.7 Grafik Hasil Percobaan Jumlah Neuron .......................................... 67
Gambar 3.8 Grafik Waktu Komputasi Terhadap Jumlah Neuron ........................ 70
Gambar 3.9 Grafik Perconbaan Normalisasi....................................................... 71
Gambar 3.10 Waktu Komputasi Pembelajaran ................................................... 73
Gambar 3.11 Grafik Rekognisi Percobaan Variasi Jumlah Jaringan Saaraf......... 74
Gambar 3.12 Grafik Waktu Komputasi Percobaan Variasi Jumlah Jaringan ....... 75
Gambar 3.13 Grafik Rekognisi Terhadap Perubahan Penalti .............................. 77
Gambar 3.14 Waktu Komputasi Terhadap Nilai Penalti ..................................... 78
Gambar 4.1perbandingan Penurunan Error Backpropagation Dan LevenbergMarquardt .......................................................................................................... 81
Gambar 4.3 Algoritma Batch Processing Levenberg-Marquardt ......................... 82
Gambar 4.4 Grafik Perbandingan Waktu Komputasi Lm Dan Bp ....................... 83
Gambar 4.4 Perbandingan Tingkat Rekognisi Lm Dan Bp ................................. 84
Gambar 4.5 Set Data Untuk Perbandingan Kinerja Jaringan Tunggal Dan Enn .. 86
Gambar 4.6 Grafik Rekognisi Campuran Jeruk-Kenanga Dan Jeruk-Mawar ...... 87
Gambar 4.7 Grafik Rekognisi Campuran Jeruk-Kenanga Dan Mawar Kenanga . 87
Gambar 4.8 Grafik Rekognisi Campuran Jeruk-Kenanga Dan Mawar Kenanga . 88
Gambar 4.9 Grafik Rekognisi Campuran Jeruk Seluruh Set Data ....................... 88
ix
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
DAFTAR TABEL
Tabel 2.1. Fungsi Aktivasi ................................................................................... 9
Tabel 2.2. Ringkasan Arsitektur Jaringan Saraf Tiruan ....................................... 26
Tabel 2.3 Parameter Percobaan .......................................................................... 31
Tabel 2.4 Tabel Hasil Simulasi .......................................................................... 31
Tabel 2.5 Hasil Percobaan Variasi Rasio ............................................................ 34
Tabel 2.6 Hasil Percobaan Variasi Jumlah Neuron Lapisan Tersembunyi........... 38
Tabel 2.7 Hasil Simulasi Normalisasi Set Data .................................................. 45
Tabel 3.1 Percobaan Tanpa Variasi Parameter ................................................... 60
Tabel 3.2 Tabel Rekognisi Variasi Rasio............................................................ 64
Tabel 3.3 Hasil Percobaan Variasi Jumlah Neuron ............................................. 68
Tabel 3.4 Tabel Hasil Percobaan Normalisasi .................................................... 72
Tabel 3.5 Tabel Hasil Percobaan Variasi Jaringan Saraf ..................................... 74
Tabel 3.6 Tabel Percobaan Variasi Penalti ......................................................... 76
Tabel 4.1 Perbandingan Waktu Komputasi LM Dan BP ..................................... 83
Tabel 4.2 Tabel Perbandingan Rekognisi LM Dan BP ....................................... 84
Tabel 4.3 Hasil Simulasi Perbandingan ENN Dan Jaringan Tunggal .................. 89
x
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
BAB 1
PENDAHULUAN
1.1. Latar Belakang
Perkembangan teknologi dewasa ini sangat maju dan semakin
membantu dalam kehidupan manusia. Penggunaan teknologi di segala
bidang telah mempermudah kehidupan. Dewasa ini, perkembangan
teknologi sudah menuju ke arah pembuatan kecerdasan buatan yang
dapat mendekati kemampuan manusia. Diharapkan nantinya terdapat
sebuah teknologi yang akan dapat menggantikan posisi manusia dalam
melakukan pekerjaan. Teknologi tersebut tentunya harus cukup cerdas
dan sangat akurat.
Untuk dapat membuat sistem yang memiliki kecerdasan
mendekati manusia, maka diperlukan suatu sistem yang cara kerjanya
dapat mengikuti cara kerja otak dan saraf manusia sebagai pusat
kecerdasan. Salah satu teknologi cerdas yang dibuat manusia untuk
meniru kecerdasan manusia adalah teknologi Jaringan Saraf Tiruan.
Teknologi Jaringan Saraf Tiruan adalah suatu teknologi kecerdasan
buatan yang cara kerjanya mengikuti cara kerja saraf manusia. Sistem
ini meniru cara kerja saraf mulai dari proses penerimaan rangsangan,
proses pembelajaran dan berfikir dan proses pengambilan keputusan.
Sebuah sistem Jaringan Saraf Tiruan dapat dibuat dengan melatih
dengan pola-pola tertentu. Pola-pola tersebut yang nantinya akan
membentuk sebuah jaringan yang membuat sebuah Jaringan Saraf
Tiruan dapat mengambil keputusan yang benar.
Terdapat berbagai macam perkembangan algoritma untuk
membuat sebuah Jaringan Saraf Tiruan. Salah satu algoritma yang
sedang
dikembangkan
yaitu
algoritma
Levenberg-Marquardt.
Algoritma Levenberg-Marquardt mengadopsi metode Newton dan
metode Steepest Descent. Pengadopsian dua metode tersebut ditujukan
1
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
2
agar didapatkan sebuah metode yang dapat memiliki kelebihan dari
masing-masing metode. Seperti yang telah diketahui, metode Newton
memliki kelebihan dalam hal kecepatan untuk mencapai titik
optimumnya secara kuadratis namun memiliki kelemahan pada bagian
operasi inverse matriks yang cenderung singular. Di lain pihak, metode
Steepest Descent memiliki kelebihan pada bagian tidak adanya operasi
inverse matriks tetapi memiliki kelemahan di kecepatannya untuk
mencapai titik optimum. Berdasarkan hal tersebut, diharapkan metode
Levenberg-Marquardt dapat memiliki kelebihan dari 2 metode
tersebut dan dapat menghilangkan kekurangan keduanya.
Salah satu aplikasi metode jaringan saraf tiruan adalah
penggunaan Ensemble Neural Network. Penggunaan metode ini
memiliki keuntungan dalam hal peningkatan performa. Ide dasar
penggunaan Ensemble Neural Network adalah menggabungkan
beberapa
jaringan
saraf
tunggal
untuk
melakukan
pekerjaan
bersamaan. Metode ini menggabungkan kelebihan dari masing-masing
jaringan saraf. Sehingga performa secara keseluruhan akan meningkat.
1.2. Tujuan
Penelitian ini disusun berdasarkan riset dan percobaan yang
dilakukan dalam upaya untuk mengembangkan algoritma LevenbergMarquardt untuk diaplikasikan pada pembelajaran Jaringan Saraf
Tiruan dengan tujuan dari penelitian ini adalah sebagai berikut:
1. Mengembangkan algoritma Levenberg-Marquardt untuk melatih
Jaringan Saraf Tiruan.
2. Menerapkan
metode
Levenberg-Marquardt
sebagai
mana
disebutkan pada poin satu dalam proses pembelajaran Jaringan
Saraf Tiruan.
3. Menggunakan
metode
pembelajaran
Levenberg-Marquardt
sebagai metode pembelajaran pada Ensemble Neural Network.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
3
4. Menganalisa kinerja Ensemble Neural Network dengan metode
Levenberg-Marquardt.
5. Membandingkan kinerja Ensemble Neural Network dengan
jaringan saraf tunggal dengan metode pembelajaran LevenbergMarquardt dan Backpropagation.
1.3. Batasan Masalah
Fokus pembahasan penelitian ini adalah perilaku dan hasil
pemelajaran Jaringan Saraf Tiruan yang menerapkan metode
Ensemble Neural Network. Untuk dapat mewujudkan hal tersebut,
dilakukan beberapa perkembangan perhitungan matematis dari
metode Levenberg-Marquardt untuk mendapatkan model matematis
dari. Setelah mendapatkan model matematis, maka dibuatlah sebuah
algoritma
pemrograman
berdasarkan
algoritma
Levenberg-
Marquardt. Kemudian, untuk menjalankan simulasi, digunakan
perangkat lunak MATLAB R2009b untuk mempelajari proses
pembelajaran jaringan.
1.4. Sistematika Penulisan
Adapun berikut sistematika penulisan penelitian ini. Secara
umum, penelitian ini dibagi ke dalam 5 bab sebagai berikut:
1. Bab 1 merupakan pendahuluan yang berisi latar belakang, tujuan,
batasan masalah, dan sistematika penulisan penelitian ini.
2. Bab 2 merupakan seluruh pembahasan mengenai metode
pembelajaran Levenberg-Marquardt. Mulai dari dasar teori,
metode penelitian dan hasil penelitian yang telah dilakukan.
3. Bab 3 merupakan seluruh pembahasan mengenai metode
pembelajaran ENN. Bab ini membahas mengenai dasar teori,
metode penelitian dan hasil percobaan yang telah dilakukan.
4. Bab 4 merupakan perbandingan dan analisa yang membandingkan
metode pembelajaran jaringan saraf tunggal dengan proses
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
4
pembelajaran
Levenberg-Marquardt
dan
Backpropagation.
Kemudian, perbandingan antara kinerja jaringan tunggal dan
ENN.
5. Bab 5 merupakan kesimpulan yang diambil berdasarkan
percobaan yang dilakukan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
BAB 2
METODE PEMBELAJARAN LEVENBERGMARQUARDT
Pada bab ini dijelaskan mengenai proses pembelajaran
Levenberg-Marquardt untuk jaringan saraf tunggal. Bab ini membahas
mengenai persamaan metode pembelajaran, metode penelitian dan
simulasi pembelajaran jaringan saraf tunggal dengan metode
pembelajaran Levenberg-Marquardt.
2.1. Dasar Teori
2.1.1 Jaringan Saraf Tiruan
Jaringan Saraf Tiruan adalah sebuah kecerdasan buatan yang
dibuat dengan meniru cara kerja saraf biologis manusia. Saraf
biologis manusia bekerja dengan metode menerima rangsangan,
mengolah data tersebut dan akhirnya mengambil keputusan.
Pengambilan keputusan berdasarkan pola-pola yang telah dipelajari
manusia.
Jaringan saraf manusia merupakan jaringan yang terdiri dari
neuron-neuron yang saling berinteraksi satu sama lain yang
berfungsi mulai dari penerimaan data rangsangan dari panca indera,
pengolahan informasi dan pengiriman informasi ke saraf motorik
yang terhubung dengan otot. Secara garis besar, gambaran sebuah
neuron seperti pada gambar 2.1 dan terdiri dari :
1. Dendrite berfungsi untuk menerima informasi dari indra
maupun dari Axon neuron lain.
2. Cell body (soma) terdiri dari Nucleus yang berfungsi untuk
mengolah (umumnya menjumlah) semua informasi yang
disalurkan oleh Dendrite serta mengolah hasil penjumlahan
informasi
tersebut
bedasarkan
Threshold-nya
sebelum
disalurkan ke Axon.
5
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
6
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
6
3. Axon berfungsi sebagai penyalur informasi hasil olahan ke
neuron lain maupun ke jaringan motorik seperti otot.
Gambar 2.1 Sebuah Neuron
Seluruh informasi yang masuk ke dalam neuron kemudian di
olah. Pengolahan tersebut terjadi baik di dalam sebuah neuron
maupun pada interaksi antara neuron. Sistem kerja sebuah neuron
secara garis besar dapat digambarkan sebagai berikut :
1. Saraf sensorik menerima rangsangan dari luar.
2. Dendrite kemudian menerima informasi yang berasal dari
saraf sensorik.
3. Informasi kemudian diolah pada dalam sistem saraf.
Pengolahan tersebut terjadi dengan adanya penguatan maupun
pelemahan informasi menurut karakter dari Dendrite dan
Axon.
4. Informasi tersebut kemudian masuk dan dijumlahkan di Cell
Body.
5. Hasil penjumlahan pada Cell Body kemudian disalurkan
melalui Axon.
6. Informasi yang diolah tersebut kemudian masuk ke saraf
motorik yang terhubung dengan otot.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
7
Jaringan Saraf Tiruan bekerja sebagaimana cara kerja sebuah
neuron seperti apa yang telah dijelaskan pada paragraf di atas.
Jaringan Saraf Tiruan dibuat mengikuti sebuah neuron baik bentuk
maupun cara kerjanya. Berdasarkan cara kerja dari sistem saraf
tersebut, kemudian dimodelkan sebuah algoritma yang berupa
perhitungan matematis. Secara umum sebuah Jaringan Saraf Tiruan
dapat dimodelkan sebagai berikut :
1. Pemrosesan informasi terjadi pada elemen sederhana yang
dinamakan neuron.
2. Sinyal antar neuron disalurkan melalui sebuah saluran
penghubung.
3. Masing-masing sinyal penghubung memiliki bobot tersendiri
yang akan menguatkan atau melemahkan sebuah sinyal
informasi.
4. Masing-masing neuron dapat mengolah data baik berupa
menjumlahkan informasi yang masuk ke dalam dan juga
mengirimkan data sinyal keluaran.
Dari model yang telah disebutkan, sebuah Jaringan Saraf
Tiruan dapat dirancang berdasarkan gambar 2.2. Pada gambar
tersebut digambarkan bahwa sebuah informasi yang masuk akan
melalui tiga buah lapisan. Lapisan pertama adalah lapisan masukan
tempat masuknya informasi yang terbaca dari sebuah indera.
Lapisan kedua adalah lapisan tersembunyi. Lapisan tersembunyi
merupakan lapisan tempat pemrosesan data informasi yang masuk
melalui
lapisan
masukan.
Lapisan
tersembunyi
kemudian
mengeluarkan informasi menuju lapisan ketiga, yaitu lapisan
keluaran. Lapisan keluaran inilah tempat pengambilan keputusan
berdasakan pengolahan-pengolahan data masukan. Jika diibaratkan
sebuah sistem saraf, lapisan masukan adalah saraf sensorik,
sedangkan lapisan keluaran adalah saraf motorik.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
w
l1
2
m
w2
n
vm
v2
v 23
v 13
wlm
w
20
w 21
w 10
w
11
v 11
v12
8
Gambar 2.2 Rancangan Sebuah Jaringan Saraf Tiruan
Pada gambar 2.2, antar neuron terdapat bobot-bobot dan
terdapat 2 buah bias yang bernilai 1. Bobot-bobot inilah yang nanti
akan mengalikan informasi yang menuju sebuah neuron. Dari proses
tersebut, terjadi pelemahan dan penguatan informasi menuju salah
satu neuron. Vmn merupakan bobot yang menghubungkan antara
lapisan masukan dan lapisan tersembunyi, sedangkan lapisan
tersembunyi dan lapisan keluaran dihubungkan dengan bobot Wlm.
Bias berguna untuk kepentingan komputasi dan terhubung pada
semua neuron melalui bobot-bobot tertentu (V0m dan W0l).
Berdasarkan cara kerja sebuah neuron, informasi yang masuk ke
salah satu neuron (selain pada lapisan masukan) kemudian
dijumlahkan dan dihitung informasi keluarannya berdasarkan sebuah
fungsi aktivasi seperti digambarkan pada gambar 2.3.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
9
Gambar 2.3 Pengolahan data pada masing-masing neuron
Terdapat beberapa jenis fungsi aktifasi yang penggunaannya
disesuaikan dengan persoalan yang dihadapi. Tabel 2.1 berisi fungsi
aktifasi yang umum digunakan.
Tabel 2.1. Fungsi aktivasi
Nama Fungsi Aktifasi
= = Linear Function
Threshold Function
= Signum
= Hard
Limiter
Binary
Saturating
Saturating
Linear
Function
Bipolar
0
=
1
−1
=
1
Linear Function
Saturating
Linear Function
Sigmoid
Fungsi Aktifasi
Binary Sigmoid Function
< 0
> 0
< 0
> 0
= 0
= + 0.5
1
< 0
−1 < < 1
> 0
−1
= + 0.5
1
< 0
−1 < < 1
> 0
= = =
1
1 + Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
10
= Hyperbolic Tangent Sigmoid
=
=
− + 1 − !
1 + !
2.1.2 Metode Optimasi Levenberg-Marquardt
Levenberg-Marquardt adalah salah satu metode untuk
pembelajaran sebuah Jaringan Saraf Tiruan. Proses pembelajaran
ditujukan untuk menghitung nilai-nilai bobot yang menghubungkan
masing-masing neuron. Proses pembelajaran ditujukan untuk
mengurangi kesalahan yang terjadi pada keluaran sebuah Jaringan
Saraf Tiruan.
Selama proses pembelajaran, sebuah set data digunakan agar
Jaringan Saraf Tiruan dapat mempelajari pola dari set data tersebut.
Set data dimasukkan dan diolah pada Jaringan Saraf Tiruan
sehingga didapatkan keluaran. Keluaran tersebut kemudian akan
dicocokan dengan set data yang dimasukkan. Jika terjadi kesalahankesalahan, maka akan digunakan suatu metode pembelajaran untuk
menghitung nilai bobot yang benar. Proses ini terus berlangsung
sampai suatu kondisi yang menghentikan proses pembelajaran.
Metode
Levenberg-Marquardt
adalah
metode
yang
mengadopsi dua buah metode lain, Newton dan Steepest Descent
[6]. Untuk memahami bagaimana metode pembelajaran LevenbergMarquardt, lebih baik memahami konsep Newton dan Steepest
Descent terlebih dahulu.
Metode Steepest Descent adalah algoritma first order.
Algoritma ini menggunakan fungsi turunan dari fungsi error untuk
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
11
mencari nilai error minimum. Secara umum, persamaan gradien g
dapat dituliskan sebagai berikut :
"=
#$ %&, ()
#(
#$
=*
#(+
#$
#(!
#$ /
.
#(-
⋯
%2.1)
Metode Newton mengasumsikan g1, g2,..., gN sebagai fungsi
dari masing-masing bobot.
1+ = 2+ %(+ , (! , … , (- )
1! = 2! %(+ , (! , … , (- )
⋮
(2.2)
1 = 2- %(+ , (! , … , (- )
Dimana 2+ , 2+ , … 2- adalah hubungan nonlinear antara bobot
dan komponen gradien. Dengan menjabarkan masing-masing
persamaan pada persamaan 2.1 dengan menggunakan deret Taylor :
#1+
#1+
#1+
8 1+ = 1+,9 +
∆(+ +
∆(! + ⋯ +
∆(#(
#(
#(
+
!
6
6
#1!
#1!
#1!
1! = 1!,9 +
∆(+ +
∆(! + ⋯ +
∆(#(+
#(!
#(7
⋮
6
#1
#1
61 = 1 + - ∆( + - ∆( + ⋯ + #1- ∆(
-,9
!
5 #(+ + #(!
#(-
Dengan
menggabungkan
persamaan
persamaan
%2.3)
2.1
didapatkan
#1 # =>@A B
=
#(<
#(<
>?
#!$
=
#( #(<
%2.4)
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
12
Dengan memasukkan persamaan 2.4 ke persamaan 2.3
# !$
#!$
#!$
8 1+ = 1+,9 +
∆(
+
∆(
+
⋯
+
∆(+
!
#(+ #(!
#(+ #(#(+ !
6
6
#!$
#!$
#!$
1! = 1!,9 +
∆( +
∆(! + ⋯ +
∆(- %2.5)
#(! #(+ + #(! !
#(! #(7
⋮
6
!
#!$
# !$
#
$
61 = 1 +
∆( +
∆(! + ⋯ +
∆(-,9
#(- #(+ + #(- #(!
5
#(- !
Persamaan 2.5 dibandingkan dengan persamaan metode
Steepest Descent. Dimana untuk mendapatkan error minimum,
dicari nilai gradien harus sama dengan nol.
#!$
# !$
#!$
8 0 = 1+,9 +
∆(
+
∆(
+
⋯
+
∆(+
!
#(+ #(!
#(+ #(#(+ !
6
6
#! $
#!$
#!$
0 = 1!,9 +
∆(+ +
∆(
+
⋯
+
∆(- !
#(! #(+
#(! #(#(! !
7
⋮
6
!
#
$
#!$
# !$
60 = 1 +
∆(
+
∆(
+
⋯
+
∆(-,9
!
#(- #(+ + #(- #(!
5
#(- !
%2.6)
Dengan menggabungkan persamaan 2.1 dan 2.6
#$
# !$
#!$
# !$
8−
= 1+,9 +
∆(
+
∆(
+
⋯
+
∆(+
!
#(+ #(!
#(+ #(#(+ !
6 #(+
6 #$
#!$
#!$
#!$
−
= 1!,9 +
∆(+ +
∆(
+
⋯
+
∆(!
#(!
#(! #(+
#(! #(#(! !
7
⋮
6
!
#$
#
$
#!$
#!$
6−
= 1-,9 +
∆(+ +
∆(! + ⋯ +
∆(#(- #(+
#(- #(!
5 #(#(- !
%2.7)
Jika ditulis dalam bentuk matriks
#!$
#$
J
M J
!
I #(+ L I #(+
1+
I #$ L I # ! $
1!
F ⋮ G = I #(! L = I #( #(
I
L I ! +
1I ⋮ L I ⋯
!
I #$ L I # $
H#(- K H#(- #(+
#!$
#(+ #(!
#!$
#(! !
⋯
#!$
#(- #(!
#!$ M
#(+ #(- L
∆(+
#!$ L
∆(
!
⋯
L
#(! #(- × F ⋮ G %2.8)
L
⋯
⋯
∆(L
#!$ L
⋯
#(- ! K
⋯
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
13
Dimana matriks hessian
# !$
J
!
I #(+
I # !$
P = I #( #(
I ! +
I ⋯
!
I # $
H#(- #(+
#!$
#(+ #(!
#!$
#(! !
⋯
# !$
#(- #(!
# !$ M
#(+ #(- L
# !$ L
⋯
L
#(! #(⋯
⋯ L
L
# !$ L
⋯
#(- ! K
⋯
%2.9)
Dengan menggabungkan persamaan 2.9, 2.8 dan 2.1
−" = P∆R
Sehingga
(2.10)
%2.11)
−∆R = P+ "
Maka persamaan update bobot menjadi
%2.12)
RST+ = RS − PS + "S
Dari persamaan tersebut didapatkan sebuah persamaan untuk
mencari nilai bobot setelah satu proses pembelajaran. Untuk
mempermudah perhitungan matriks Hessian digunakan perhitungan
matriks Jacobian.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
14
#+,+
J
I #(+
I #+,!
I #(+
I ⋯
I #+,V
I #(+
U=I ⋯
I #W,+
I #(
+
I
#
W,+
I
I #(+
I ⋯
I#W,V
H #(-
#+,+
#(!
#+,!
#(!
⋯
#+,V
#(!
⋯
#W,+
#(!
#W,+
#(+
⋯
#W,V
#(-
⋯
⋯
⋯
⋯
⋯
⋯
⋯
⋯
⋯
#+,+
M
#(- L
#+,! L
#(- L
⋯ L
#+,V L
#(- L
⋯ L
#W,+ L
#(- L
L
#W,+ L
#(- L
⋯ L
#W,V L
#(- K
%2.13)
Dengan memasukkan persamaan 2.1 ke persamaan error
kuadratis
!
W
V
# = ∑WY[+ ∑V
#Y,Z
Z[+ Y,Z B
#$
!
1 =
=
=\
\
]
^ %2.14)
#(
#(
#( Y,Z
Y[+
Z[+
+
Sehingga persamaan gradien g menjadi
" = U_
%2.15)
+,+
J +,! M
I ⋯ L
I L
I +,V L
_=I ⋯ L
I W,+ L
I W,! L
I ⋯ L
HW,V K
%2.16)
Di mana vektor e adalah
Dengan memasukan persamaan 2.9 ke persamaan error
kuadratis
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
15
ℎ,<
!
W
V
# =! ∑WY[+ ∑V
#Y,Z Y,Z
Z[+ Y,Z B
#$
=
=
=\
\
]
^ %2.17)
#(,<
#(,<
#( #(<
Y[+
Z[+
+
Sehingga hubungan antara matriks Hessian dan matriks
Jacobian seperti terdapat pada persamaan
%2.18)
P = U/ U
Substitusi persamaan 2.12, 2.15 dan 2.18 akan menghasilkan
persamaan
%2.19)
RST+ = RS − US / US US _S
+
Namun, persamaan di atas masih memungkinkan terjadinya
matriks yang singular untuk perkalian matriks Jacobian. Agar
perkalian matriks Jacobian selalu dapat di cari inversnya, maka
perkalian matriks Jacobian harus ditambahkan diagonalnya dengan
sebuah konstanta.
%2.20)
P = US / US + ab
Sehingga matriks Hessian tidak akan pernah singular.
Kemudian dengan memasukkan persamaan 2.20 ke persamaan 2.19
persamaan Levenberg-Marquardt dapat dituliskan sebagai berikut
RST+ = RS − US / US + ab
US _S
+
%2.21)
Dimana nilai µ merupakan nilai konstanta yang dapat berubah
nilainya. Jika nilai µ sangat kecil, maka persamaan tersebut akan
menjadi seperti persamaan 2.19. Sedangkan jika nilai µ sangat
besar, maka persamaan update bobot akan menjadi seperti
persamaan Steepest Descent.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
16
2.1.3 Z-Score
Sebuah jaringan saraf tiruan dapat melakukan pemodelan
baik untuk fungsi yang linear, maupun non linear. Fungsi-fungsi
tersebut dapat dicari modelnya dengan melakukan proses
pembelajaran dengan memasukkan data-data masukan yang
memiliki target. Namun, terdapat permasalahan dalam range dan
nilai rata-rata masing-masing dimensi. Tidak semua data memiliki
range dan nilai rata-rata yang sama. Kondisi ini akan membuat
jaringan saraf lebih sulit untuk memodelkan suatu fungsi dengan
data masukan tersebut.
Gambar 2.4 Gambar grafik data masukan dengan 5 dimensi
Pada gambar 2.4 terdapat contoh grafik data masukan dengan
5 dimensi. Dapat terlihat data tersebut memiliki 5 buah garis yang
saling terpisah. Selain itu, lebar jangkauan masing-masing data juga
berbeda. Garis yang berwarna merah memiliki jangkauan yang
paling lebar dan garis yang berwarna ungu adalah data yang
memiliki jangkauan paling kecil.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
17
Data pada gambar 2.4 jika dimasukkan dan dimodelkan oleh
jaringan saraf akan terdapat kesalahan atau error yang sangat besar
saat kondisi training. Hal ini terjadi karena jaringan saraf akan lebih
sulit untuk menentukan dimenasi mana yang lebih berpengaruh dan
kurang berpengaruh pada keluaran jaringan. Oleh karena itu, untuk
menyeragamkan nilai rata-rata dan jangkauan masing-masing
dimensi, digunakan suatu metode yang disebut dengan Zscore.
Zscore dapat menghasilkan data yang lebih seragam dalam
hal jangkauan dan rata-ratanya. Hasil keluaran dari Zscore dapat
lebih mudah dikenali oleh jaringan saraf karena nilainya yang lebih
seragam.
Gambar 2.5 Grafik keluaran Zscore gambar 2.4
Metode Zscore menghitung nilai rata-rata dan standar deviasi
dari masing-masing dimensi data awal. Kemudian, data tersebut
akan dikurangi dengan rata-ratanya agar nilai rata-rata seluruh
dimensi menjadi 0. Setelah dikurangi data masih memiliki nilai
jangkauan yang berbeda-beda. Oleh karena itu, data kemudian
dibagi dengan standar deviasi agar jangkauan data menjadi lebih
seragam. Secara umum, persamaan untuk fungsi Z-score adalah :
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
18
c=
2.2. Metodologi Percobaan
d − de
f
%2.22)
Pada penelitian kali ini percobaan yang dilakukan adalah
percobaan simulasi dari proses pembelajaran Jaringan Saraf Tiruan
dengan metode pembelajaran Levenberg-Marquardt. Secara garis
besar, langkah-langkah untuk menjalankan simulasi terbagi menjadi
4 tahap yaitu :
1. Proses Data
Untuk percobaan simulasi pembelajaran, diperlukan
sebuah set data yang nantinya akan dipelajari polanya oleh
Jaringan Saraf Tiruan. Pada tahap ini, proses data termasuk
pengolahan data sebelum data tersebut digunakan untuk
proses pembelajaran dan proses pengetesan. Pemrosesan data
yang
pertama
dilakukan
adalah
menggunakan
proses
perhitungan Z-score untuk set data masukan. Proses Z-score
bertujuan untuk normalisasi data agar data memiliki nilai ratarata yang sama. Setelah proses Z-score, kemudian data akan
dibagi menjadi dua. Bagian pertama adalah data yang
dijadikan data untuk pembelajaran. Sedangkan bagian yang
lain adalah data untuk proses pengetesan.
Data yang digunakan merupakan data uranium pellet
yang memiliki 3 kelas. Data tersebut disusun bergantian
menurut kelasnya. Sehingga, proses pemrograman akan lebih
mudah dilakukan dan mengurangi kesalahan indeks kelas.
2. Inisialisasi
Inisialisasi
merupakan
tahap
pemberian
nilai
parameter yang akan digunakan untuk proses pembelajaran.
Parameter-parameter yang dimasukan seperti learning rate,
rasio data pembelajaran dan pengetesan, dan variabel lain
yang diperlukan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
19
Inisialisasi lain yang terdapat pada tahap ini adalah
tahap inisialisasi bobot. Inisialisasi bobot dilakukan untuk
memberikan nilai awal bobot pada Jaringan Saraf Tiruan.
Bobot-bobot inilah yang nantinya akan di ubah nilainya
berdasarkan proses pembelajaran. Inisialisasi bobot yang
digunakan adalah dengan menggunakan metode NguyenWidrow.
3. Proses Pembelajaran
Tahap ini merupakan bagian di mana Jaringan Saraf
Tiruan dengan algoritma LM dilatih. Proses pelatihan
dilakukan secara offline di mana data dibuat dalam database
yang bisa diakses setiap saat. Hal ini dilakukan karena
ketidak mampuan Jaringan Saraf Tiruan untuk dilatih secara
online
(data
diambil
secara
langsung
setiap
ketika
dibutuhkan) karena proses pembelajaran Jaringan Saraf
Tiruan merupakan proses yang berulang-ulang hingga
akhirnya mencapai nilai yang konvergen. Apabila dilakukan
secara online, sulit bagi Jaringan Saraf Tiruan untuk
mendapatkan data yang sama untuk pembelajaran iterasi
kedua sehingga akan sulit bagi Jaringan Saraf Tiruan ini
untuk konvergen.
Hasil
yang
diharapkan
diperoleh
dari
proses
pembelajaran ini adalah bobot-bobot antar neuron yang
nantinya digunakan untuk bagian pengetesan serta perilaku
pembelajaran Jaringan Saraf Tiruan ini seperti waktu
komputasi, dan tecognition rate untuk data pelatihan.
4. Proses Pengetesan
Tahap ini merupakan bagian dimana bobot yang telah
diperoleh dari proses pembelajaran digunakan untuk mencari
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
20
recognition rate dari data pengujian yang telah disiapkan
sebelumnya.
2.3. Alat dan Bahan Penelitian
2.3.1 Alat yang digunakan
Untuk melakukan simulasi pada percobaan kali ini digunakan
sebuah perangkat computer dengan spesifikasi sebagai berikut :
•
Prosesor : Intel core i3 3.10 Ghz
•
Memori : DDR3 4.00 GB
•
Software : Matlab R200b
2.3.2 Data Uranium Pellet [2]
Data yang digunakan untuk penelitian kali ini adalah data
untuk klasifikasi uranium. Set data terdiri dari 150 data yang terdiri
dari 3 kelas klasifikasi. Setiap kelas terdiri dari 50 data. Masingmasing data pada set data ini terdiri dari lima buah parameter.
Masing-masing parameter tersebut yaitu tinggi butiran (H), volume
butiran (V), berat butiran (W), kepadatan butiran (D), dan
kepadatan butiran secara teori (TD).
2.4. Persamaan Matematis Metode LM pada Pembelajaran Jaringan Saraf
Tunggal
Pada bagian ini akan dijelaskan mengenai persamaan yang
digunakan untuk penerapan metode Levenberg-Marquardt untuk
proses pembelajaran Jaringan Saraf Tiruan yang disimulasikan.
Misalkan, digunakan sebuah Jaringan Saraf Tiruan yang memiliki 3
lapisan. Lapisan pertama yang merupakan lapisan masukan terdiri
dari 5 buah neuron dan 1 buah bias. Lapisan kedua yang merupakan
lapisan tersembunyi terdiri dari 3 buah neuron dan 1 buah bias.
Lapisan terakhir merupakan lapisan keluaran yang terdiri dari 3
buah neuron. Gambar Jaringan Saraf Tiruan yang dimaksud
terdapat pada gambar 3.1.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
21
W
19
W
W4
8
W1
W 228
W2
23
WW
W1 W 6 W1
9 14 W 5
5
6
7
W 22
W2
6
2
W1
30
W
W7
1
W
W
Gambar 2.6 Struktur Jaringan Saraf Tiruan
Berdasarkan gambar 2.6 dapat terlihat jumlah bobot yang
terdapat pada jaringan tersebut berjumlah 30 buah. Untuk
perhitungan selanjutnya, 30 buah bobot tersebut disusun menjadi
sebuah vektor bobot yang di beri nama Wk. Seluruh masukan juga
dibuat menjadi vektor data X.
gS = hi+
n = hd+
i!
d!
ij
dj
⋯
do
i!k
dp m
i!l
ij9 m
%2.23)
%2.24)
Pada subbab 2.1 diperoleh persamaan untuk update bobot
berdasarkan metode Levenberg-Marquardt. Persamaan 2.21 adalah
persamaan yang akan digunakan untuk memperbarui bobot jaringan
yang
diharapkan
akan
memperbaiki
kesalahan
pada
saat
pembelajaran. Sehingga persamaan 2.21 dapat ditulis kembali
seperti pada persamaan 3.3
gST+ = gS − US / US + aS b
US / q%gr )
+
%2.25)
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
22
Vektor error matriks error E merupakan matriks nilai error
yang terdapat saat bobot yang digunakan pada jaringan adalah Wk.
Matriks error tersebut merupakan selisih dari target dan keluaran
dari Jaringan Saraf Tiruan.
%2.26)
q%gr ) = sY − tY = _Y
Dimana p adalah jumlah data dan l adalah jumlah keluaran
dari Jaringan Saraf Tiruan.
Seperti telah disebutkan pada dasar teori, matriks Jacobian
digunakan untuk mempermudah perhitungan. Penyusunan matriks
Jacobian berdasarkan persamaan 2.13. Untuk satu jumlah data
dapat disusun sebuah matriks Jacobian seperti berikut.
#_+,+
J
I #i+
I#_+,!
U=I
#i+
I
#_
I +,j
H #i+
#_+,+
#i!
#_+,!
#i!
#_+,j
#i!
⋯
⋯
⋯
#_+,+
M
#ij9 L
#_+,! L
#ij9 L
L
#_+,j L
#ij9 K
%2.27)
Dari persamaan 2.27, ukuran matriks Jacobian adalah 3 x 30.
Apabila jumlah inputan atau jumlah neuron ditingkatkan, dapat
dibayangakan bahwa ukuran matriks Jacobian akan sangat besar dan
operasi matriks akan sulit untuk dilakukan. Sebagai contoh, apabila
jumlah data adalah 100, maka ukuran matriks jacobian adalah 300 x
30. Untuk mengatasi masalah ini, maka matriks Jacobian dicari
secara terpisah untuk setiap elemen vektor epl dan hasil vektor
Jacobian ini digunakan untuk mencari tambahan matriks Hessian
(∆Hk) dan tambahan vektor gradien (∆gk). Berikut pembuktiannya
v+
vj
x
v!
. dan w = * + ., maka:
x!
vo
dengan menggunakan aljabar linear.
Misalkan, u = *
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
23
u/ × w = *
v+
v!
v
u/ × u = * +
v!
v x + vj x!
vj
x
. × * +. = * + +
.
vo
x!
v! x+ + vo x!
=*
v+
v
. × x+ + * j . × x!
v!
vo
=*
v+
. × hv+
v!
vj
v
.×* +
vo
vj
v v + v j vj
v!
.=* + +
vo
v! v+ + vo vj
v! m + *
vj
. × hvj
vo
v+ v! + vj vo
.
v! v! + vo vo
vo m
Untuk ukuran data set pelatihan yang besar, perhitungan
matriks gk dan Hk dilakukan dengan cara menghitung matriks ∆gk
dan ∆Hk di mana perhitungan keduanya sama seperti perhitungan gk
dan Hk hanya saja dilakukan untuk setiap komponen vektor epl.
Kedua nilai ∆gk dan ∆Hk digunakan untuk memperbaharui nilai gk
dan Hk sesuai dengan formula 3.6 dan 3.7.
"S = "S + ∆"S
(2.28)
PS = PS + ∆PS
Permasalah
berikutnya
(2.29)
yang
dihadapi
adalah
metode
pengisian matriks Jacobian. Terdapat 2 metode untuk menebak nilai
setiap elemen pada matriks Jacobian yakni dengan cara mengubah
bobot yang terkait dan mencari selisih error yang dihasilkan akibat
perubahan bobot ini. Cara ini relatif kurang praktis karena sulitnya
algoritma yang diperlukan dan mengakibatkan bertambahnya waktu
komputasi karena komputer perlu menghitung ulang error
(feedforward) untuk setiap perubahan bobot dan hal ini akan sangat
tidak praktis apabila metode ini digunakan untuk mengolah data
yang banyak. Cara kedua adalah dengan menurunkan persamaan
matematis dan cara ini dirasakan paling baik dan akan dibahas
berikut ini.
Sebelum menurunkan persamaan matematis untuk mengisi
matriks Jacobian ini, akan lebih baik untuk mengetahui persamaan
matematis untuk keluaran setiap neuron keluaran. Hal ini diperlukan
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
24
untuk kepentingan penurunan formula pengisian matriks Jacobian
yang
menggunakan
aturan
rantai
yang
mana
aturan
ini
memanfaatkan hubungan matematis antar fungsi untuk menentukan
pengaruh perubahan parameter di salah satu fungsi terhadap fungsi
lainnya. Berikut perumusannya:
Untuk l = 1:
y+ = %+ )
= %i+l + c+ i!9 + c! i!+ + cj i!! )
= %i+l + %z+ )i!9 + %z! )i!+ + %zj )i!! )
(2.30)
i+l + %i+ + d+ i! + d! ij + dj io + do ip + dp i| )i!9 +
{ %i} + d+ ik + d! il + dj i+9 + do i++ + dp i+! )i!+ + ~
%i+j + d+ i+o + d! i+p + dj i+| + do i+} + dp i+} )i!!
Untuk l = 2:
y! = %! )
= %i!j + c+ i!o + c! i!p + cj i!| )
= %i!j + %z+ )i!o + %z! )i!p + %zj )i!| )
(2.31)
i!j + %i+ + d+ i! + d! ij + dj io + do ip + dp i| )i!o +
{ %i} + d+ ik + d! il + dj i+9 + do i++ + dp i+! )i!p + ~
%i+j + d+ i+o + d! i+p + dj i+| + do i+} + dp i+} )i!|
Untuk l = 3
yj = %j )
= %i!} + c+ i!k + c! i!l + cj ij9 )
= %i!} + %z+ )i!k + %z! )i!l + %zj )ij9 )
(2.32)
i!} + %i+ + d+ i! + d! ij + dj io + do ip + dp i| )i!k +
{ %i} + d+ ik + d! il + dj i+9 + do i++ + dp i+! )i!l + ~
%i+j + d+ i+o + d! i+p + dj i+| + do i+} + dp i+} )ij9
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
25
2.5. Algoritma Penerapan Metode LM Pada Pembelajaran Jaringan Saraf
Tiruan
Dari hasil penurunan dan hasil perhitungan persamaan
matematis pada subbab sebelumnya, maka di subbab ini akan
dibahas mengenai algoritma LM yang diterapkan pada proses
pembelajaran Jaringan Saraf Tiruan untuk data iris yang telah di
bahas pada subbab sebelumnya.
Struktur Jaringan Saraf Tiruan yang akan dibuat pada
percobaan ini, terdiri dari tiga buah lapisan, yaitu lapisan masukan,
lapisan tersembunyi dan lapisan keluaran. Pada masing-masing
lapisan terdapat sejumlah neuron dengan jumlah tertentu. Lapisan
masukan memiliki jumlah neuron sebanyak empat buah. Jumlah
tersebut sesuai dengan jumlah dimensi masukan yang berjumlah
empat buah. Sedangkan untuk lapisan tersembunyi, jumlah neuron
di dalamnya adalah dua buah. Jumlah ini didapatkan dari
pengalaman dan pengamatan pada Jaringan Saraf Tiruan dimana
hasil optimum akan didapatkan jika jumlah neuron lapisan
tersembunyi setengah dari jumlah neuron lapisan masukan. Untuk
lapisan keluaran, jumlah neuron yang ada di dalamnya berjumlah
sama dengan jumlah kelas yang ada pada data pembelajaran, yaitu
tiga buah.
Fungsi aktifasi yang digunakan pada percobaan ini berjumlah
2 yaitu fungsi linear dan fungsi sigmoid seperti yang ada pada
persamaan 2.33 dan 2.34. Pemilihan fungsi aktifasi ini dilakukan
berdasarkan
pengalaman dan pengamatan yang selama ini
dilakukan. Fungsi aktifasi linear digunakan pada neuron-neuron
pada lapisan masukan dan fungsi aktifasi sigmoid digunakan pada
neuron-neuron pada lapisan tersembunyi dan lapisan keluaran.
f (x ) = x
f (x ) =
(2.33)
1
1 + e−x
(2.34)
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
26
Tabel 2.2. Ringkasan arsitektur Jaringan Saraf Tiruan
Jumlah lapisan masukan
1
Jumlah lapisan tersembunyi
1
Jumlah lapisan keluaran
1
Jumlah neuron masukan
5
Jumlah neuron tersembunyi
2
Jumlah neuron keluaran
3
Fungsi aktifasi lapisan masukan
Linear
Fungsi aktifasi lapisan tersembunyi
Sigmoid
Fungsi aktifasi lapisan keluaran
Sigmoid
Jumlah data pelatihan
30 data per kelas
Jumlah data pengetesan
20 data perkelas
Jaringan Saraf Tiruan yang digunakan pada percobaan ini
memiliki arsitektur yang sama dengan Jaringan Saraf Tiruan yang
digunakan sebagai contoh pada pembahasan pada subbab 2.2. Oleh
karena itu, hasil perhitungan yang ditunjukkan pada tabel lampiran
dapat digunakan untuk membentuk algoritma program pembelajaran
Jaringan Saraf Tiruan dengan metode LM.
Pada tabel 3.2, dapat dilihat bahwa terdapat pola-pola yang
secara garis besar dapat digolongkan kedalam dua kategori yakni
ketika perubahan error dicari untuk perubahan bobot diantara
lapisan masukan dengan lapisan tersembunyi dan untuk perubahan
bobot diantara lapisan tersembunyi dengan lapisan keluaran. Pada
kategori pertama, perubahan error terhadap bobot-bobot yang masuk
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
27
ke neuron yang sama hanya memiliki perubahan pada suku terakhir.
Untuk kategori kedua, pola yang terlihat adalah nilai hanya ada
untuk perubahan error terhadap bobot yang berhubungan dengan
keluaran atau error yang sedang diperhatikan. Berdasarkan hal
tersebut dan merujuk pada dasar teori, maka dikembangkan
algoritma berikut yang dituang dalam bentuk poin-poin.
1. Inisialisasi
a. u = 0.001
b. epoh = 0
c. err_total = 1
d. n_kelas = 3
e. n_data = 150
f. n = jumlah dimensi = 5
g. N = n + 1 = 6
h. m = jumlah neuron lapisan tersembunyi = 3
i. M = m + 1 = 4
j. l = n_kelas
2. Membuat matriks data pelatihan dan data pengetesan
a. Xi = data training (ukuran 75 x n)
b. Untuk setiap i = 1 – 75, lakukan langkah berikut
i. Xi_tr = [1; Xi]
c. Xi = data testing (ukuran 75 x n)
d. Untuk setiap i = 1 – 75, lakukan langkah berikut
i.
Xi_ts = [1; Xi]
3. Membuat matriks target
a. T = matriks identitas ukuran n_kelas x n_kelas
4. Inisialisasi bobot dengan Nguyen-Widrom
a. Membuat matriks Vmn(n x m)
i. Membuat matriks vmn berisi bilangan acak antara -0.5 hingga 0.5
1/ n
ii. β = 0.7 × m
iii. Untuk setiap m = 1 – m, lakukan langkah berikut:
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
28
vm =
∑v
2
mi
i =1
1. Buat matriks vm (1 x m) dengan aturan
v mn =
n
β × v mn
vm
2. Untuk setiap n = 1 – n, lakukan
iv. Membuat matriks vm0 berisi bilangan acak antara –β hingga β
v. Membuat martriks Vmn (m x n) sesuai aturan:
Vmn
 v10
v
=  20
 M

v m 0
v11 K v1n 
v 21 L v 2 n 
M O M 

v m1 L v mn 
b. Membuat matriks Wlm (l x m)
i.
ii.
iii.
Membuat matriks wlm berisi bilangan acak antara -0.5 hingga 0.5
β = 0.7 × l 1 / m
Untuk setiap l = 1 – l, lakukan langkah berikut:
wl =
∑v
2
li
i =1
1. Buat matriks wl (1 x l) dengan aturan
wlm =
m
β × wlm
2. Untuk setiap m = 1 – m, lakukan
wl
iv.
Membuat matriks wl0 berisi bilangan acak antara –β hingga β
v.
Membuat martriks Wlm (m x l) sesuai aturan:
Wmn
 w10
w
=  20
 M

 wl 0
w11 K w1m 
w21 L w2 m 
M O M 

wl1 L wlm 
5. Membentuk vektor Wp dengan aturan:
Wp = [V1n; V2n; ...; Vmn;W1m; W2m; ...; Wlm]
6. banyak_kolom = ukuran banyak kolom dari vektor Wp
7. Inisialisasi lanjutan
a. Siapkan vektor kosong Jpl ukuran 1 x banyak_kolom
b. Siapkan matriks kosong Qpl ukuran banyak_kolom x banyak_kolom
c. Siapkan vektor kosong gpl ukuran 1 x banyak_kolom
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
29
8. Untuk epoh < 200 atau e > 0.01, lakukan langkah berikut:
a. Timer mulai berjalan
b. Untuk setiap i = 1 – 75, lakukan langkah berikut:
i.
Perhitungan di hidden layer
a. z_in = Xi_tr(i,:)*Vmn
b. zm = f(z_in)
c. S_inm= f’(z_in)
d. Zm = [1 zm]
ii.
Perhitungan di output layer
a. y_in = zm*Wlm
b. yl = f(y_in)
c. SL_inl= f’(y_in)
iii.
Untuk l = 1 – l (untuk setiap neuron keluaran), lakukan langkah
berikut:
a. Menghitung nilai error dengan aturan:
epl(i,l) = T (k,l) – yl
b. Untuk m = 1 – m, lakukan langkah berikut:
i.
SMm = SL_inl * wlmT * S_inm
c. Membentuk vektor Jpldengan aturan:
Jpl = [SM1 * Xi_tr(i,:); ...; SMm * Xi_tr(i,:); SL_in1 * Zm;
...; SL_inl * Zm]
d. Mengupdate matriks Qpl
i.
dQpl = JplT * Jpl
ii.
Qpl = Qpl +dQpl
e. Mengupdate vektor gpl
i.
dgpl = JplT * epl(i,l)
ii.
gpl = gpl +dgpl
c. err_total = 0.5 * epl * eplT
d. Waktu timer berhenti dan disimpan di variabel time
e. Mengupdate vektor Wp
i. dWp = gpl * (Qpl+ uI)-1
ii. Wp = Wp +dWp
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
30
f. Mengurai vektor Wp menjadi Vmn dan Wlm
g. Nilai bobot baru dimasukan ke proses feed forward dan dicari nilai
error yang baru. Jika error tidak turun, maka nilai u diperbesar. Dan
update vector Wp dilakukan kembali.
Gambar 2.7 Algoritma Pemrograman Simulasi Levenberg-Marquardt
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
31
2.6. Penelitian Karakteristik Proses Pembelajaran Levenberg-Marquardt
2.6.1 Percobaan berulang tanpa variasi data
Percobaan yang dilakukan pada subbab ini melakukan
percobaan sebagai percobaan awal untuk melakukan simulasi
pembelajaran jaringan saraf tunggal dengan metode LevenbergMarquardt. Parameter-parameter yang digunakan ditentukan secara
acak. Parameter-parameter tersebut dituliskan dalam tabel berikut :
Tabel 2.3 Parameter percobaan
No.
Parameter
Nilai parameter
1.
Konstanta laju pembelajaran
0.01
2.
Epoh maksimum
200
3.
Error minimum
0.01
4.
Jumlah neuron lapisan tersembunyi
3
5.
Jumlah kelas
3
6.
Jumlah data pelatihan
25 data tiap kelas
7.
Jumlah data pengetesan
25 data tiap kelas
Tabel 2.4 Tabel Hasil Simulasi
Time (s)
Percobaan 1
Rekognisi data
Rekognisi data
pelatihan (%)
pengetesan (%)
94.67
93.33
3.020
Percobaan 2
3.189
98.67
93.33
Percobaan 3
3.120
98.67
93.33
Percobaan 4
3.099
98.67
96.00
Percobaan 5
3.031
98.67
93.33
Percobaan 6
3.164
98.67
93.33
Percobaan 7
3.027
98.67
93.33
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
32
Percobaan 8
3.106
98.67
93.33
Percobaan 9
3.072
98.67
94.67
Percobaan 10
3.080
98.67
96.00
Rata-Rata
3.091
98.27
94.00
Dari tabel 2.4 dapat dilihat hasil percobaan yang dilakukan
dengan menggunakan parameter inisialisasi sesuai dengan tabel 2.3.
Percobaan dilakukan sebanyak sepuluh kali dengan parameter yang
sama. Jumlah percobaan sepuluh kali dilakukan untuk melihat
kestabilan proses pembelajaran.
Pada tabel 2.4 dapat dilihat karakteristik hasil percobaan yang
telah dilakukan. Karakteristik tersebut terdiri dari waktu komputasi
proses pembelajaran dan tingkat rekognisi data pelatihan dan
pengetesan. Dari hasil percobaan dapat dilihat hasil percobaan yang
dilakukan menghasilkan tingkat rekognisi terbaik ada pada
percobaan 4 dan 10 sebesar 98.67% untuk data pelatihan dan
96.00% untuk data pengetesan. Untuk waktu komputasi yang
tercepat, terjadi pada saat percobaan pertama yaitu selama 3.020
sekon.
Dalam hal kestabilan, dapat terlihat bahwa data pelatihan
yang dilakukan dengan menggunakan parameter inisialisasi tersebut
sudah stabil. Variansi waktu komputasi, rekognisi data pelatihan
dan pembelajaran berturut-turut, yaitu : 0.003, 1.440 dan 1.156.
Nilai tersebut membuktikan bahwa jangkauan dari masing-masing
data kecil sehingga dapat dianggap data-data tersebut stabil.
Pada hasil simulasi yang telah dilakukan, dapat dilihat tingkat
rekognisi data pelatihan dan data pengetesan selalu berbeda dan
nilai rekognisi data pengetesan selalu lebih kecil dari rekognisi data
pelatihan. Hal ini disebabkan oleh data untuk percobaan yang
memiliki variasi, sebab data untuk pelatihan dan data pengetesan
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
33
tidak boleh identik namun masih dalam kelompok set data yang
sama. Jika dilakukan
dilakukan percobaan dengan menggunakan data
pelatihan dan data pengetesan yang identik, tingkat rekognisi dapat
dipastikan sangat baik. Seperti dapat dilihat di tabel 2.4 di mana
rekognisi data pelatihan hampir selalu stabil di angka 98.67%.
Rekognisi Data
100
80
60
40
20
0
Rekognisi Pembelajaran
Rekognisi pengetesan
1
2
3
4
5
6
7
8
9
10
Percobaan
Gambar 2.8 Grafik Hasil Percobaan dengan parameter sama
2.6.2 Percobaan Variasi Rasio Data Pelatihan dan Pengetesan
Percobaan kedua yang dilakukan untuk melihat karakteristik
pembelajaran
metode
Levenberg-Marquardt
adalah
dengan
menggunakan variasi rasio data pelatihan dan pengetesan.
Percobaan ini dilakukan untuk melihat bagaimana karakteristik dari
metode pembelajaran Levenberg-Marquardt jika dilatih dengan
jumlah data pelatihan yang berbeda.
Percobaan yang dilakukan menggunakan lima
lima buah variasi
rasio data pelatihan dan pembelajaran. Secara berturut-turut kelima
variasi rasio data pembelajaran dan pengetesan tersebut, yaitu :
30%:70%, 40%:60%, 50%:50%, 60%:40% dan 70%:30%. Maksud
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
34
dari variasi data tersebut adalah, misalkan untuk rasio 30%:70%,
maka jumlah data pelatihan adalah 30% dari total seluruh data dan
70% adalah jumlah persentase data pembelajaran dari total seluruh
data pada set data yang digunakan. Seperti yang disebutkan pada
subbab sebelumnya, data yang digunakan tidak boleh sama untuk
data pembelajaran dan data pelatihan.
Inisialisasi parameter pembelajaran yang dilakukan pada
percobaan ini di tuliskan pada tabel berikut:
Untuk masing-masing rasio data percobaan, dilakukan 10 kali
percobaan. Hal ini ditujukan agar data yang didapatkan merupakan
data rata-rata yang lebih dapat mewakili kondisi sebenarnya dari
rasio data tersebut.
Tabel 2.5 Hasil Percobaan Variasi Rasio
Pelatihan(%):
Pengetesan(%)
Time (s)
30:70
40:60
50:50
60:40
70:30
0.630
2.539
3.091
3.409
3.873
Rekognisi
data pelatihan
(%)
99.11
98.17
98.27
98.78
99.05
Rekognisi data
pengetesan (%)
93.71
90.78
94.00
93.67
97.78
Berdasarkan hasil percobaan yang telah dilakukan, dapat
dilihat tingkat rekognisi tertinggi terjadi saat data pembelajaran
berjumlah 70% dari total seluruh data yang bernilai 99.05% untuk
data pembelajaran dan 97.78% untuk data pengetesan. Sedangkan
yang terendah terjadi pada saat data pembelajaran berjumlah 40%
yang bernilai 98.17% untuk data pembelajaran dan 90.78% untuk
data pengetesan. Untuk waktu pembelajaran, waktu terlama terjadi
saat data pembelajaran berjumlah 70% dari jumlah data dan waktu
tercepat terjadi saat data pembelajaran berjumlah 30% dari jumlah
data.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
35
Tingkat Rekognisi
100
80
60
40
20
0
Rekognisi data
pengetesan (%)
Rekognisi data pelatihan
(%)
30:70 40:60
50:50
60:40
70:30
Gambar 2.9 Grafik tingkat rekognisi data percobaan 2
Berdasarkan gambar 2.9 dan tabel 2.5, terlihat bahwa
semakin banyak data yang digunakan untuk pembelajaran, semakin
besar pula tingkat rekognisi data. Data yang semakin banyak
dimasukan ke dalam jaringan saraf, maka akan mengakibatkan
jaringan saraf tersebut semakin mengenali data yang sedang
dipelajari. Sehingga pola-pola yang terdapat pada set data tersebut
akan dapat dipelajari dengan baik oleh jaringan saraf.
Namun, terjadi
terjadi sebuah pengecualian teori di atas. Pada tabel
dan grafik dapat terlihat bahwa tingkat rekognisi terkecil tidak
terjadi saat data pembelajaran berjumlah 30% dari data seluruh
data. Seharusnya, menurut teori tersebut, tingkat rekognisi bernilai
paling kecil terjadi saat rasio data pembelajaran adalah 30 %,
dimana nilai tersebut adalah nilai rasio yang terkecil. Tetapi
kejadian ini tidak terjadi. Kondisi yang terjadi adalah tingkat
rekognisi data yang terkecil terjadi saat rasio data pembelajaran
40% dari seluruh data.
Berdasarkan kondisi yang telah dijabarkan pada paragraf di
atas, memang terlihat teori yang telah dijabarkan tidak terbukti.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
36
Tetapi, teori tersebut tidak sepenuhnya salah. Data terbaik tetap
terjadi pada rasio tertinggi dari percobaan. Kondisi
Kondisi yang
menyimpang ini mungkin terjadi karena data yang digunakan untuk
set data pembelajaran merupakan data yang polanya sulit dibaca
saat data pembelajaran antara 40-60%. Hal ini dapat terjadi akibat
pada rasio tersebut, data pembelajaran merupakan data
data memiliki
pola yang sulit dibaca. Terjadi nilai deviasi yang besar, sehingga
data tersebut tidak dapat dibaca polanya dengan baik. Pada kondisi
data tersebut, memang banyak data yang tidak dapat dikenali
keluarannya.
Time (s)
4.5
4
3.5
3
2.5
2
Time (s)
1.5
1
0.5
0
30:70
40:60
50:50
60:40
70:30
Gambar 2.10 Grafik waktu pembelajaran percobaan 2
Untuk efisiensi waktu, rasio data pembelajaran 30%
menghabiskan waktu yang paling cepat untuk menyelesaikan proses
pembelajaran. Waktu yang dihabiskan untuk rasio data tersebut
adalah 0.630 s. Untuk waktu pembelajaran yang paling lama terjadi
saat rasio data pembelajaran 70% selama 3.873 s.
Berdasarkan gambar 2.9, dapat dilihat grafik menunjukan
nilai yang semakin meningkat untuk peningkatan rasio data
pembelajaran.
Sehingga
dapat
disimpulkan
disimpulkan
bahwa
waktu
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
37
pembelajaran akan semakin lama jika menggunakan jumlah data
pembelajaran yang semakin banyak.
Kondisi penghentian dari sebuah pembelajaran terjadi ketika
iterasi maksimum sudah tercapai atau besar kesalahan keluaran
jaringan saraf sudah sangat kecil. Iterasi (epoh) merupakan jumlah
pembelajaran yang terjadi untuk suatu jaringan saraf. Satu iterasi
dihitung setelah semua data pembelajaran selesai dimasukan dan
dihitung kesalahannya. Setelah kondisi tersebut, bobot jaringan
akan diperbarui agar didapatkan kesalahan yang semakin kecil.
Maka, dapat disimpulkan bahwa ketika data untuk pembelajaran
semakin banyak waktu yang dibutuhkan untuk menyelesaikan
proses pembelajaran juga akan semakin lama. Penyebabnya adalah
waktu untuk melakukan satu iterasi akan semakin lama jika jumlah
data yang dimasukkan semakin banyak. Oleh karena itu, jumlah
data pembelajaran akan mempengaruhi waktu yang digunakan
untuk melakukan proses pembelajaran.
2.6.3 Percobaan variasi neuron lapisan tersembunyi.
Lapisan tersembunyi merupakan lapisan yang menjadi
penghubung antara lapisan masukan dan lapisan keluaran. Lapisan
ini terdiri dari beberapa jumlah neuron yang jumlahnya tidak
ditentukan secara khusus. Jumlah neuron lapisan tersembunyi pada
suatu jaringan dapat berbeda dengan jaringan yang lain meskipun
dua jaringan tersebut menggunakan sebuah data yang sama.
Penentuan jumlah neuron pada lapisan tersembunyi memang
tidak dapat ditentukan secara pasti. Namun, beberapa penelitian
menyatakan bahwa kinerja sebuah jaringan saraf tiruan akan
maksimal ketika jumlah neuron lapisan tersembunyi berjumlah
setengah dari jumlah neuron lapisan masukan.
Untuk membuktikan hal tersebut, maka dilakukan percobaan
dengan melakukan percobaan yang memvariasikan jumlah neuron
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
38
lapisan tersembunyi yang terdapat pada sebuah jaringan saraf
tiruan. Pada percoban ini, jumlah neuron lapisan masukan adalah
lima buah. Kemudian, jumlah neuron pada lapisan tersembunyi
yang akan digunakan divariasikan nilainya antara 1 sampai 5 buah
neuron.
Kemudian, berdasarkan parameter tersebut dilakukan sebuah
simulasi pembelajaran untuk masing-masing jumlah neuron lapisan
tersembunyi. Sehingga didapatkan tabel hasil percobaan sebagai
berikut:
Tabel 2.6 Hasil percobaan variasi jumlah neuron lapisan tersembunyi
Jumlah
Time (s)
neuron
Rekognisi data
Rekognisi data
pelatihan (%)
pengetesan (%)
1
2.197
60.19
59.56
2
3.428
93.05
91.33
3
3.957
99.05
97.33
4
3.796
99.24
97.11
5
3.137
99.52
97.56
Berdasarkan tabel 2.6, dapat terlihat bahwa hasil jumlah
neuron yang terbaik adalah 5 buah neuron. Sedangkan untuk jumlah
neuron 3 buah, setengah dari jumlah neuron masukan, berada pada
urutan kedua data yang terbaik. Pernyataan tersebut di ambil setelah
melihat data hasil percobaan yang menunjukan tingkat rekognisi
yang tertinggi untuk data pembelajaran dan data pengetesan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
39
100.00
90.00
80.00
70.00
60.00
Rekognisi data pelatihan
(%)
50.00
Rekognisi data
pengetesan (%)
40.00
30.00
20.00
10.00
0.00
1
2
3
4
5
Gambar 2.11 Grafik variasi jumlah neuron lapisan tersembunyi
Seperti yang terlihat pada grafik 2.11
hasil simulasi
pembelajaran variasi jumlah neuron menunjukan peningkatan
seiring dengan meningkatnya jumlah neuron lapisan tersembunyi.
Hasil rekognisi yang terburuk pada grafik yaitu saat jumlah neuron
adalah satu. Sedangkan untuk yang terbaik adalah saat jumlah
neuron berjumlah lima buah. Pada grafik juga pada terlihat bahwa
pada saat neuron lapisan tersembunyi berjumlah tiga buah, nilai
rekognisi sudah sangat baik. Namun, masih terdapat peningkatan
rekognisi seiring dengan meningkatnya jumlah neuron tersembunyi.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
40
Time (s)
4.500
4.000
3.500
3.000
2.500
2.000
Time (s)
1.500
1.000
0.500
0.000
1
2
3
4
5
Gambar 2.12 Waktu komputasi variasi jumlah neuron lapisan tersembunyi
Parameter lain yang dicatat pada percobaan variasi jumlah
neuron lapisan tersembunyi yaitu waktu komputasi untuk proses
pembelajaran. Pada grafik dapat terlihat bahwa waktu komputasi
yang paling lama terjadi pada saat jumlah neuron tiga buah.
Sedangkan waktu komputasi paling singkat terjadi saat jumlah
neuron sama dengan satu.
Tingkat rekognisi semakin meningkat seiring dengan
meningkatnya jumlah neuron. Peningkatan jumlah neuron pada
lapisan tersembunyi akan meningkatkan jumlah data yang akan
menuju ke lapisan keluaran. Jumlah data yang meningkat akan
mengakibatkan semakin mudahnya sebuah jaringan memperkecil
kesalahan. Seperti yang terlihat bahwa ketika jumlah neuron
berjumlah tiga, empat dan lima tingkat rekognisi hampir mencapai
nilai sempurna. Rata-rata, hanya terjadi satu kesalahan rekognisi
untuk data pengetesan. Sedangkan ketika jumlah neuron lapisan
tersembunyi berjumlah satu dan dua buah, tingkat rekognisi
menjadi kurang baik, terutama saat jumlah neuron sama dengan
satu. Ketika jumlah neuron berjumlah satu buah, jaringan saraf
mengalami kesulitan untuk mencapai nilai kesalahan yang kecil,
sehingga tingkat rekognisi menjadi semakin rendah.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
41
Meningkatnya jumlah neuron pada lapisan tersembunyi juga
mengakibatkan meningkatnya jumlah bobot. Semakin banyak
jumlah bobot yang terdapat pada suatu jaringan, maka akan
semakin banyak pula nilai yang dapat diperbarui untuk mencapai
nilai kesalahan yang sangat kecil. Ketika satu kali proses
pembaruan bobot, ketika terdapat lebih banyak bobot, maka akan
terdapat lebih banyak pula nilai yang akan memperbaiki keluaran
dari suatu jaringan.
Sebuah jaringan saraf tiruan semakin mudah mencapai nilai
kesalahan yang sangat kecil ketika jumlah neuron semakin tinggi.
Namun, pada grafik waktu komputasi lama komputasi tidak terjadi
pada jumlah neuron sama dengan satu. Waktu komputasi yang
terlama, terdapat pada saat jumlah neuron sama dengan tiga.
Terjadi peningkatan waktu komputasi saat jumlah neuron
sama dengan satu sampai jumlah neuron tiga buah. Peningkatan ini
disebabkan oleh jumlah bobot yang semakin meningkat ketika
jumlah neuron pada lapisan tersembunyi meningkat. Semakin
meningkatnya jumlah bobot, akan terjadi pula peningkatan waktu
komputasi baik pada proses propagasi maju, maupun pada proses
pembaruan bobot.
Pada subbab 2.1.2 telah dijelaskan bagaimana proses
pembaruan bobot beserta persamaan yang digunakan. Jumlah bobot
yang terdapat pada jaringan saraf, akan mempengaruhi waktu
perhitungan matriks yang akan memperbaiki bobot jaringan.
Semakin banyak bobot yang digunakan jaringan, maka akan
mengakibatkan kalkulasi yang terjadi untuk proses pembaruan
bobot
akan
menjadi
semakin
lambat.
Hal
inilah
yang
mengakibatkan waktu komputasi yang meningkat antara data
pertama sampai data ketiga.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
42
Pada bentuk grafik yang menurun saat jumlah neuron tiga
sampai lima, penyebab yang terjadi adalah karena rata-rata iterasi
dari masing-masing data.
Jumlah iterasi pembelajaran
200
150
5
100
4
50
3
0
1
2
3
4
5
6
Percobaan
7
8
9
10
Gambar 2.13 Jumlah iterasi pembelajaran variasi jumlah lapisan tersembunyi
Gambar 2.13 menunjukan sebuah grafik yang menunjukan
jumlah iterasi yang dilakukan pada sebuah simulasi proses
pembelajaran sebuah jaringan. Pada grafik tersebut terlihat bahwa
pada jumlah iterasi pembelajaran saat jumlah neuron berjumlah
lima buah memiliki rata-rata jumlah yang terkecil. Rata-rata iterasi
jumlah neuron lima adalah 130,2 iterasi untuk 10 percobaan.
Jumlah ini merupakan jumlah yang terkecil jika dibandingkan
dengan empat data lain. Jumlah iterasi semakin mengecil ketika
jaringan semakin mudah mencapai kondisi kesalahan yang semakin
kecil. Sehingga iterasi proses pembelajaran menjadi semakin
sedikit.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
43
Waktu Tiap Iterasi (s)
0.03
0.025
0.02
0.015
0.01
Waktu Tiap Iterasi (s)
0.005
0
1
2
3
4
5
Jumlah Neuron
Gambar 2.14 Waktu komputasi tiap iterasi
2.6.4 Percobaan penggunaan Zscore untuk set data
Penggunaan Zscore untuk sebuah set data adalah sebagai
sebuah metode untuk menormalisasi data. Tidak semua data dapat
digunakan dengan baik untuk proses pembelajaran sebuah jaringan
saraf. Data yang baik untuk proses pembelajaran adalah data yang
masing-masing dimensinya memiliki jangkauan dan rata-rata yang
sama. Oleh karena itu, penggunaan metode Zscore dilakukan untuk
membuat masing-masing data memiliki jangkauan dan nilai ratarata yang sama.
Berdasarkan kondisi di atas, maka dibuat sebuah simulasi
proses
pembelajaran
sebuah
jaringan
saraf
tiruan
dengan
menggunakan set data yang tidak dinormalisasi Zscore dan data
yang dinormalisasi Zscore.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
44
Data Pelatihan
100.00
50.00
Tanpa Zscore
0.00
Dengan Zscore
1
2
3
4
5
6
7
8
9
10
2.15 (a)
Data Pengetesan
100.00
50.00
Tanpa Zscore
0.00
1
Dengan Zscore
2
3
4
5
6
7
8
9
10
2.15(b)
Gambar 2.15 Hasil rekognisi percobaan normalisasi Zscore
Hasil percobaan normalisasi Zscore dan tanpa normalisasi
Zscore menunjukan bahwa penggunaan normalisasi data dapat
memperbaiki proses pembelajaran jaringan saraf. Tingkat rekognisi
yang dengan menggunakan data yang dinormalisasi Zscore
meningkat dengan sangat pesat.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
45
Data yang dinormalisasi dengan menggunakan Zscore juga
menunjukan kestabilan hasil pembelajaran. Proses pembelajaran
dengan data yang terlebih dahulu dinormalisasi, memiliki tingkat
rekognisi yang bernilai lebih dari 90% untuk data pelatihan dan data
pembelajaran. Sedangkan untuk data yang tidak dinormalisasi
dengan Zscore, terjadi perubahan nilai yang sangat signifikan pada
besarnya tingkat rekognisi. Tingkat rekognisi untuk data yang tidak
dinormalisasi memiliki rekognisi yang terkecil bernilai 0% dan
yang terbesar adalah 97.78%.
Tabel 2.7 Hasil simulasi normalisasi set data
Data Pelatihan
Tanpa Zscore
Dengan Zscore
Percobaan 1
96.19
99.05
Percobaan 2
65.71
99.05
Percobaan 3
62.86
99.05
Percobaan 4
62.86
99.05
Percobaan 5
0.00
99.05
Percobaan 6
0.00
99.05
Percobaan 7
0.00
99.05
Percobaan 8
0.00
99.05
Percobaan 9
0.00
99.05
Percobaan 10
0.00
92.38
Rata-rata
28.76
99.05
2.7(a)
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
46
Data Pengetesan
Tanpa Zscore
Dengan Zscore
Percobaan 1
97.78
97.78
Percobaan 2
60.00
97.78
Percobaan 3
57.78
97.78
Percobaan 4
57.78
97.78
Percobaan 5
0.00
97.78
Percobaan 6
0.00
97.78
Percobaan 7
0.00
97.78
Percobaan 8
0.00
97.78
Percobaan 9
0.00
86.67
Percobaan 10
0.00
96.67
Rata-rata
27.33
97.78
2.7(b)
Hasil percobaan menunjukan hasil yang lebih baik jika data
pembelajaran terlebih dahulu dinormalisasi dengan metode Zscore.
Metode ini dapat memperbaiki kesalahan rekognisi hingga
mencapai lebih dari 30% untuk rata-rata dari 10 kali percobaan.
Proses Zscore mengubah data dari masing-masing dimensi
agar memiliki nilai rata-rata dan jangkauan yang sama. Nilai
masing-masing dimensi dari sebuah set data terdiri dari nilai-nilai
yang bervariasi. Hal ini akan mengakibatan baik rata-rata dan lebar
data dari masing-masing dimensi akan berbeda-beda. Perbedaan
tersebut akan mengakibatkan jaringan saraf mengalami kesulitan
dalam mengidentifikasi pola-pola yang terdapat pada data tersebut.
Sebuah dimensi mungkin dapat memiliki jangkauan dan rata-rata
yang sangat kecil. Namun, data tersebut dapat menjadi data yang
sebenarnya sangat berpengaruh untuk pembacaan pola oleh jaringan
saraf tiruan.
Proses Zscore mengubah rata-rata dan jangkauan dari
masing-masing dimensi menjadi sama besar. Tujuannya, agar
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
47
dimensi-dimensi tersebut terlihat lebih seimbang. Data-data yang
lebih kecil jangkauan dan rata-rata biasanya adalah data-data yang
lebih sering diabaikan oleh jaringan saraf tiruan. Sebab, perubahanperubahan yang terjadi pada dimensi tersebut sangat kecil.
Penggunaan Zscore membuat data-data tersebut memiliki rata-rata
dan jangkauan yang sama. Sehingga, data pada masing-masing
dimensi akan terlihat lebih seimbang dan tidak ada data yang lebih
kecil perubahannya. Hal ini tentunya akan mempermudah jaringan
saraf tiruan untuk membaca pola yang terdapat pada set data dan
memberikan bobot yang tepat untuk masing-masing dimensi
masukan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
BAB 3
Ensemble Levenberg-Marquardt
Pada bab ini dibahas mengenai proses pembelajaran
Ensemble Neural Network. Pada bab ini terdapat dasar teori
mengenai
Ensemble
pembelajaran
Neural
Ensemble
Network,
Neural
metode
Network
dan
penelitian
percobaan
pembelajaran Ensemble Neural Network.
3.1. Ensemble Neural Network (ENN)
Ensemble Neural Network (ENN) adalah suatu metode
pembentukan sekelompok jaringan saraf tiruan yang bekerja secara
bersamaan. Baik dalam proses pembelajarannya, maupun dalam
proses pengambilan keputusan. Kelompok jaringan saraf tiruan
tersebut terdiri dari jaringan saraf tunggal, dimana setiap jaringan
memiliki lapisan masukan, lapisan tersembunyi, dan lapisan
keluaran. Pada bagian keluaran, terdapa sebuah combiner yang
berfungsi untuk menggabungkan keputusan-keputusan dari masingmasing individu jaringan.
Gambar 3.1 Struktur sebuah ENN
Konsep yang digunakan untuk pembelajaran metode ENN
adalah untuk mendapatkan sekelompok jaringan saraf tunggal.
Masing-masing jaringan terbentuk dari bobot-bobot yang berbeda.
Namun, diharapkan seluruh jaringan tersebut dapat bekerja secara
48
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
49
bersamaan dan menghasilkan keluaran yang lebih baik dari sebuah
jaringan saraf tunggal.
Metode pembelajaran pada ENN, sama seperti halnya pada
jaringan saraf tiruan biasa. ENN juga menggunakan metode
supervised learning atau proses pembelajaran yang diarahkan.
Implementasi metode pembelajaran ini adalah dengan menggunakan
sebuah set data yang akan digunakan sebagai data pembelajaran.
Seluruh jaringan individu akan melakukan pembelajaran secara
bersama dan dengan menggunakan set data yang sama.
Untuk melakukan sebuah pembelajaran dengan metode ENN,
maka dibutuhkan hal-hal berikut ini :
1. Data Training Set
Set data yang digunakan untuk pembelajaran
jaringan saraf tiruan. Data-data tersebut harus berisi
pola-pola dan target yang telah ditentukan. Penentuan
pola dan target inilah yang nantinya akan digunakan
sebagai penentu pengambilan keputusan oleh jaringan
saraf tiruan.
€++
€!+
=F
⋮
€+-
€+!
€!!
⋮
€!-
⋯ €+V
⋯ €!V
G
⋮
⋱
⋯ €-V
ƒ++
ƒ
‚ = F +!
⋮ G
ƒ+-
2. Algoritma pembelajaran jaringan
Algoritma
pembelajaran
jaringan
adalah
algoritma yang akan digunakan untuk memperbarui
bobot
masing-masing
jaringan.
Masing-masing
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
50
jaringan melakukan proses pembelajaran secara
bersamaan, tetapi proses memperbarui bobotnya
dilakukan secara terpisah satu sama lain, tergantung
algoritma pembelajaran yang digunakan. Terdapat
beberapa algoritma yang umum digunakan, pada
penelitian kali ini digunakan metode pembelajaran
Levenberg-Marquardt.
3. Combiner
Combiner merupakan penggabung keputusan
dari
masing-masing
jaringan
saraf.
Combiner
berfungsi sebagai pengambil keputusan akhir dari
kelompok jaringan saraf.
Pengambilan keputusan bersama oleh combiner dapat
dilakukan dengan beberapa metode, diantaranya :
1. Metode rata-rata
Metode rata-rata adalah metode yang sangat
umum digunakan. Combiner dengan metode ini
mencari nilai rata-rata keluaran dari seluruh jaringan
saraf tunggal. Persamaan umum combiner ini adalah
„…
-
1
= \ %&)
†
%3.1)
[+
2. Dynamic averaging method
Metode ini merupakan metode modifikasi dari
metode rata-rata. Pada metode rata-rata, masingmasing keluaran tidak memiliki perbedaan pengaruh,
sedangkan pada metode ini, masing-masing jaringan
saraf
memiliki
pengaruh
tersendiri
pada
hasil
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
51
keputusan combiner. Persamaan pada metode ini yaitu
:
„…
-
1
= \ ( %&)
†
%3.2)
( =
%3.3)
[+
‡
Dimana nilai bobot wi adalah
∑[+ ‡
%& ) ˆ‰Š %& ) ≥ 0.5
‡ = 1 − %&)
%3.4)
3. Majority voting
Metode
voting
menggunakan
metode
pengambilan nilai tertinggi pada masing-masing kelas
di satu jaringan saraf tiruan. Misalkan pada suatu
kelas c memiliki nilai tertinggi pada keluaran jaringan
sarafnya, maka akan di voting sebagai nilai tertinggi
1ˆ‰Š  %& ) ‘’Š‰Š“ “”Š ƒƒ“11 % )
3.5
0
•”Š“ € ŠƒŠ•
atau 1.
Œƒ %& ) = Ž
Persamaan untuk menghitung keluaran dari
ENN, yaitu :
-
%3.6)
 = \ Œƒ %& )
[+
3.2. Algoritma Negative Correlation Learning
Negative Correlation Learning (NCL) merupakan sebuah
metode yang digunakan dalam pembelajaran ENN [3]. Dalam hal
penyatuan keputusan oleh satu atau lebih jaringan saraf, maka akan
dibutuhkan suatu metode yang dapat menentukan hubungan dari
masing-masing jaringan saraf dalam hal proses pembelajarannya.
Sehingga nantinya proses pembelajaran akan dapat dilakukan secara
bersamaan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
52
Seperti yang telah disebutkan pada subbab sebelumnya, untuk
melakukan proses pembelajaran dibutuhkan suatu set data yang
digunakan sebagai training set. Set data tersebut harus terdiri dari
masukan dan target yang ingin dihasilkan oleh ENN. Diasumsikan
data masukan dan data target sebagai berikut.
&++
&
d = F !+
⋮
&+-
&+!
&!!
⋮
&!-
⋯ &+V
⋯ &!V
G
⋮
⋱
⋯ &-V
ƒ++
ƒ
‚ = F +!
⋮ G
ƒ+-
Tentunya ENN akan diestimasikan dapat menghasilkan target
yang diinginkan jika sebuah masukan diproses pada ENN tersebut.
Metode NCL memperkenalkan sebuah nilai penalti sebagai
korelasi dari masing-masing besaran error jaringan. Error masingmasing jaringan harus dihitung menggunakan set data yang sama.
Penggunaan metode NCL dilakukan ketika pembelajaran jaringan
saraf tunggal ingin dilakukan secara bersamaan saat menggunakan
teknik ENN.
Persamaan error yang digunakan dengan metode NCL untuk
keluaran salah satu jaringan saraf tunggal, yaitu :
-
-
-
!
1
1
1
1
$ = \ $ %&) = \ = %&) − ‚%&)
B + \ —’ %&)
†
2
†
†
–[+
–[+
–[+
%3.7)
Dimana
Ei = error keluaran untuk jaringan ke-i.
yi = keluaran jaringan saraf ke-i.
T = target yang diinginkan oleh jaringan saraf.
λ = besar konstanta pengali penalti.
pi = besar penalti oleh error jaringan saraf yang lain.
Untuk persamaan yang menghitung besarnya penalti, yaitu :
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
53
’ %&) = %&) − %&)
\ =< %&) − %&)B
<˜
%3.8)
Sehingga persamaan akhir yang berupa persamaan derivative
dari keluaran jaringan saraf ke-i adalah :
#’ %&)
#$ %&)
= %&) − ‚%&) + —
# %& )
# %& )
= %& ) − ‚%& ) + — \ =< %& ) − %& )B
<˜
= %& ) − ‚%& ) − — =< %& ) − %& )B
= %1 − —) %& ) − ‚%& )
+ —%&) − ‚%&)
%3.9)
Persamaan 2.21 merupakan persamaan yang nantinya akan
digunakan untuk menghitung error dari keluaran jaringan saraf ke-i
pada suatu ENN. Untuk parameter λ, nilai yang biasa digunakan
adalah 0 ≤ λ ≤ 1, tergantung sebesar apa pengaruh error keluaran
jaringan saraf lain yang ada di dalam ENN tersebut. Semakin besar
nilainya, maka error jaringan saraf ke-i akan semakin dipengaruhi
oleh jaringan saraf yang lain.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
54
3.3. Metode pembelajaran Ensemble
Pada subbab sebelumnya telah dijelaskan bagaimana proses
pembelajaran jaringan saraf tunggal dengan metode LevenbergMarquardt.
Berdasarkan
subbab
tersebut,
akan
dijelaskan
bagaimana modifikasi yang akan dilakukan untuk melakukan
percobaan
pembelajaran
ENN
dengan
metode
Levenberg-
Marquardt dan NCL.
Sebuah ENN merupakan suatu sistem yang terdiri dari
beberapa jaringan saraf tunggal. Jaringan-jaringan tersebut saling
bekerja sama baik dalam proses pembelajaran maupun proses
pengambilan keputusan. Pada penelitian ini dilakukan simulasi
pembelajaran dan pengambilan keputusan oleh sebuah ENN yang
terdiri dari beberapa buah jaringan saraf tiruan yang masing-masing
jaringan akan menggunakan metode pembelajaran LevenbergMarquardt.
Pada penelitian ini, data masukan yang digunakan adalah
sebuah data yang memiliki lima dimensi masukan. Sehingga
strukitur jaringan saraf tiruan yang dibuat memiliki lima buah
jaringan saraf tiruan. Untuk lapisan tersembunyi jumlah neuron di
dalamnya dapat divariasikan untuk mendapatkan hasil yang terbaik.
Sedangkan untuk lapisan keluaran, jumlah neuron sama dengan
jumlah kelas yang dari data yang digunakan, yaitu tiga buah.
Berdasarkan struktur tersebut akan dibuat beberapa jaringan saraf
tunggal dengan jumlah neuron yang sama.
Proses ENN harus menggabungkan sejumlah aringan saraf
tunggal. Masing-masing jaringan saraf tunggal dibuat identik dalam
hal jumlah neuron didalamnya. Sejumlah jaringan saraf tunggal ini
kemudian akan melakukan proses pembelajaran dan pengambilan
keputusan secara bersamaan. Metode pengambilan keputusan
adalah menggabungkan semua keputusan yang dikeluarkan oleh
jaringan saraf tiruan dan dihubungkan dengan sebuah combiner.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
55
Proses pembelajaran yang dilakukan oleh ENN sebenarnya
tidak jauh berbeda dengan proses pembelajaran jaringan saraf
tunggal. Proses pembelajaran pada ENN memperbarui bobot-bobot
jaringan saraf tunggal pada ENN tersebut sehingga keluaran dari
ENN akan memiliki keluaran seperti yang diiinginkan.
Perbedaan proses pembelajaran saat menggunakan metode
ENN adalah dalam hal perbedaan perhitungan error. Pada metode
pembelajaran Levenberg-Marquardt tunggal, error yang digunakan
sebagai fungsi untuk memperbarui bobot adalah error keluaran
jaringan tersebut dibangdingkan dengan target. Sedangkan untuk
ENN, error untuk memperbarui bobot suatu jaringan juga terdapat
pengaruh dari error keluaran jaringan saraf yang lain. Sebagai mana
persamaan berikut.
= %1 − —) + — \ <
%3.10)
<˜
Persamaan-persamaan
lain
seperti perhitungan
matriks
Jacobian, matriks hessian dan matriks gradien yang terdapat pada
perhitungan perubahan bobot sama dengan perhitungan untuk
memperbarui bobot jaringan tunggal. Persamaan tersebut dapat
dilihat di subbab 3.2.
3.4. Implementasi Persamaan untuk Pemrograman ENN
Pembelajaran dengan metode ENN menggunakan persamaan
yang sama dengan persamaan update bobot jaringan saraf tunggal.
Pada penelitian ini, metode pembelajaran yang digunakan adalah
metode Levenberg-Marquardt. Sehingga, persamaan yang akan
digunakan menggunakan persamaan-persamaan yang terdapat pada
proses pembelajaran Levenberg-Marquardt.
Impelementasi
program
pembelajaran
ENN
untuk
pemrograman menggunakan persamaan-persamaan yang digunakan
untuk metode pembelajaran jaringan saraf tunggal. Pada subbab
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
56
sebelumnya, telah disebutkan bahwa metode ENN pada dasarnya
menggunakan prinsip penyatuan opini dari sejumlah jaringan saraf
tiruan. Impelementasi persamaan tersebut yang nantinya menjadi
pembeda untuk metode pembelajaran ENN dan jaringan saraf
tunggal.
Selanjutnya, akan dituliskan bagaimana algoritma program
pembelajaran ENN dengan metode Levenberg-Marquardt.
1. Inisialisasi
a. u = 0.01
b. epoh = 0
c. err_total = 1
d. n_kelas = 3
e. n_data = 150
f. n = jumlah dimensi = 5
g. N = n + 1 = 6
h. m = jumlah neuron lapisan tersembunyi = 3
i. M = m + 1 = 4
j. l = n_kelas
k. jumlah jaringan saraf tunggal = 3
l. λ = 0.1
2. Membuat matriks data pelatihan dan data pengetesan
a. Xi = data training (ukuran 75 x n)
b. Untuk setiap i = 1 – 75, lakukan langkah berikut
i. Xi_tr = [1; Xi]
c. Xi = data testing (ukuran 75 x n)
d. Untuk setiap i = 1 – 75, lakukan langkah berikut
i.
Xi_ts = [1; Xi]
3. Membuat matriks target
a. T = matriks identitas ukuran n_kelas x n_kelas
4. Inisialisasi bobot dengan Nguyen-Widrom, inisialisasi dilakukan tiga
kali sesuai dengan jumlah jaringan saraf tiruan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
57
a. Membuat matriks Vmn(n x m)
i. Membuat matriks vmn berisi bilangan acak antara -0.5 hingga 0.5
1/ n
ii. β = 0.7 × m
iii. Untuk setiap m = 1 – m, lakukan langkah berikut:
vm =
∑v
2
mi
i =1
1. Buat matriks vm (1 x m) dengan aturan
v mn =
n
β × v mn
vm
2. Untuk setiap n = 1 – n, lakukan
iv. Membuat matriks vm0 berisi bilangan acak antara –β hingga β
v. Membuat martriks Vmn (m x n) sesuai aturan:
Vmn
 v10
v
=  20
 M

v m 0
v11 K v1n 
v 21 L v 2 n 
M O M 

v m1 L v mn 
b. Membuat matriks Wlm (l x m)
i.
ii.
iii.
Membuat matriks wlm berisi bilangan acak antara -0.5 hingga 0.5
β = 0.7 × l 1 / m
Untuk setiap l = 1 – l, lakukan langkah berikut:
wl =
2
li
i =1
1. Buat matriks wl (1 x l) dengan aturan
wlm =
m
∑v
β × wlm
2. Untuk setiap m = 1 – m, lakukan
wl
iv.
Membuat matriks wl0 berisi bilangan acak antara –β hingga β
v.
Membuat martriks Wlm (m x l) sesuai aturan:
Wmn
 w10
w
=  20
 M

 wl 0
w11 K w1m 
w21 L w2 m 
M O M 

wl1 L wlm 
5. Membentuk vektor Wp dengan aturan:
Wp = [V1n; V2n; ...; Vmn;W1m; W2m; ...; Wlm]
Terdapat tiga buah Wp sesuai dengan jumlah jaringan saraf tiruan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
58
6. banyak_kolom = ukuran banyak kolom dari vektor Wp
7. Inisialisasi lanjutan
a. Siapkan vektor kosong Jpl ukuran 1 x banyak_kolom x jumlah
jaringan
b. Siapkan matriks kosong Qpl ukuran banyak_kolom x banyak_kolom x
jumlah jaringan
c. Siapkan vektor kosong gpl ukuran 1 x banyak_kolom x jumlah
jaringan
8. Untuk epoh < 200 atau e > 0.01,untuk masing-masing jaringan lakukan
langkah berikut:
a. Timer mulai berjalan
b. Untuk setiap i = 1 – 75, lakukan langkah berikut:
i.
Perhitungan di hidden layer
a. z_in = Xi_tr(i,:)*Vmn
b. zm = f(z_in)
c. S_inm= f’(z_in)
d. Zm = [1 zm]
ii.
Perhitungan di output layer
a. y_in = zm*Wlm
b. yl = f(y_in)
c. SL_inl= f’(y_in)
iii.
Untuk l = 1 – l (untuk setiap neuron keluaran), lakukan langkah
berikut:
a. Menghitung nilai error dengan aturan:
epl(i,l) = T (k,l) – yl
b. Untuk m = 1 – m, lakukan langkah berikut:
i.
SMm = SL_inl * wlmT * S_inm
c. Membentuk vektor Jpldengan aturan:
Jpl = [SM1 * Xi_tr(i,:); ...; SMm * Xi_tr(i,:); SL_in1 * Zm;
...; SL_inl * Zm]
c. Masing-masing jaringan melakukan (i=1-3):
a. Mengupdate matriks Qpl
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
59
i.
dQpli = JpliT * Jpli
ii.
Qpli = Qpli +dQpli
= %1 − —) + — ∑<˜ <
b. Mengupdate vektor gpl
i.
ii.
dgpli = JpliT * ei
iii.
gpli = gpli +dgpli
d. err_total = 0.5 * epl * eplT
e. Waktu timer berhenti dan disimpan di variabel time
f. Mengupdate vektor Wp
i. dWp = gpl * (Qpl+ uI)-1
ii. Wp = Wp +dWp
g. Mengurai vektor Wp menjadi Vmn dan Wlm
h. Nilai bobot baru dimasukan ke proses feed forward dan dicari nilai
error yang baru. Jika error tidak turun, maka nilai u diperbesar. Dan
update vector Wp dilakukan kembali.
3.5. Percobaan Proses Pembelajaran ENN
3.5.1 Percobaan tanpa variasi parameter
Suatu proses pembelajaran jaringan saraf tiruan harus bersifat
stabil dan menghasilkan kondisi yang sama untuk data yang sama.
Meskipun inisialisasi bobot jaringan berbeda, diharapkan dengan
menggunakan suatu metode pembelajaran, ENN akan menghasilkan
keluaran yang sama atau tidak terlalu bervariasi. Untuk menguji
kondisi ini, maka harus dilkakukan sebuah percobaan yang dapat
menguji kestabilan proses pembelajaran dengan menggunakan
percobaan yang berulang. Percobaan tersebut menggunakan
parameter jaringan yang sama namun menggunakan inisialisasi
bobot yang berbeda.
Percobaan untuk menguji kestabilan dilakukan dengan
mengulang proses pembelajaran dengan menggunakan set data yang
sama.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
60
Tabel 3.1 Percobaan Tanpa Variasi Parameter
Rekognisi Data
Pelatihan
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
Percobaan 1
Percobaan 2
Percobaan 3
Percobaan 4
Percobaan 5
Percobaan 6
Percobaan 7
Percobaan 8
Percobaan 9
Percobaan 10
Rekognisi Data
Pengujian
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
Berdasarkan tabel 3.1 dan gambar grafik 3.2 terlihat bahwa hasil
percobaan tanpa variasi data yang dilakukan berulang 10 kali
menghasilkan kestabilan hasil proses percobaan. Simulasi yang dilakukan
selama 10 kali menghasilkan keluaran rekognisi data pelatihan dan
pengetesan yang sama selama 10 kali. Percobaan ini menunjukan
kestabilan dari algoritma dan program yang digunakan.
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
Rekognisi Data Pelatihan
40.00%
Rekognisi Data Pengujian
30.00%
20.00%
10.00%
0.00%
1
2
3
4
5
6
7
8
9 10
Gambar 3.2 Tingkat Rekognisi Percobaan Tanpa Variasi Parameter
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
61
Proses pembelajaran ENN menggunakan lebih dari satu jaringan
saraf tiruan yang bekerja sama dalam proses pembelajaran dan proses
pengetesan. Prinsip yang digunakan pada proses pembelajaran ENN
adalah penyelarasan opini dari masing-masing anggotanya. Jaringan saraf
tiruan saling bekerja sama dan menyatukan opini saat proses
pembelajaran dan menghasilkan sebuah keputusan yang tepat untuk
proses pengujian.
Kestabilan proses pembelajaran ENN didapatkan dari arsitektur
dari ENN. Sebuah ENN yang terdiri dari lebih dari satu jaringan saraf
tiruan akan menghasilkan keluaran yang tidak jauh berbeda untuk proses
pembelajaran dengan inisialisasi bobot yang berbeda. Ketika sebuah ENN
dibentuk oleh lebih dari satu jaringan saraf tiruan, maka dapat dipastikan
seluruh jaringan tersebut akan saling mendukung dan menyatukan opini.
Meskipun terjadi satu kesalahan dari salah satu jaringan, jaringan lainnya
akan dapat memperbaiki kesalahan ketika pengambilan keputusan secara
bersama. Sehingga, kestabilan dapat tercapai walaupun inisialisasi data
berbeda.
Tidak hanya kestabilan yang dapat ditingkatkan oleh ENN, tingkat
rekognisi data juga meningkat ketika proses pembelajaran dilakukan
dengan menggunakan metode ENN. Penyebabnya adalah jaringan yang
saling bekerja sama. Keluaran dari ENN merupakan keputusan secara
bersama yang diambil oleh seluruh anggota. Kesalahan opini yang
dilakukan oleh salah satu jaringan, dapat diperbaiki oleh jaringan lain.
Sehingga, tingkat rekognisi data akan meningkat.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
62
Time(s)
1.400
1.200
1.000
0.800
0.600
Time(s)
0.400
0.200
0.000
1
2
3
4
5
6
7
8
9
10
Gambar 3.3 Waktu Komputasi Percobaan Tanpa Variasi Parameter
Pada percobaan ENN pertama yang dilakukan oleh penulis,
didapatkan waktu komputasi untuk masing-masing percobaan seperti
pada gambar 3.3. rata-rata waktu komputasi untuk percobaan tanpa
variasi adalah 0.523 s. Termasuk sebuah proses pembelajaran yang sangat
cepat. Bahkan lebih cepat jika dibandingkan dengan set data dan
parameter yang sama untuk proses pembelajaran jaringan saraf tunggal.
Pada subbab dasar teori telah disebutkan bagaimana proses
pembelajaran ENN terjadi. ENN mengenal sistem penalti pada proses
pembelajaran. Penalti merupakan sistem yang memungkinkan suatu
jaringan mempengaruhi proses pembelajaran yang dilakukan oleh
jaringan saraf yang lain. Proses inilah yang menjadi dasar pembelajaran
dari pembelajaran ENN dalam hal penyelarasan opini. Pembelajaran
masing-masing anggota jaringan saraf tiruan, dipengaruhi oleh jaringan
saraf lain. Sehingga, opini dari seluruh jaringan saraf akan lebih mudah
disatukan. Ketika opini sudah menjadi sama, maka akan lebih cepat
menghasilkan keluaran yang mendekati set data yang diinginkan.
Akibatnya, waktu komputasi pembelajaran akan semakin cepat.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
63
3.5.2 Percobaan Variasi Rasio Data Pembelajaran
Variasi parameter yang pertama dilakukan yaitu variasi dalam
hal rasio data pembelajaran. Seperti yang telah dijelaskan pada
percobaan jaringan saraf tunggal, rasio data percobaan merupakan
salah satu parameter yang dapat mempengaruhi rekognisi data dan
waktu komputasi pembelajaran jaringan. Sehingga pada metode
pembelajaran ENN dilakukan hal yang serupa untuk melihat
pengaruh variasi rasio data pembelajaran pada tingkat rekognisi dan
waktu komputasi pembelajaran ENN.
Penulis menggunakan variasi rasio yang sama dengan
simulasi untuk jaringan saraf tunggal. Kelima buah rasio tersebut
diproses sebanyak sepuluh kali percobaan untuk menunjukan nilai
rata-rata dari masing-masing parameter.
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
Rekognisi Data Pelatihan
40.00%
Rekognisi Data Pengujian
30.00%
20.00%
10.00%
0.00%
30:70
40:60
50:50
60:40
70:30
Gambar 3.4 Grafik rasio terhadap tingkat rekognisi
Variasi rasio yang telah dilakukan menghasilkan rekognisi
seperti tabel 3.2 dan gambar 3.4. Berdasarkan percobaan yang telah
dilakukan, tingkat rekognisi yang dihasilkan oleh masing-masing
rasio
selalu
mencapai
100%.
Hasil
tersebut
menunjukan
bahwaproses pembelajaran ENN tidak dipengaruhi oleh rasio data
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
64
percobaan.
Meskipun
rasio
data
diubah-ubah,
ENN
tidak
melakukan satu pun kesalahan selama percobaan dilakukan.
Tabel 3.2 Tabel Rekognisi Variasi Rasio
Rasio
30:70
40:60
50:50
60:40
70:30
Rekognisi Data
Pelatihan
100.00%
100.00%
100.00%
100.00%
100.00%
Rekognisi Data
Pengujian
100.00%
100.00%
100.00%
100.00%
100.00%
Berbeda dengan yang terjadi pada jaringan saraf tunggal,
rasio pembelajaran tidak mempengaruhi tingkat rekognisi data.
Terbukti dari seluruh percobaan yang dilakukan, hasil rekognisi
menunjukan hasil sempurna. Jika dibandingkan dengan prose
pembelajaran
tunggal,
hasil
pembelajaran
ENN
memang
meningkat. Peningkatan terjadi dari tingkat rekognisi dan kestabilan
hasil percobaan. Ketika percobaan proses pembelajaran variasi rasio
untuk jaringan saraf tunggal, tingkat rekognisi rata-rata dari masingmasing rasio tidak ada yang mencapai 100%. Nilai tertinggi pada
pembelajaran tunggal hanya mencapai nilai 97,78%.
Proses
pembelajaran ENN terbukti dapat meningkatkan performa dari
proses pembelajaran jaringan saraf tunggal.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
65
Time (s)
0.8
0.7
0.6
0.5
0.4
Time (s)
0.3
0.2
0.1
0
30:70
40:60
50:50
60:40
70:30
Gambar 3.5 Grafik Rasio Terhadap Waktu Komputasi
Pada
gambar
3.5
telihat
bahwa
waktu
komputasi
pembelajaran tidak memiliki hubungan yang jelas terhadap rasio
pembelajaran. Waktu komputasi maksimum terjadi saat rasio
pembelajaran 40:60. Sedangkan pada rasio yang lain, besarnya
waktu komputasi bervariasi.
Jika dibandingkan dengan waktu komputasi pembelajaran
jaringan saraf tunggal, waktu komputasi proses pembelajaran ENN
memakan
waktu
yang
lebih
singkat.
Seharusnya,
proses
pembelajaran lebih dari satu jaringan akan menghabiskan waktu
komputasi yang lebih lama jika dibandingkan dengan satu jaringan
saraf tiruan. Dua atau lebih jaringan saraf tiruan akan memakan
waktu yang lebih lama untuk melakukan pembelajaran karena ada
dua atau lebih jaringan yang memiliki bobot.
Penyebab waktu komputasi yang lebih cepat tersebut adalah
algoritma pembelajaran yang berbeda dengan proses pembelajaran
jaringan saraf tunggal. Meskipun metode pembelajaran yang
digunakan
sama,
Levenberg-Marquardt,
namun
algoritma
perhitungan untuk memperbarui bobot tidak sama dengan jaringan
saraf tunggal. Pada pembelajaran jaringan saraf tunggal, bobot
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
66
diperbarui berdasarkan kesalahan keputusan jaringan itu sendiri.
Sedangkan pada proses pembelajaran ENN, proses perbaikan bobot
suatu jaringan dihitung menggunakan kesalahan jaringan itu sendiri
dan jaringan lain yang terdapat ada ENN. Jika dianalogikan, proses
pembelajaran ini seperti sebuah kondisi belajar secara bersamasama. Dimana setiap anggotanya mendapatkan kesempatan untuk
mengeluarkan pendapat untuk pemahaman bersama. Hal ini
tentunya kan lebih cepat jika dibandingkan dengan seseorang yang
mempelajari sesuatu secara sendirian.
Jumlah rata-rata iterasi dihentikannya proses pembelajaran
bervariasi untuk nilai masing-masing rasio pembelajaran. Variasi
tersebut kemudian menyebabkan bervariasinya waktu komputasi
dari masing-masing rasio. Oleh karena itu, tidak didapatkan
hubungan yang jelas antara waktu komputasi proses pembelajaran
dengan rasio data pembelajaran.
Time (s)
0.03
0.025
0.02
0.015
Time (s)
0.01
0.005
0
Rasio
30:70
40:60
50:50
60:40
Gambar 3.6 Waktu Komputasi tiap iterasi
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
67
Hubungan antara rasio dan waktu komputasi baru dapat
terlihat jika dilihat waktu komputasi untuk tiap-tiap iterasi proses
pembelajaran. Waktu komputasi untuk masing-masing iterasi
terlihat
meningkat
seiring
dengan
peningkatan
rasio
data
pembelajaran. Hal ini menunjukan bahwa peningkatan rasio
pembelajaran akan mengakibatkan waktu komputasi semakin
meningkat. Hal ini disebabkan oleh meningkatnya jumlah data yang
harus diproses ketika proses pembelajaran dilakukan. Sehingga
waktu komputasi masing-masing iterasi akan memakan waktu yang
lebih lama.
3.5.3 Percobaan Variasi Jumlah Neuron Jaringan Saraf Tiruan
Selanjutnya,
penulis
melakukan
percobaan
simulasi
pembelajaran dengan menggunakan variasi jumlah neuron pada
lapisan tersembunyi. Pada bab sebelumnya, tentang jaringan saraf
tunggal, didapatkan hubungan antara jumlah neuron pada jaringan
saraf tiruan. Pada subbab ini akan dibahas mengenai variasi jumlah
neuron lapisan tersembunyi masing-masing jaringan saraf tunggal
pada pembelajaran ENN.
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
Rekognisi Data Pelatihan
40.00%
Rekognisi Data Pengujian
30.00%
20.00%
10.00%
0.00%
1
2
3
4
5
Gambar 3.7 Grafik Hasil Percobaan Jumlah Neuron
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
68
Dari lima parameter yang diuji, hanya parameter jumlah
neuron satu yang menghasilkan tingkat rekognisi yang kurang baik.
Meskipun begitu, tingkat rekognisi ENN dengan jumlah neuron
tersembunyi masing-masing satu buah menghasilkan rekognisi
86,67%. Keempat parameter lain menghasilkan tingkat rekognisi
sempurna 100%.
Pada ENN yang disimulasikan, parameter jumlah neuron
merupakan parameter yang terdapat pada masing-masing jaringan
saraf tiruan. Untuk jumlah neuron satu, berarti jumlah neuron pada
masing-masing jaringan saraf tiruan berjumlah satu.
Tabel 3.3 Hasil Percobaan Variasi Jumlah Neuron
Jumlah
Neuron
1
2
3
4
5
Rekognisi Data
Pelatihan
86.67%
100.00%
100.00%
100.00%
100.00%
Rekognisi Data
Pengujian
86.67%
100.00%
100.00%
100.00%
100.00%
Time(s)
2.086
0.143
0.139
0.127
0.185
Berdasarkan hasil percobaan jaringan ENN, ternyata kondisi
dari masing-masing jaringan saraf ituran dapat mempengaruhi
kinerja dari keseluruhan jaringan. Hasil simulasi menunjukan
meskipun hanya pada jumlah neuron satu, tingkat rekognisi dari
keseluruhan ENN menjadi menurun. Menurunnya tingkat rekognisi
diakibatkan oleh melambatnya perbaikan proses pembelajaran. Pada
empat parameter yang lain, masing-masing jaringan saraf dapat
menyelesaikan
proses
pembelajaran
dengan
menghasilkan
kesalahan keluaran yang lebih kecil dari nilai kesalahan minimum.
Sedangkan pada saat parameter jumlah neuron satu, jaringan saraf
tiruan
tidak
dapat
menyelesaikan
pembelajaran
dengan
menghasilkan kesalahan yang kecil. Sehingga terjadi beberapa kali
kesalahan pengenalan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
69
Data dari lapisan masukan pada sebuah jaringan, mula-mula
akan menuju ke lapisan tersembunyi sebelum menuju ke lapisan
keluaran. Data-data tersebut akan mengalami pengolahan sebelum
data tersebut masuk ke lapisan keluaran. Pada lapisan masukan,
data tersebut akan membentuk sebuah pola yang nantinya akan
mempermudah klasifikasi oleh lapisan keluaran. Jumlah neuron
pada lapisan ini akan menentukan mudah atau sulitnya lapisan
keluaran menentukan klasifikasi data tersebut. Semakin banyak
jumlah neuron, sebenarnya akan mempermudah lapisan keluaran
untuk menentukan kelas manakah yang menjadi tujuan dari data
tersebut. Sehingga, jika neuron lapisan masukan hanya ada satu
buah, data akan sangat sulit diklasifikasi sebab dengan satu neuron
tersebut data akan sangat sulit untuk membentuk suatu pola.
Masalah di atas adalah masalah yan terjadi jika pada jaringan
saraf hanya digunakan satu neuron. Permasalahan ini juga terjadi
pada metode pembelajaran jaringan saraf tunggal. Ternyata, metode
pembelajaran ENN juga tidak dapat menanggulangi masalah
tersebut. Meskipun tingkat rekognisi meningkat jika dibandingkan
dengan jaringan saraf tunggal, namun jika dibandingkan dengan
data yang lain, jumlah neuron satu menghasilkan rekognisi yang
tidak sempurna. Sementara data yang lain menghasilkan tingkat
rekognisi yang sempurna.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
70
Time(s)
2.5
2
1.5
Time(s)
1
0.5
0
1
2
3
4
5
Gambar 3.8 Grafik Waktu Komputasi Terhadap Jumlah Neuron
Melambatnya proses perbaikan bobot, menyebabkan waktu
komputasi dari proses pembelajaran jaringan saraf meningkat.
Seperti yang terlihat pada grafik dan tabel sebelumnya, waktu
komputasi untuk proses pembelajaran ketika neuron lapisan
tersembunyi satu membutuhkan waktu yang paling lama diantara
empat parameter lain. Waktu komputasi saat neuron sama dengan
satu jika dibandingkan dengan empat parameter lain mencapai
sepuluh kali lipat.
3.5.4 Percobaan Normalisasi Data Percobaan
Untuk pengujian karakteristik selanjutnya, digunakan variasi
dalam penormalisasian data. Data yang dinormalisasi memang lebih
baik jika digunakan untuk proses pembelajaran. Pada penelitian kali
ini, metode normalisasi yang digunakan menggunakan normalisasi
Zscore.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
71
Data Pelatihan
100.00%
50.00%
Tanpa Zscore
0.00%
Dengan Zscore
1
2
3
4
5
6
7
8
9
10
3.9(a)
Data Pengetesan
100.00%
50.00%
Tanpa Zscore
0.00%
Dengan Zscore
1
2
3
4
5
6
7
8
9
10
3.9(b)
Gambar 3.9 Grafik Perconbaan Normalisasi
Percobaan yang dilakukan dengan memvariasikan perlakukan
pada set data menghasilkan data yang dinormalisasi menjadi lebih
baik.
Ternyata
penggunaan
metode
ENN
tidak
dapat
menanggulangi masalah perlakukan normalisasi pada set data.
Berdasarkan hasil percobaan yang dilakukan, dapat terlihat
data yang tidak dinormalisasi menghasilkan tingkat rekognisi yang
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
72
selalu menurun. Sedangkan data yang dinormalisasi menghasilkan
hasil rekognisi yang selalu stabil di angka 100%. Data yang tidak
dinormalisasi memang sempat mencapai nilai 100%, namun nilai
tingkat
rekognisi
100
tersebut
tidak
dapat
dipertahankan.
Selebihnya tingkat rekognisi data yang tidak dinormalisasi hanya
berkisar di angka 60%.
Tabel 3.4 Tabel Hasil Percobaan Normalisasi
Data
Pelatihan
60.00%
100.00%
Tanpa Zscore
Dengan Zscore
Data
Pengujian
60.00%
100.00%
Waktu
Komputasi
11.95532169
0.425822561
Proses pembelajaran ENN terbukti masih sulit untuk
membaca pola dari set data yang tidak dinormalisasi. Meskipun
terjadi peningkatan jika dibandingkan dengan pembelajaran
jaringan saraf tunggal, namun tingkat rekongnisi tidak stabil. Tidak
didapatkan nilai yang selalu konstan pada tingkat rekognisi data
yang tidak dinormalisasi.
Data yang digunakan pada penelitian ini memang merupakan
data yang sulit untuk dipelajari polanya. Sehingga perlu digunakan
normalisasi data untuk dapat membaca pola yang terdapat pada set
data yang digunakan. Ketika digunakan data yang tidak
dinormalisasi, dari seluruh percobaan yang dilakukan, tidak ada
satu kali pun proses pembelajaran yang dihentikan karena jaringan
saraf tiruan mencapai nilai error yang kecil. Seluruh proses
pembelajaran dihentikan karena proses pembelajaran mencapai
iterasi maksimum. Hal ini dapat dilihat pada grafii 4.0, dimana
terlihat
waktu
yang
dibutuhkan
untuk
komputasi
proses
pembelajaran menghabiskan waktu yang cukup lama.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
73
Waktu Komputasi (s)
14
12
10
8
Dengan Zscore
6
Tanpa Zscore
4
2
0
1
2
3
4
5
6
7
8
9
10
Gambar 3.10 Waktu komputasi pembelajaran
3.5.5 Percobaan Variasi Jumlah Jaringan Saraf
Percoban kelima yang dilakukan adalah percobaan parameter
yang hanya terdapat pada metode pembelajaran ENN. Parameter
yang divariasikan pada percobaan ini adalah variasi jumlah jaringan
saraf yang terdapat pada ENN. seperti yang telah dijelaskan pada
subbab dasar teori, metode pembelajaran ENN menggunakan lebih
dari satu buah jaringan saraf tunggal yang melakukan pembelajaran
dan pengujian yang secara bersamaan. Variasi data yang akan
digunakan adalah dua jaringan sampai 5 buah jaringan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
74
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
Rekognisi Data Pelatihan
40.00%
Rekognisi Data Pengujian
30.00%
20.00%
10.00%
0.00%
2
3
4
5
Gambar 3.11 Grafik Rekognisi Percobaan Variasi Jumlah Jaringan Saaraf
Tabel 3.5 Tabel Hasil Percobaan Variasi Jaringan Saraf
Jumlah
Jaringan
2
3
4
5
Rekognisi Data
Pelatihan
100.00%
100.00%
100.00%
100.00%
Rekognisi Data
Pengujian
100.00%
100.00%
100.00%
100.00%
Time(s)
0.692
0.770
1.577
2.249
Jumlah jaringan yang berbeda pada proses pembelajaran akan
mengakibatkan terjadinya beberapa variasi data yang terjadi. Pada
tingkat rekognisi, memang tidak terjadi perubahan. Variasi
parameter yang dilakukan tetap menghasilkan tingkat rekognisi
yang sempurna di setiap parameternya. Hal ini disebabkan oleh set
data yang digunakan memang cukup mudah untuk direkognisi oleh
jaringan. Sehingga, meskipun terjadi variasi jaringan, ENN tetap
menghasilkan rekognisi yang sangat baik.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
75
Time(s)
2.5
2
1.5
Time(s)
1
0.5
0
2
3
4
5
Gambar 3.12 Grafik Waktu Komputasi Percobaan Variasi Jumlah Jaringan
Perubahan jaringan memang tidak mempengaruhi tingkat
rekognisi pembelajaran ENN. Variasi jumlah jaringan saraf tiruan
baru terlihat pengaruhnya setelah meninjau waktu komputasi dari
proses pembelajaran. Dari gambar 3.12 dapat terlihat bagaimana
pengaruh jumlah jaringan saraf tiruan terhadap waktu komputasi
proses pemebelajaran. Peningkatan jumlah jaringan saraf tiruan
sangat mempengaruhi waktu komputasi yang dibituhkan oleh
jaringan untuk menyelesaikan proses pembelajaran.
Variasi jumlah jaringan mempengaruhi waktu komputasi.
Pada grafik dapat terlihat peningkatan waktu komputasi yang terjadi
seiring dengan meningkatnya jumlah jaringan saraf tiruan. Ketika
jumlah jaringan saraf tiruan berjumlah dua buah, waktu komputasi
pembelajaran ENN membutuhkan waktu yang paling kecil.
Sedangkan ketika jumlah jairngan menjadi lima buah, ENN
membutuhkan waktu 2,249 sekon, tiga kali lipat waktu yang
dibutuhkan untuk waktu komputasi yang paling singkat.
Waktu komputasi meningkat seiring dengan meningkatnya
jumlah jaringan saraf tiruan. Jumlah jaringan saraf yang lebih
banyak akan mengakibatkan jumlah komputasi yang dilakukan
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
76
untuk proses perbaikan bobot menjadi semakin banyak. Artinya,
dengan jumlah lima jaringan saraf tunggal pada ENN, waktu
komputasi yang dilakukan untuk memperbarui bobot jaringan
berjumlah lima kali.
3.5.6 Percobaan Variasi Penalti
Parameter
kedua
yang
hanya
terdapat
pada
metode
pembelajaran ENN adalah parameter penalti. Penalti ialah
parameter yang menentukan sebesar apa pengaruh dari kesalahan
jaringan saraf lain untuk perbaikan bobot suatu jaringan. Penalti
terdapat pada algoritma Negative Correlation Learning (NCL).
Parameter penalti, memang sebuah parameter yang akan
menentukan bagaimana proses pembelajaran ENN berlangsung.
Nilai penalti yang kecil, mengartikan kesalahan dari jaringan yang
lain dianggap tidak berpengaruh untuk perbaikan bobot suatu
jaringan. Sementara itu, jika nilai penalti terlalu besar, maka nilai
error dari jaringan itu sendiri menjadi kecil pengaruhnya dan
kesalahan dari jaringan lainlah yang lebih berpengaruh pada
perbaikan bobot.
Variasi nilai penalti yang akan digunakan pada percobaan kali
ini berjumlah lima buah. Kelima nilai tersebut yaitu: 0,2; 0,4; 0,6;
0,8 dan 1. Nilai-nilai ini dianggap dapat mewakili nilai penalti dari
yang kecil hingga yang terbesar.
Tabel 3.6 Tabel Percobaan Variasi Penalti
Jumlah
Neuron
0.2
0.4
0.6
0.8
1
Rekognisi Data
Pelatihan
100.00%
100.00%
100.00%
100.00%
63.33%
Rekognisi Data
Pengujian
100.00%
100.00%
100.00%
100.00%
50.00%
Waktu Komputasi
(S)
0.437
0.426
0.513
0.861
11.938
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
77
Variasi nilai penalti menunjukan beberapa perubahan hasil
percobaan. Tingkat rekognisi dari empat parameter , 0.2, 0.4 0.6
dan 0.8, menghasilkan tingkat rekognisi yang sempurna. Hanya
pada saat nilai penalti 1 tingkat rekognisi dari sistem menurun
menjadi 63.33% untuk data pelatihan dan 50.00% untuk data
pengujian.
100.00%
90.00%
80.00%
70.00%
60.00%
50.00%
Rekognisi Data Pelatihan
40.00%
Rekognisi Data Pengujian
30.00%
20.00%
10.00%
0.00%
0.2
0.4
0.6
0.8
1
Gambar 3.13 Grafik Rekognisi Terhadap Perubahan Penalti
Pada saat nilai penalti berada pada nilai 0.2 sampai 0.8,
kesalahan dari suatu jaringan masih memiliki pengaruh terhadap
perbaikan bobot jaringan saraf tunggal. Kesalahan dari suatu
jaringan memang sangat berpengaruh dengan perbaikan bobot
jaringan. Arah perbaikan bobot suatu jaringan saraf tiruan, akan
mengikuti kesalahan klasifikasi dari jaringan. Ketika kesalahan
sangat besar, maka dapat terjadi perubahan bobot yang cukup besar
agar kesalahan pada iterasi selanjutnya semakin kecil. Sehingga
dapat disimpulkan bahwa dalam perbaikan suatu bobot jaringan,
harus terdapat kesalahan dari jaringan itu sendiri. Kesalahan dari
jaringan yang lain memang dapat mempengaruhi. Tetapi untuk
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
78
dapat melakukan perbaikan dengan sempurna, jaringan harus tetap
meninjau kesalahan keluarannya sendiri.
Ketika nilai penalti 1, kesalahan untuk perbaikan bobot hanya
berasal dari jaringan-jaringan saraf lain yang tergabung dalam
ENN. Kesalahan dari jaringgan yang diperbarui bobotnya tidak
digunakan untuk perbaikan bobot dari jaringan tersebut. Jika
melihat apa yang dijelaskan pada paragraf sebelumnya, maka akan
didapatkan jawaban mengapa tingkat rekognisi ketika nilai penalti 1
tidak mencapai nilai 100%. Saat penalti 1, kesalahan dari jaringan
yang diperbaiki tidak digunakan pada proses perbaikan bobot. Hal
ini tentunya akan mempengaruhi bagaimana bobot tersebut
diperbaiki. Bobot hanya akan diperbaiki dengan menggunakan
kesalahan dari jaringan lain. Sehingga, arah perbaikan bobot akan
mengikuti kesalahan dari jaringan lain. Jaringan tersebut akan
mengikuti kesalahan yang terjadi pada jaringan lain.
Waktu Komputasi (S)
14.000
12.000
10.000
8.000
6.000
Waktu Komputasi (S)
4.000
2.000
0.000
0.2
0.4
0.6
0.8
1
Gambar 3.14 Waktu Komputasi Terhadap Nilai Penalti
Variasi hasil simulasi terhadap nilai penalti lebih terlihat pada
perubahan waktu komputasi. Terlihat variasi pada setiap perubahan
nilai penalti. Waktu komputasi yang paling singkat terjadi ketika
nilai penalti sama dengan 0.4. Sedangkan waktu komputasi yang
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
79
paling lama adalah saat penalti 1. Waktu komputasi ketika penalti
bernilai antara 0.2 sampai 0.8 terlihat sangat kecil jika dibandingkan
ketika penalti 1. Waktu komputasi untuk empat parameter tersebut
tidak ada yang mencapai nilai 1 sekon. Pada saat penalti sama
dengan 1, terjadi peningkatan waktu komputasi yang sangat pesat.
Ketika penalti 1, waktu komputasi dari proses pembelajaran
mencapai 11.938 sekon. Waktu yang sangat lama jika dibandingkan
dengam empat parameter lain.
Lamanya waktu komputasi ketika penalti bernilai 1,
disebabkan oleh proses pembelajaran yang mencapai nilai
kesalahan
yang
konvergen.
Seperti
yang
telah
dijelaskan
sebelumnya, untuk nilai penalti 1, keseluruhan jaringan sulit untuk
menghasilkan kesalahan yang semakin kecil. Sehingga, proses
pembelajaran dihentikan oleh iterasi maksimum.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
BAB 4
Perbandingan dan Analisa Metode Pembelajaran LevenbergMarquadt
Pada bab ini akan dibandingkan bagaimana kinerja dari
kinerja
proses
pembelajaran
Levenberg-Marquardt
dan
Backpropagation. Kemudian, perbandingan antara jaringan saraf
tunggal dan ENN akan dilakukan.
4.1. Perbandingan kinerja pembelajaran LM dan BackPropagation
Seperti
yang
telah
disebutkan
sebelumnya,
metode
pembelajaran jaringan saraf tiruan terdiri dari berbagai macam cara.
Tentunya masing-masing metode tersebut memiliki kelebihan dan
kekurangan masing-masing. Sebuah metode yang sangat umum
digunakan adalah metode BackPropagation. Metode ini merupakan
metode standar yang paling banyak digunakan untuk proses
pembelajaran jaringan saraf tiruan.
Berdasarkan percobaan-percobaan yang telah dilakukan
sebelumnya, penulis telah menganalisa karakteristik dari proses
pembelajaran metode LM untuk perubahan-perubahan parameter
jaringan
saraf.
Setelah
mengetahui
karakteristik
proses
pembelajaran, selanjutnya penulis ingin membandingkan kinerja
dari dua proses pembelajaran yang berbeda yaitu metode LM dan
BackPropagation. Metode LM merupakan metode yang sedang
diteliti pada kesempatan ini, sedangkan metode BackPropagation
merupakan metode yang menjadi metode standar yang banyak
digunakan untuk proses pembelajaran jaringan saraf tiruan.
Perbandingan yang dilakukan terjadi dalam hal waktu komputasi
pembelajaran dan tingkat rekognisi data.
80
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
81
45
Levenberg Marquardt
BackPropagation
40
35
30
25
20
15
10
5
0
0
20
40
60
80
100
120
140
160
180
200
Gambar 4.1 Perbandingan Penurunan Error Backpropagation dan
Levenberg-Marquardt
Jumlah iterasi yang dibutuhkan oleh metode pembelajaran
Levenberg-Marquadt memang tergolong sangat singkat. Jumlah
iterasi yang dibutuhkan oleh metode ini untuk mencapai nilai yang
konvergen kurang dari 100 iterasi. Jumlah ini sangat jauh jika
dibandingkan dengan jumlah iterasidari metode Backpropagation
yang membutuhkan iterasi lebih dari 1000.
Pada dua gambar diatas (gambar 4.1) dapat terlihat bahwa
penurunan kesalahan dibandingkan dengan jumlah iterasi metode
Levenberg-Marquardt memang jauh lebih besar dibandingkan
dengan metode Backpropagation. Metode Levenberg-Marquardt
menggunakan metode batch processing untuk melakukan perbaikan
bobot.
Sedangkan
Backpropagation
menggunakan
metode
perbaikan bobot tiap data masukan. Perhitungan batch processing
memang terbukti lebih baik dalam melakukan perbaikan bobot.
Penurunan kesalahan yang terjadi menggunakan kesalahan yang
terdapat pada seluruh data masukan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
82
Iterasi Dimulai
Feed Forward
Hitung Matriks Q dan G
dQ = J J’
dG = J error
G = G + dG
Q = Q + dQ
Belum
Seluruh Data
Sudah Masuk
Ya
Update Bobot
Gambar 4.2 Algoritma Batch Processing Levenberg-Marquardt
Untuk
menggunakan
perbandingan
salah
satu
tingkat
rekognisi,
percobaan
yang
perbandingan
dapat
mewakili
keseluruhan data percobaan. Percobaan yang digunakan adalah
percobaan dengan rasio data pembelajaran 50:50. Untuk inisialisasi
parameter Backpropagation digunakan standar pembelajaran yang
biasa digunakan.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
83
45.00
40.00
35.00
30.00
25.00
20.00
BP
15.00
LM
10.00
5.00
0.00
1
2
3
4
5
6
7
8
9
10
Gambar 4.3 Grafik Perbandingan Waktu Komputasi LM dan BP
Tabel 4.1 Perbandingan Waktu Komputasi LM dan BP
Percobaan 1
LM
3.02
BP
39.58
Percobaan 2
3.19
38.94
Percobaan 3
3.12
39.33
Percobaan 4
3.10
39.07
Percobaan 5
3.03
39.23
Percobaan 6
3.16
38.99
Percobaan 7
3.03
39.39
Percobaan 8
3.11
39.28
Percobaan 9
3.07
39.55
Percobaan 10
3.08
39.56
Rata-rata
3.09
39.29
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
84
100.00
80.00
60.00
40.00
20.00
0.00
BP
LM
Gambar 4.4 Perbandingan Tingkat Rekognisi LM dan BP
Berdasarkan gambar 4.4 dapat terlihat bahwa tingkat
rekognisi metode pembelajaran LM lebih baik dari metode BP.
Grafik menunjukan penurunan tingkat rekognisi pada metode
pembelajaran BP.
Tabel 4.2 Tabel Perbandingan Rekognisi LM dan BP
LM
BP
Percobaan 1
96.00 %
96.00 %
Percobaan 2
96.00 %
96.00 %
Percobaan 3
94.67 %
94.67 %
Percobaan 4
93.33 %
93.33 %
Percobaan 5
93.33 %
93.33 %
Percobaan 6
93.33 %
92.00 %
Percobaan 7
93.33 %
92.00 %
Percobaan 8
93.33 %
86.67 %
Percobaan 9
93.33 %
85.33 %
Percobaan 10
93.33 %
74.67 %
Rata-rata
94.00 %
90.40 %
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
85
Berdasarkan grafik dapat dilihat bahwa tingkat rekognisi dari
proses
pembelajaran
Levenberg-Marquardt
lebih
stabil
dibandingkan metode Backpropagation. Rata-rata tingkat rekognisi
dari 10 percobaan yang dilakukan mencapai 94.00%. Sedangkan
metode Backpropagation menghasilkan nilai 90.40%.
Kestabilan
tingkat
rekognisi
metode
pembelajaran
Levenberg-Marquardt berasal dari sistem pembelajaran batch
processing. Pada metode tersebut, seluruh data diproses terlebih
dahulu sebelum bobot diperbaiki. Sehingga, seluruh data yang
terdapat pada proses pembelajaran akan mempengaruhi keluaran
dari jaringan. Pada metode Backpropagation, jaringan hanya
mnggunakan satu data untuk memperbaiki bobot. Hal ini dapat
mengakibatkan kesalahan banyak terjadi, sebab jaringan akan
diperbaiki dengan mengikuti kesalahan dari data yang terakhir
masuk ke jarigan saraf tiruan.
4.2. Perbandingan Metode ENN Levenberg-Marquardt dengan Jaringan
Saraf Tunggal Metode Levenberg-Marquardt
Pada perbandingan antara ENN dan jaringan saraf tunggal
dengan metode pembelajaran yang sama, Levenberg-Marquardt, set
data yang digunakan berbeda dengan set data yang digunakan untuk
pengujian
karakteristik.
Set
data
yang
digunakan
untuk
pembandingan ini menggunakan set data yang lebih sulit untuk
dikenali dari set data sebelumnya. Set data sebelumnya dianggap
sangat mudah untuk direkognisi baik untuk metode ENN maupu
jaringan saraf tunggal. Sehingga digunakan set data yang cukup
sulit untuk dapat memastikan kemampuan dari kedua metode
tersebut.
Set data yang akan digunakan merupakan set data yang
didapatkan dari pembau buatan. Set data ini terdiri dari 18 kelas
yang mewakili tiga buah campuran. Dua campuran berasal dari dua
jenis bau, dan campuran ketiga merupakan campuran alcohol
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
86
dengan persentase yang berbeda-beda. Terdapat tiga buah variasi
campuran bau, jeruk, mawar dan kenanga. masing-masing bau
dikombinasikan dan dicampur dengan alkohol yang divariasikan
menjadi enam persentase.
Gambar 4.5 Set Data untuk Perbandingan kinerja Jaringan Tunggal dan
ENN
Dari masing-masing 3 campuran, diambil lagi kombinasikombinasi campuran seperti pada gambar 4.5. Sehingga, total data
yang akan digunakan pada perbandingan jaringan tunggal dan ENN
ada empat buah data. Keempat data ini kemudian akan
disimulasikan pada kedua metode tersebut.
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
87
100
80
60
40
LM
20
EN-LM
0
1
2
3
4
5
6
7
8
9
10
Gambar 4.6 Grafik Rekognisi Campuran Jeruk-Kenanga dan Jeruk-Mawar
100
80
60
40
LM
20
EN-LM
0
1
2
3
4
5
6
7
8
9
10
Gambar 4.7 Grafik Rekognisi Campuran Jeruk-Kenanga dan Mawar Kenanga
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
88
100
80
60
40
LM
20
EN-LM
0
1
2
3
4
5
6
LM
7
8
9
10
Gambar 4.8 Grafik Rekognisi Campuran Jeruk-Kenanga dan Mawar Kenanga
100
80
60
40
LM
20
EN-LM
0
1
2
3
4
5
6
LM
7
8
9
10
Gambar 4.9 Grafik Rekognisi Campuran Jeruk Seluruh Set Data
Dari empat grafik di atas, dapat terlihat bagaimana
perbandingan tingkat rekognisi dari metode jaringan saraf tunggal
dan ENN. Untuk metode ENN, tingkat rekognisi percobaan terlihat
lebih stabil. Pada klasifikasi yang telah dilakukan, dari 10 kali
percobaan, memang terjadi penurunan rekognisi dari kondisi awal
percobaan. Namun penurunan dari tingkat rekognisi tidak terlalu
signifikan. Meskipun menurun, tetap di atas 90%. Untuk tingkat
rekognisi jaringan saraf tunggal, tingkat rekognisi dari 10 kali
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
89
percobaan terdapat tingkat rekognisi yang sempurna. Tetapi setelah
beberapa kali percobaan dilakukan, tingkat rekognisi 100% tidak
dapat dipertahankan. Tingkat rekognisi dari metode jaringan saraf
tunggal menurun ketika percobaan dilakukan berulang. Tingkat
rekognisi yang terendah terdapat pada angka 66.67%.
Tabel 4.3 Hasil Simulasi Perbandingan ENN dan Jaringan Tunggal
Campuran JK-JM
Campuran JK-MK
Campuran JM-MK
Campuran
Seluruhnya
ENN
LM
98.33 % 93.33 %
100.00 % 92.50 %
99.17 % 89.17 %
98.33 % 86.11 %
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
BAB 5
Kesimpulan
Setelah melakukan beberapa kali percobaan terhadap metode
pembelajaran ENN dan pembelajaran jaringan tunggal, maka dapat
disimpulkan bahwa :
1. Metode
pembelajaran
Levenberg-Marquardt
merupakan metode yang dapat digunakan untuk
proses pembelajaran jaringan saraf tiruan.
2. Pada
beberapa
dilakukan,
kali
metode
percobaan
berulang
pembelajaran
yang
Levenberg-
Marquardt dapat menjaga kestabilan baik digunakan
untuk metode jaringan saraf tunggal, maupun metode
ENN.
3. Karakteristik
proses
pembelajaran
dari
metode
Levenberg-Marquardt tidak jauh berbeda dengan
metode pembelajaran standar yang telah digunakan
sebelumnya.
4. Metode
batch
processing
Levenberg-Marquardt
membutuhkan waktu yang lebih singkat untuk proses
pembelajaran jika dibandingkan dengan metode
pembelajaran Backpropagation.
5. Metode Levenberg-Marquardt terbukti lebih efektif
dalam waktu komputasi dan tingkat rekognisi
dibandingkan dengan pembelajaran Backpropagation.
6. Pembelajaran Levenberg-Marquardt dapat diterapkan
untuk pembelajaran ENN dengan menggunakan
metode Negative Correlation Learning.
7. ENN dengan pembelajaran Levenberg-Marquardt
terbukti lebih stabil dibandingkan dengan penerapan
metode pembelajaran yang sama pada jaringan saraf
tunggal.
90
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
Daftar Pustaka
[1] Howard, Anton. Dasar-Dasar Aljabar Linear Jilid 2.
Batam: Interaksara, 2002.
[2] Kusumoputro, Benyamin and Dede Sutarya. "Quality
classification of uranium dioxide pellets for PWR
reactor using ANFIS." IEEE TENCON. Bali, 2011.
314-318.
[3] Liu, Y and X Yao. "Ensemble learning via negative
correlation." Neural Network 12 (1999): 1399-1404.
[4] Sospedra, Joaquin Torres. Ensembles of Artificial
Neural Networks : Analysis and Development of
Design Methods. PhD Thesis. Universitat Jaume.
Castellon, 2011.
[5] Suratgar,
Tavakoli
Amir
and
Abolfazl,
Abbas
Mohammad
Hoseinabadi.
Bagher
"Modified
Levenberg-Marquardt Method for Neural Networks
Training." Engineering and Technology 6 (2005): 4648.
[6] Wilamowsky, Bogdan M and J David Irwin.
Intelligent Systems. LONDON: CRC PRESS, 2011.
91
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
LAMPIRAN
Set Data Uranium
Tinggi(cm)
1.2480
1.2190
1.1813
1.1677
1.1843
1.2167
1.2210
1.2397
1.2497
1.2317
1.2363
1.2213
1.2480
1.1647
1.1667
1.2507
1.2050
1.2283
1.2033
1.2243
1.1907
1.2237
1.2233
1.1770
1.2380
1.1747
1.1673
1.1707
1.2210
1.1683
1.1680
1.2290
1.2367
1.2240
1.2287
1.2320
1.2263
Vol(cc)
1.1953
1.1672
1.1306
1.1173
1.1335
1.1649
1.1691
1.1872
1.1969
1.1795
1.1840
1.1694
1.1953
1.1144
1.1164
1.1979
1.1536
1.1762
1.1520
1.1723
1.1397
1.1717
1.1714
1.1264
1.1856
1.1241
1.1170
1.1203
1.1691
1.1180
1.1177
1.1769
1.1843
1.1720
1.1766
1.1798
1.1743
Berat(g)
6.4456
6.1391
6.2477
6.1530
6.2778
6.0627
6.1480
6.3484
6.4577
6.2486
6.3211
6.1737
6.4456
6.1024
6.1482
6.4835
5.9088
6.2429
6.1186
6.1895
6.1587
6.2332
6.2021
6.2143
6.3446
6.1686
6.1766
6.1349
6.1480
6.1642
6.1868
6.2338
6.3060
6.1802
6.2637
6.2891
6.2232
D(g/cc)
5.3924
5.2598
5.5260
5.5068
5.5383
5.2045
5.2587
5.3472
5.3952
5.2978
5.3388
5.2792
5.3924
5.4758
5.5073
5.4123
5.1221
5.3075
5.3114
5.2796
5.4039
5.3198
5.2947
5.5169
5.3513
5.4874
5.5295
5.4763
5.2587
5.5136
5.5355
5.2969
5.3246
5.2731
5.3238
5.3307
5.2995
92
TD
0.4916
0.4795
0.5037
0.5020
0.5049
0.4744
0.4794
0.4874
0.4918
0.4829
0.4867
0.4812
0.4916
0.4992
0.5020
0.4934
0.4669
0.4838
0.4842
0.4813
0.4926
0.4849
0.4827
0.5029
0.4878
0.5002
0.5041
0.4992
0.4794
0.5026
0.5046
0.4829
0.4854
0.4807
0.4853
0.4859
0.4831
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
1.2277
1.2330
1.2363
1.2320
1.0873
1.0873
1.2290
1.2290
1.2303
1.2310
1.2363
1.2367
1.2343
1.1193
1.1973
1.1820
1.1793
1.1783
1.1300
1.1270
1.1850
1.1857
1.1943
1.1960
1.1820
1.1280
1.1913
1.1920
1.1897
1.1283
1.1193
1.1797
1.1787
1.1953
1.1930
1.1877
1.1917
1.1960
1.1940
1.1863
1.1523
1.1960
1.1303
1.1756
1.1808
1.1840
1.1798
1.0394
1.0394
1.1769
1.1769
1.1782
1.1788
1.1840
1.1843
1.1821
1.0724
1.1461
1.1313
1.1287
1.1277
1.0828
1.0805
1.1342
1.1348
1.1432
1.1448
1.1313
1.0788
1.1403
1.1410
1.1387
1.0792
1.0704
1.1290
1.1280
1.1442
1.1419
1.1368
1.1406
1.1448
1.1429
1.1355
1.1031
1.1448
1.0831
6.2764
6.2948
6.2919
6.2891
5.6444
5.6444
6.2616
6.2475
6.2543
6.2677
6.3211
6.3060
6.3190
5.9765
6.4559
6.2789
6.2548
6.3171
6.0970
6.0716
6.2947
6.3059
6.4161
6.4092
6.3606
6.0617
6.3225
6.3684
6.3943
6.0316
5.9676
6.3353
6.2149
6.4319
6.3958
6.3649
6.4325
6.4413
6.4048
6.3648
6.1854
6.4604
6.0394
5.3390
5.3311
5.3141
5.3307
5.4306
5.4306
5.3205
5.3085
5.3085
5.3169
5.3388
5.3246
5.3458
5.5731
5.6327
5.5504
5.5418
5.6018
5.6310
5.6193
5.5501
5.5568
5.6123
5.5983
5.6226
5.6187
5.5445
5.5816
5.6154
5.5891
5.5750
5.6115
5.5096
5.6213
5.6009
5.5992
5.6394
5.6263
5.6040
5.6055
5.6071
5.6430
5.5761
93
0.4867
0.4860
0.4844
0.4859
0.4950
0.4950
0.4850
0.4839
0.4839
0.4847
0.4867
0.4854
0.4873
0.5080
0.5135
0.5060
0.5052
0.5106
0.5133
0.5122
0.5059
0.5065
0.5116
0.5103
0.5125
0.5122
0.5054
0.5088
0.5119
0.5095
0.5082
0.5115
0.5022
0.5124
0.5106
0.5104
0.5141
0.5129
0.5108
0.5110
0.5111
0.5144
0.5083
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
1.1430
1.1233
1.1357
1.1243
1.1260
1.1267
1.1247
1.1800
1.1560
1.1967
1.1317
1.1873
1.1713
1.1223
1.2007
1.1927
1.2227
1.1947
1.1920
1.1340
1.1617
1.1547
1.1383
1.1257
1.1140
1.1250
1.1500
1.1473
1.1430
1.1520
1.1323
1.1413
1.1417
1.1390
1.1397
1.1523
1.1433
1.1480
1.1423
1.1540
1.1363
1.1350
1.1573
1.0974
1.0750
1.0863
1.0753
1.0769
1.0756
1.0756
1.1293
1.1047
1.1455
1.0824
1.1364
1.1209
1.0733
1.1494
1.1416
1.1707
1.1436
1.1410
1.0847
1.1115
1.1047
1.0889
1.0766
1.0652
1.0792
1.1002
1.0976
1.0934
1.1028
1.0830
1.0918
1.0921
1.0895
1.0902
1.1038
1.0937
1.1016
1.0947
1.1061
1.0869
1.0856
1.1073
6.1890
5.9915
6.1269
6.0718
6.0578
6.0680
6.0621
6.3035
6.1889
6.4617
6.0731
6.3772
6.2253
6.0309
6.4717
6.3588
6.5136
6.4437
6.4155
6.1023
6.4273
6.3554
6.1857
6.2220
6.0907
6.1204
6.3932
6.2766
6.2080
6.2862
6.1239
6.2091
6.1951
6.1949
6.1829
6.2408
6.2540
6.2477
6.1997
6.3003
6.1583
6.1704
6.3567
5.6397
5.5737
5.6403
5.6467
5.6252
5.6416
5.6360
5.5817
5.6025
5.6410
5.6108
5.6116
5.5538
5.6188
5.6306
5.5700
5.5637
5.6348
5.6229
5.6260
5.7824
5.7529
5.6808
5.7794
5.7176
5.6712
5.8110
5.7184
5.6777
5.7002
5.6543
5.6871
5.6726
5.6859
5.6715
5.6539
5.7181
5.6715
5.6631
5.6960
5.6658
5.6837
5.7407
94
0.5141
0.5081
0.5142
0.5147
0.5128
0.5143
0.5138
0.5088
0.5107
0.5142
0.5115
0.5115
0.5063
0.5122
0.5133
0.5078
0.5072
0.5137
0.5126
0.5129
0.5271
0.5244
0.5179
0.5268
0.5212
0.5170
0.5297
0.5213
0.5176
0.5196
0.5154
0.5184
0.5171
0.5183
0.5170
0.5154
0.5212
0.5170
0.5162
0.5192
0.5165
0.5181
0.5233
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
1.1403
1.1427
1.1490
1.1597
1.1650
1.1547
1.1393
1.1493
1.1520
1.1387
1.1370
1.1550
1.1587
1.1610
1.1467
1.1597
1.1370
1.1623
1.1277
1.1703
1.1277
1.1570
1.1370
1.2377
1.1560
1.1357
1.1370
1.0908
1.0931
1.1026
1.1150
1.1120
1.1067
1.0898
1.0995
1.1021
1.0892
1.0876
1.1044
1.1106
1.1109
1.0970
1.1116
1.0876
1.1135
1.0772
1.1179
1.0785
1.1070
1.0889
1.1853
1.1047
1.0836
1.0876
6.2009
6.2229
6.2633
6.3355
6.3954
6.3022
6.1650
6.2923
6.3209
6.1921
6.1677
6.3039
6.3419
6.4119
6.2142
6.3355
6.1658
6.3511
6.2519
6.4610
6.0984
6.4072
6.1937
6.5984
6.3257
6.1367
6.1540
5.6847
5.6930
5.6806
5.6821
5.7510
5.6944
5.6568
5.7226
5.7351
5.6850
5.6711
5.7081
5.7102
5.7720
5.6649
5.6994
5.6693
5.7036
5.8038
5.7796
5.6544
5.7880
5.6880
5.5669
5.7263
5.6630
5.6585
95
0.5182
0.5190
0.5178
0.5180
0.5243
0.5191
0.5157
0.5217
0.5228
0.5182
0.5170
0.5203
0.5205
0.5262
0.5164
0.5195
0.5168
0.5199
0.5291
0.5269
0.5154
0.5276
0.5185
0.5075
0.5220
0.5162
0.5158
Universitas Indonesia
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
Tabel Penurunan Rumus Mariks Jacobian
#i+
#i!
#ij
#io
#ip
#i|
#i}
#ik
#il
#i+9
#i++
#1
#i1
#1
#i™
>›¡
>œ3
>›¡
>œ4
>›¡
>œ5
>›¡
>œ6
>›¡
>œ7
>›¡
>œ8
>›¡
>œ9
=
=
#1
#y1
#1
#y1
×
×
#+
#y1
#“1
#y1
#“1
×
×
#“1
= >¡ × >ž ¡ ×
=
>›
¡
>›¡
>¡
×
>
AŸ¡
>¡
>žAŸ¡
×
= >¡ × >ž ¡ ×
=
>›
¡
>›¡
>¡
×
>
AŸ¡
>¡
>žAŸ¡
×
= >¡ × >ž ¡ ×
=
>›
¡
>›¡
>¡
×
>
AŸ¡
>¡
>žAŸ¡
×
= >¡ × >ž ¡ ×
>›¡
>œ10
>›¡
>œ11
>›
=
¡
>›¡
>¡
×
>
AŸ¡
>¡
>žAŸ¡
#c1
#“1
#c1
¡
>
AŸ¡
×
#z“1
>žAŸ¡
> ¡
× >¢
> ¡
>žAŸ¡
> ¡
>žAŸ¡
> ™
>žAŸ¡
> ™
>žAŸ¡
> ™
×
×
#c1
#z“1
× >¢
>žAŸ¡
×
#c1
>žAŸ¡
> ¡
= >¡ × >ž ¡ ×
>›
×
×
×
> ¡
AŸ¡
> ¡
>¢AŸ¡
> ¡
AŸ¡
> ¡
>¢AŸ¡
× >¢
×
> ™
AŸ™
> ™
>¢AŸ™
× >¢
>žAŸ¡
> ™
>žAŸ¡
> ™
×
> ™
AŸ™
> ™
#™
#i1
#i1
#z“1
#i™
×
>¢AŸ¡
>œ3
×
>¢AŸ¡
>œ5
×
×
×
×
×
> ™
>¢AŸ™
× >¢
#z“1
AŸ™
>¢AŸ¡
>œ4
>¢AŸ¡
>œ6
>¢AŸ™
>œ7
>¢AŸ™
>œ8
>¢AŸ™
>œ9
×
>¢AŸ™
>œ10
× >œAŸ™
>¢
11
#™
#i2
=
=
×
#™
#y2
×
#™
#y2
#y2
#!
#“2
#y2
#“2
×
×
=
>›™
>œ5
= >™ × >ž 2 ×
>›2
>›2
>œ6
>›™
>œ7
>›™
>œ8
>›™
>œ9
=
=
>›2
>™
×
>›2
>™
>›
™
>›2
>2
×
>
AŸ™
>™
>žAŸ™
>
AŸ™
>2
>žAŸ™
×
×
= >2 × >ž ™ ×
=
>›
2
>›2
>2
×
>
AŸ™
>2
>žAŸ™
×
= >™ × >ž ™ ×
>›™
>œ10
>›2
>œ11
>›
=
™
>›2
>2
×
>
AŸ™
>2
>žAŸ™
#c1
#“2
>›2
>œš
>ϣ
× >ž ™ ×
#“2
#c1
2
>
AŸ™
×
#z“1
>žAŸ™
> ¡
× >¢
> ¡
>žAŸ™
> ¡
>žAŸ™
> ™
>žAŸ™
> ™
>žAŸ™
> ™
×
×
×
> ¡
AŸ¡
> ¡
>¢AŸ¡
> ¡
AŸ¡
> ¡
>¢AŸ¡
× >¢
×
> ™
AŸ™
> ™
>¢AŸ™
× >¢
>žAŸ™
> ™
>žAŸ™
> ™
×
#z“1
> ™
AŸ™
#š
#i1
×
#c1
#z“1
× >¢
>žAŸ™
×
#c1
>žAŸ™
> ¡
= >2 × >ž 2 ×
>›
×
#i1
#z“1
#i2
×
>¢AŸ¡
>œš
×
>¢AŸ¡
>œ5
×
×
×
×
×
> ™
>¢AŸ™
× >¢
> ™
AŸ™
96
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
>¢AŸ¡
>ϣ
>¢AŸ¡
>œ6
>¢AŸ™
>œ7
>¢AŸ™
>œ8
>¢AŸ™
>œ9
×
>¢AŸ™
>œ10
× >œAŸ™
>¢
11
>›3
>Ϫ
>›š
>œš
>›š
>ϣ
>›š
>œ5
>›3
>œ6
>›š
>œ7
>›š
>œ8
>›š
>œ9
=
=
#š
#yš
>›3
>š
×
#j
#yš
#“3
×
× >ž š ×
>
#“3
AŸš
#c1
×
>žAŸš
> ¡
#c1
#z“1
× >¢
> ¡
AŸ¡
= >š × >ž š ×
>žAŸš
> ¡
× >¢
= >š × >ž 3 ×
>žAŸš
> ¡
× >¢
=
=
>›
š
>›š
>š
>›
š
>›3
>3
×
×
>
AŸš
>š
>žAŸš
>
AŸš
>3
>žAŸš
×
×
>žAŸš
> ¡
>žAŸš
> ¡
×
×
×
> ¡
AŸ¡
> ¡
>¢AŸ¡
> ¡
AŸ¡
> ¡
>¢AŸ¡
#z“1
#i1
×
>¢AŸ¡
>Ϫ
×
>¢AŸ¡
>œš
×
>¢AŸ¡
>œ5
×
×
>¢AŸ¡
>ϣ
>¢AŸ¡
>œ6
= >š × >ž š ×
>žAŸš
> ™
× >¢
×
>¢AŸ™
>œ7
= >š × >ž š ×
>žAŸš
> ™
× >¢
×
>¢AŸ™
>œ9
=
>›š
>œ10
>›3
>œ11
>›
š
>›š
>š
>›
=
=
×
š
>›š
>3
>›3
>š
>
AŸš
>š
>žAŸš
×
>
×
AŸš
>3
>žAŸš
>žAŸš
> ™
×
× >ž š ×
>
AŸš
×
>žAŸš
> ™
>žAŸš
> ™
> ™
AŸ™
> ™
>¢AŸ™
×
> ™
AŸ™
×
> ™
>¢AŸ™
× >¢
> ™
AŸ™
>¢AŸ™
>œ8
×
>¢AŸ™
>œ10
× >œAŸ™
Universitas Indonesia
>¢
11
#i+!
#i+j
#i+o
#i+p
#i+|
#i+}
#i+k
#i+l
#i!9
#i!+
#i!!
#i!j
>›¡
>œ12
>›¡
>œ13
>›¡
>œ14
>›¡
>œ15
>›¡
>œ16
>›¡
>œ17
>›¡
>œ18
= >¡ × >ž ¡ ×
>›
>
¡
AŸ¡
= >¡ × >ž ¡ ×
>›
>
¡
AŸ¡
= >¡ × >ž ¡ ×
>›
>
¡
AŸ¡
= >¡ × >ž ¡ ×
>›
>
¡
AŸ¡
= >¡ × >ž ¡ ×
>›
>
¡
AŸ¡
= >¡ × >ž ¡ ×
>›
>
¡
AŸ¡
= >¡ × >ž ¡ ×
>›
¡
#1
#i+l
>
=
AŸ¡
#1
#y1
×
>žAŸ¡
> ™
>žAŸ¡
> 3
>žAŸ¡
> 3
>žAŸ¡
> 3
>žAŸ¡
> 3
>žAŸ¡
> 3
>žAŸ¡
> 3
#y1
× >¢
AŸ™
× >œAŸ™
AŸš
× >œAŸš
13
AŸš
× >œAŸš
14
AŸš
× >œAŸš
15
AŸš
× >œAŸš
16
AŸš
× >œAŸš
17
AŸš
18
> ™
× >¢
> 3
× >¢
> 3
× >¢
> 3
× >¢
> 3
× >¢
> 3
× >¢
#“1
> 3
×
>¢
>¢
>¢
>¢
>¢
>¢
12
× >œAŸš
#“1
#i+l
#+
#+
#y+
#+
=
×
×
#i20 #y+ #+ #i20
#+
#+
#y+
#+
=
×
×
#i21 #y+ #+ #i21
#+
#+
#y+
#+
=
×
×
#i22 #y+ #+ #i22
#+
#+
#y+
#+
=
×
×
#i23 #y+ #+ #i23
>¢
>›2
>œ12
>›2
>œ13
>›™
>œ14
>›2
>œ15
>›2
>œ16
>›2
>œ17
>›2
>œ18
= >2 × >ž 2 ×
>›
>
2
AŸ™
= >2 × >ž 2 ×
>›
>
2
AŸ™
= >™ × >ž ™ ×
>›
>
™
AŸ™
= >2 × >ž 2 ×
>›
>
2
AŸ™
= >2 × >ž 2 ×
>›
>
2
AŸ™
= >2 × >ž 2 ×
=
>›
2
>›2
>™
#2
>
× >ž
#i+l
AŸ™
>2
=
AŸ™
#2
×
#y2
× >¢
>žAŸ™
> ™
>žAŸ™
> 3
>žAŸ™
> 3
>žAŸ™
> 3
>žAŸ™
> 3
×
× >œAŸ™
AŸš
13
× >¢
> 3
× >¢
>¢
× >œAŸš
>¢
× >œAŸš
AŸš
× >œAŸš
15
AŸš
× >œAŸš
16
AŸš
17
× >¢
> 3
>¢
>¢
× >¢
> 3
× >¢
> 3
× >¢
#y2
#“2
> 3
×
12
AŸš
> 3
>žAŸ™
> 3
>žAŸ™
> 3
AŸ™
> ™
AŸš
>¢
14
× >œAŸš
>¢
× >œAŸš
#“2
#i+l
#!
#!
#y!
#!
=
×
×
#i20 #y! #! #i20
#!
#!
#y!
#!
=
×
×
#i21 #y! #! #i21
#!
#!
#y!
#!
=
×
×
#i22 #y! #! #i22
#!
#!
#y!
#!
=
×
×
#i23 #y! #! #i23
97
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
>¢
18
>›š
>œ12
>›3
>œ13
>›š
>œ14
>›3
>œ15
>›3
>œ16
>›3
>œ17
>›3
>œ18
= >3 × >ž 3 ×
>›
>
3
= >3 × >ž š ×
>›
>
3
AŸš
= >š × >ž š ×
>›
>
š
AŸš
= >3 × >ž 3 ×
>›
>
3
>žAŸš
> 3
>žAŸš
> 3
>žAŸš
> 3
AŸš
= >3 × >ž 3 ×
>›
>
3
=
>›
3
>›3
>š
#j
>
AŸš
× >ž 3 ×
#i+l
>
=
AŸš
#j
#yj
×
× >œAŸ™
AŸš
13
× >¢
> 3
× >¢
>žAŸš
> 3
>žAŸš
> 3
AŸ™
> ™
>žAŸš
> 3
AŸš
= >3 × >ž š ×
× >¢
>žAŸš
> ™
AŸš
#yj
× >œAŸš
>¢
× >œAŸš
AŸš
× >œAŸš
15
AŸš
× >œAŸš
16
AŸš
17
× >¢
> 3
× >¢
> 3
× >¢
> 3
× >¢
#“3
12
AŸš
> 3
> 3
×
>¢
AŸš
>¢
>¢
>¢
14
× >œAŸš
>¢
× >œAŸš
#“3
#i+l
#3
#3
#y3
#j
=
×
×
#i20 #y3 #j #i20
#3
#3
#y3
#j
=
×
×
#i21 #y3 #j #i21
#3
#3
#y3
#j
=
×
×
#i22 #y3 #j #i22
#3
#3
#y3
#j
=
×
×
#i!j #y3 #j #i23
Universitas Indonesia
>¢
18
#i!o
#+
#+
#y+
#+
=
×
×
#i24 #y+ #+ #i24
#+
#!
#y2
#!
=
×
×
#i24 #y! #! #i24
#3
#3
#y3
#j
=
×
×
#i24 #y3 #j #i!o
#i!|
#+
#+
#y+
#+
=
×
×
#i26 #y+ #+ #i26
#+
#!
#y2
#!
=
×
×
#i26 #y! #! #i26
#3
#3
#y3
#j
=
×
×
#i!| #y3 #j #i!|
#i!p
#i!}
#i!k
#i!l
#ij9
#+
#+
#y+
#+
=
×
×
#i25 #y+ #+ #i25
#+
#+
#y+
#+
=
×
×
#i27 #y+ #+ #i27
#+
#+
#y+
#+
=
×
×
#i28 #y+ #+ #i28
#+
#+
#y+
#+
=
×
×
#i29 #y+ #+ #i29
#+
#+
#y+
#+
=
×
×
#i30 #y+ #+ #i30
#+
#!
#y2
#!
=
×
×
#i25 #y! #! #i25
#3
#3
#y3
#j
=
×
×
#i!p #y3 #j #i25
#+
#!
#y2
#!
=
×
×
#i27 #y! #! #i27
#3
#3
#y3
#j
=
×
×
#i27 #y3 #j #i!}
#+
#!
#y2
#!
=
×
×
#i28 #y! #! #i28
#3
#3
#y3
#j
=
×
×
#i29 #y3 #j #i29
#+
#!
#y2
#!
=
×
×
#i27 #y! #! #i27
#+
#!
#y2
#!
=
×
×
#i30 #y! #! #i30
98
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
#3
#3
#y3
#j
=
×
×
#i28 #y3 #j #i28
#3
#3
#y3
#j
=
×
×
#i30 #y3 #j #ij9
Universitas Indonesia
Tabel Persamaan yang akan diimplementasikan pada program
#+
#!
#i+
#+
= −1 × ¤ %+) × i!9 × ¤ %z+ ) × 1
#i+
#!
= −1 × ¤%! ) × i!o × ¤%z+) × 1
#i+
#ij
#+
= −1 × ¤ %+) × i!9 × ¤ %z+ ) × d!
#ij
#!
= −1 × ¤%! ) × i!o × ¤%z+) × d!
#ij
#ip
#+
= −1 × ¤ %+) × i!9 × ¤ %z+ ) × do
#ip
#1
#i! #i2
#io
#i|
#i}
= −1 × ′ “1 × i20 × ′ %z“1 ) × d1
#+
= −1 × ¤ %+) × i!9 × ¤ %z+ ) × dj
#io
#+
= −1 × ¤ %+) × i!9 × ¤ %z+ ) × dp
#i|
#1
#i7
#1
#ik #i8
#1
#il #i9
= −1 × ′ “1 × i21 × ′ %z“2 ) × 1
= −1 × ′ “1 × i21 × ′ %z“2 ) × d1
= −1 × ′ “1 × i21 × ′ %z“2 ) × d2
#2
#i2
= −1 × ′ “2 × i24 × ′ %z“1 ) × d1
#!
= −1 × ¤ %!) × i!o × ¤ %z+ ) × dj
#io
#!
= −1 × ¤%! ) × i!o × ¤%z+) × do
#ip
#!
= −1 × ¤%! ) × i!o × ¤%z+) × dp
#i|
#2
#i7
#2
#i8
#2
#i9
= −1 × ′ “2 × i25 × ′ %z“2 ) × 1
= −1 × ′ “2 × i25 × ′ %z“2 ) × d1
= −1 × ′ “2 × i25 × ′ %z“2 ) × d2
99
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
#j
# 3
= −1 × ¤%j ) × i!k × ¤%z+) × 1
#i+
#j
#i2
= −1 × ′ “3 × i28 × ′ %z“1 ) × d1
# 3
= −1 × ¤ %j) × i!k × ¤ %z+ ) × d!
#ij
# 3
= −1 × ¤ %j) × i!k × ¤ %z+ ) × dj
#io
# 3
= −1 × ¤ %j) × i!k × ¤ %z+ ) × do
#ip
# 3
= −1 × ¤ %j) × i!k × ¤ %z+ ) × dp
#i|
#j
#i7
#j
#i8
#j
#i9
= −1 × ′ “3 × i29 × ′ %z“2 ) × 1
= −1 × ′ “3 × i29 × ′ %z“2 ) × d1
= −1 × ′ “3 × i29 × ′ %z“2 ) × d2
Universitas Indonesia
#i+9
#i++
#i+!
#1
#i+9
#1
#i11
#1
#i12
#1
#i+j #i+j
#i+o
#i+p
#i+|
= −1 × ′ “1 × i21 × ′ %z“2 )
× d3
= −1 × ′ “1 × i21 × ′ %z“2 )
× d4
= −1 × ′ “1 × i21 × ′ %z“2 )
× d5
= −1 × ′ “1 × i22 × ′ %z“3 ) × 1
#1
#i14
#1
#i15
#1
#i16
= −1 × ′ “1 × i22 × ′ %z“3 )
× d1
= −1 × ′ “1 × i22 × ′ %z“3 )
× d2
= −1 × ′ “1 × i22 × ′ %z“3 )
× d3
#2
#i+9
#2
#i11
#2
#i12
#2
#i+j
= −1 × ′ “2 × i25 × ′ %z“2 )
× d3
= −1 × ′ “2 × i25 × ′ %z“2 )
× d4
= −1 × ′ “2 × i25 × ′ %z“2 )
× d5
= −1 × ′ “2 × i26 × ′ %z“3 ) × 1
#2
#i14
#2
#i15
#2
#i16
= −1 × ′ “2 × i26 × ′ %z“3 )
× d1
= −1 × ′ “2 × i26 × ′ %z“3 )
× d2
= −1 × ′ “2 × i26 × ′ %z“3 )
× d3
100
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
#j
#i+9
#j
#i11
#j
#i12
#j
#i+j
= −1 × ′ “3 × i29 × ′ %z“2 )
× d3
= −1 × ′ “3 × i29 × ′ %z“2 )
× d4
= −1 × ′ “3 × i29 × ′ %z“2 )
× d5
= −1 × ′ “3 × i30 × ′ %z“3 ) × 1
#j
#i14
#j
#i15
#j
#i16
= −1 × ′ “3 × i30 × ′ %z“3 )
× d1
= −1 × ′ “3 × i30 × ′ %z“3 )
× d2
= −1 × ′ “3 × i30 × ′ %z“3 )
× d3
Universitas Indonesia
#i+}
#i+k
#i+l
#1
#i17
#1
#i18
= −1 × ′ “1 × i22 × ′ %z“3 )
× d4
= −1 × ′ “1 × i22 × ′ %z“3 )
× d5
¦+
= −1 × ¤ %+ ) × 1
¦i+l
#2
#i17
#2
#i18
= −1 × ′ “2 × i26 × ′ %z“3 )
× d4
= −1 × ′ “2 × i26 × ′ %z“3 )
× d5
¦+
=0
¦i+l
#j
#i17
#j
#i18
= −1 × ′ “3 × i30 × ′ %z“3 )
× d4
= −1 × ′ “3 × i30 × ′ %z“3 )
× d5
¦+
=0
¦i+l
#i!9
¦+
= −1 × ¤ %+ ) × c1
¦i!9
¦+
=0
¦i!9
¦+
=0
¦i!9
#i!!
¦+
= −1 × ¤ %+ ) × c3
¦i!!
¦+
=0
¦i!!
¦+
=0
¦i!!
#i!+
#i!j
#i!o
#i!p
#i!|
¦+
= −1 × ¤ %+ ) × c2
¦i!+
¦+
=0
¦i!j
¦+
=0
¦i!+
¦+
=0
¦i!+
¦+
= −1 × ¤ %! ) × 1
¦i!j
¦+
=0
¦i!o
¦+
= −1 × ¤ %! ) × c1
¦i!o
¦+
=0
¦i!|
¦+
= −1 × ¤ %! ) × c3
¦i!|
¦+
=0
¦i!p
¦+
= −1 × ¤ %! ) × c2
¦i!p
101
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
¦+
=0
¦i!j
¦+
=0
¦i!o
¦+
=0
¦i!p
¦+
=0
¦i!|
Universitas Indonesia
#i!}
¦+
=0
¦i!}
¦+
=0
¦i!}
#i!l
¦+
=0
¦i!l
¦+
=0
¦i!l
#i!k
#ij9
¦+
=0
¦i!k
¦+
=0
¦ij9
¦+
= −1 × ¤ %j ) × 1
¦i!}
¦+
=0
¦i!k
¦+
= −1 × ¤ %j ) × c1
¦i!k
¦+
=0
¦ij9
¦+
= −1 × ¤ %j ) × c3
¦ij9
¦+
= −1 × ¤ %j ) × c2
¦i!l
102
Karakteristik metode..., Rosandi Prarizki, FT UI, 2012
Universitas Indonesia