Penerapan Metode Extreme Learning Machine untuk

Penerapan Metode Extreme Learning Machine untuk Peramalan
Permintaan
Irwin Dwi Agustina, Wiwik Anggraeni, S.Si, M.Kom, Ahmad Mukhlason, S.Kom, M.Sc
Jurusan Sistem Informasi, Institut Teknologi Sepuluh Nopember, Surabaya, Indonesia
Abstrak
Permintaann konsumen yang selalu berubah-ubah menuntut pelaku industri untuk dapat melakukan perencanaan
produksi yang tepat. Kegiatan perencanaan produksi meliputi penentuan jumlah barang yang akan diproduksi, bahan baku
yang dibutuhkan, dan harga barang jadi. Dengan perencanaan produksi yang tepat, diharapkan perusahaan dapat memiliki
tingkat inventory rendah dan mampu merespon permintaann konsumen lebih cepat.
Perencanaan yang efektif dan efisien harus didukung oleh sistem peramalan yang akurat. Oleh karena itu, pada tugas
akhir ini penulis akan membuat sistem peramalan permintaann dengan menerapkan metode extreme learning machine
(ELM). Metode ini merupakan salah satu metode pembelajaran baru dari jaringan syaraf tiruan.
Hasil uji coba dalam tugas akhir ini menunjukkan bahwa metode ELM memiliki tingkat akurasi yang lebih baik
dibandingkan dengan metode konvensional seperti Moving Average dan Exponential Smoothing. Dengan implementasi
metode ELM untuk peramalan permintaan ini diharapkan mampu membantu para pelaku industri dalam menentukan
jumlah permintaann secara lebih akurat dan efektif .
Kata Kunci : Permintaan konsumen, Peramalan, Jaringan Syaraf Tiruan, Extreme Learning Machine
demand forecasting diharapkan mampu menghasilkan
ramalan yang lebih efektif.
1. PENDAHULUAN
ermintaan konsumen terhadap barang maupun jasa
selalu berubah dari waktu ke waktu. Perubahan ini
dipengaruhi oleh banyak faktor baik internal maupun
eksternal, sehingga memperkirakan
permintaan
konsumen di masa datang selalu menjadi tantangan bagi
pelaku usaha dan industri. Terutama untuk perusahaanperusahaan make to stock, peramalan memiliki peranan
penting.
Peramalan yang akurat dan efektif dapat membantu
pengambil keputusan dalam perusahaan menentukan
jumlah barang yang akan diproduksi, bahan baku yang
dibutuhkan serta menentukan harga terhadap barang jadi
sehingga perusahaan memiliki tingkat inventory rendah,
serta mampu merespon permintaan konsumen lebih
cepat. Peramalan permintaan yang akurat juga akan
membawa dampak positif bagi pihak-pihak lain dalam
satu rantai pasok.
Banyak metode telah dikemukakan untuk
mendapatkan hasil ramalan yang akurat. Salah satunya
adalah metode jaringan syaraf tiruan (JST) yang
mengadopsi sistem pembelajaran pada otak manusia. JST
banyak diaplikasikan secara intensif pada peramalan
khususnya sales forecasting, karena kelebihannya pada
kontrol area, prediksi dan pengenalan pola. Banyak
penelitian menyimpulkan bahwa metode JST lebih baik
daripada metode-metode peramalan konvensional (Sun et
al, 2008).
Pada tugas akhir ini akan diaplikasikan suatu
metode baru dari JST yaitu Extreme Learning Machine
(ELM). ELM merupakan jaringan syaraf tiruan
feedforward dengan satu hidden layer atau lebih dikenal
dengan istilah single hidden layer feedforward neural
network (SLFNs). Metode ELM mempunyai kelebihan
dalam learning speed, serta mempunyai tingkat akurasi
yang lebih baik dibandingkan dengan metode
konvensional seperti Moving Average dan Exponential
Smoothing sehingga dengan menerapkan ELM pada
P
2. METODE EXTREME LEARNING MACHINE
Extreme Learning Machine merupakan metode
pembelajaran baru dari jaringan syaraf tiruan. Metode ini
pertama kali diperkenalkan oleh Huang (2004). ELM
merupakan jaringan syaraf tiruan feedforward dengan
single hidden layer atau biasa disebut dengan Single
Hiddel Layer Feedforward neural Networks (SLFNs)
(Sun et al, 2008).
Metode pembelajaran ELM dibuat untuk mengatasi
kelemahan-kelemahan dari jaringan syaraf tiruan
feedforward terutama dalam hal learning speed. Huang et
al mengemukaan dua alasan mengapa JST feedforward
mempunya leraning speed rendah, yaitu :
1. menggunakan slow gradient based learning
algorithm untuk melakukan training.
2. semua parameter pada jaringan ditentukan secara
iterative
dengan
menggunakan
metode
pembelajaran tersebut.
Pada pembelajaran dengan menggunakan
Conventional gradient based learning algorithm seperti
backpropagration (BP) dan variaanya Lavenberg
Marquadt (LM) semua parameter pada
JST feedforward harus ditentukan secara manual
(Zhu,2005).
Parameter yang dimaksud adalah input weight dan
hidden bias. Parameter-parameter tersebut juga saling
berhubungan antara layer yang satu dengan yang lain,
sehingga membutuhkan learning speed yang lama dan
sering terjebak pada local minima (Huang et al, 2005).
Sedangkan pada ELM parameter-parameter seperti
input weight dan hidden bias dipilih secara random,
sehingga ELM memiliki learning speed yang cepat dan
mampu
menghasilkan
good
generalization
performance. Gambar 1 merupakan struktur dari ELM.
1
H = ( w i ,..., w N , b i ,..., b N , x i ,...., x N )
(2.13)
=
g ( w 1• x 1 + b 1 )
K
g (w N • x1+ b N )
M
g ( w 1• x N + b 1 )
M
K
M
g ( w N • x N + b N ) (6)
β 1T
β = M
β NT
Gambar 1 Struktur ELM
Metode ELM mempunyai model matematis yang
berbeda dari jaringan syaraf tiruan feedforward. Model
matematis dari ELM lebih sederhana dan efektif. Berikut
model matrematis dari ELM. Untuk N jumlah sample
yang berbeda ( Xi , ti )
Xi = [ Xi 1 , Xi
2,
...., Xi
Xt = [ Xt 1 , Xt
2,
...., Xt n ] T ∈ R m
n
]T ∈ R
t 1T
T = M
t
n
(1)
(2)
N
β igi ( xj ) =
i =1
N
∑
i =1
β ig (W i. • X j+ b i ) = o
matrix dari target atau output .
Pada ELM input weight dan hidden bias ditentukan
secara acak, maka output weight yang berhubungan
dengan hidden layer dapat ditentukan dari persamaan [5].
(9)
β = H ΤT
j
(3)
Dimana :
J = 1, 2 ,..., N
w i = ( w i 1 , w i 2 ,..., w in ) T = merupakan vektor dari
weight
3. METODOLOGI
Pada bab ini dibahas mengenai penjelasan dari setiap
tahapan penyelesaian dari permasalahan yang diangkat
pada Tugas Akhir ini.
yang
i th
menghubungkan
hidden nodes dan input
nodes.
β i = ( β i 1, β i 2 ,..., β
im
) T merupakan weight vector
1. Pengumpulan Data
yang menghubungkan i
th hidden dan output
nodes.
bi
threshold dari
wix
j
i
Data yang digunakan adalah data penjualan harian
selama dua tahun yaitu tahun 2008-2009 dari bulan
Januari-Desember milik “ Cak Cuk Shop” Surabaya.
Peramalan dibatasi pada dua produk yaitu kaos dan pin.
Antara kedua produk tidak ada hubungan saling
mempengaruhi sehingga setiap produk dianggap sebagai
produk dipenden dimana jumlah permintaan untuk setiap
produk tidak dipengaruhi oleh jumlah permintaan dari
produk lainnya. Gambar 2 dan 3 berikut merupakan plot
data penjualan kaos dan pin selama periode Januari 2008Desember 2009.
th hidden nodes.
merupakan inner produk dari
wi
dan x
j
SLFNs dengan N hidden nodes dan activation function
g ( x ) diasumsikan dapat meng-approximate dengan
tingkat error 0 atau dapat dinotasikan sebagai berikut :
N
∑
j =1
N
∑
i =1
o
j−
t
j
= o sehingga o j = t
β ig (W i. • X j+ b i ) = t
j
j
(8)
T
N
H pada persamaan [6] di atas adalah hidden layer
output matrix. g (w1• x1+b1 ) menunjukkan output dari
hidden neuron yang berhubungan dengan input
x i . β merupakan matrix dari output weight dan T
Standart SLFNs dengan jumlah hidden nodes
sebanyak N
dan activation function
g ( x ) dapat
digambarkan secara matematis sebagai berikut :
∑
(7)
(3)
2. Peramalan dengan Metode ELM
Ada beberapa tahap yang harus dilalui pada
peramalan dengan metode ELM. Secara garis besar
langkah ELM dibagi menjadi tiga tahap yaitu
preprocessing data, training, kemudian testing. Langkahlangkah peramalan metode ELM secara rinci ditunjukkan
pada gambar 4.
(4)
Persamaan [4] dapat dituliskan secara sederhana sebagai
(5)
Hβ = T
2
rendah. Langkah- langkah
ditunjukkan pada gambar 5..
pada
training
ELM
Gambar 2 Plot data penjualan kaos
Gambar 4 Flowchart peramalan dengan metode
ELM
rendah. Langkah-langkah dari proses training ELM
ditunjukkan pada gambar 5.
Gambar 3 Plot data penjualan pin
Dari gambar 3.3 langkah-langkah ELM dapat
dirinci sebagai berikut :
1. Pembagian data training dan testing.
2. Training ELM.
3. Testing ELM.
4. Analisa hasil peramalan.
Berikut penjelasan dari masing-masing langkah
peramalan dengan metode ELM.
3. Pembagian data menjadi data training dan testing
Proses training dan testing mutlak diperlukan pada
proses peramalan dengan ELM. Proses training untuk
mengembangkan model dari ELM, sedangkan testing
digunakan untuk mengevaluasi kemampuan ELM sebagai
forecasting tool. Oleh karena itu data dibagi menjadi dua
yaitu data training dan testing.
Menurut Zhang (1997) beberapa peneliti membagi
data training dan testing dengan komposisi sebagai
berikut :
- Data training sebanyak 80% dari total data.
- Data testing 20% dari total data.
Gambar 5 Flowchart pelatihan ELM
5. Normalisasi Data Training
Data yang akan diinputkan pada ELM sebaiknya
dinormalisasi sehingga mempunyai nilai dengan range
tertentu. Hal ini diperlukan karena fungsi aktivasi yang
digunakan akan menghasilkan output dengan range data
[0,1] atau [-1,1]. Pada tugas akhir ini data training
dinormalisasi sehingga mempunyai range nilai [-1,1].
Berikut Rumus yang digunakan pada proses normalisasi.
4. Pelatihan ELM
Sebelum digunakan sebagai tool peramalan, ELM
harus melalui proses pelatihan terlebih dahulu. Tujuan
dari proses ini adalah untuk mendapatkan input weight ,
bias dan output weight dengan tingkat kesalahan yang
3
X = 2× (X
p−
min{ X p }) /(max{ X p } − min{ X p }) − 1
Dimana :
(1)
X
Dimana :
= nilai data setelah denormalisasi.
= data output sebelum denormalisasi.
X
= nilai hasil normalisasi yang berkisar antara [-1,1].
X
Xp
= nilai data asli yang belum dinormalisasi.
min( X p ) = data minimum pada data set sebelum
normalisasi.
min( X p ) = nilai minimum pada data set.
max( X p ) = data maksimun pada data set sebelum
max( X p ) = nilai maksimum pada data set.
normalisasi.
6. Menentukan fungsi aktivasi dan jumlah hidden neuron
Pada proses training jumlah hidden neuron dan
fungsi aktivasi dari ELM harus ditentukan terlebih
dahulu. Pada tugas akhir ini dilakukan uji coba dengan
menggunakan fungsi aktivasi log sigmoid dan tan
sigmoid karena kedua fungsi tersebut yang paling sering
digunakan pada permasalahan forecasting, serta fungsi
transfer purelin karena data yang diramalkan bersifat
stasioner. Hal ini mengacu pada tulisan Zhang (1997)
bahwa fungsi transfer linier memiliki kelemahan pada
pola data yang memiliki trend.
Untuk jumlah hidden neuron menurut Sun et
al(2008) ELM menghasilkan output peramalan yang
stabil dengan jumlah hidden neuron 0-30. Namun jika
output yang didapatkan dari ELM kurang optimal, maka
akan digunakan alternative fungsi transfer yang lain atau
merubah jumlah hidden neuron.
9. Testing ELM
Berdasarkan input weight dan output weight yang
didapatkan dari proses training, maka tahap selanjutnya
adalah melakukan peramalan dengan ELM. Data yang
digunakan adalah data testing sebanyak 20% dari data.
Pada tahap ini data input dinormalisasi terlebih dahulu
dengan range dan rumus normalisasi yang sama dengan
data training. Secara otomatis output dari proses ini juga
harus didenormalisasi.
10. Analisa Hasil Peramalan
Setelah melalui berbagai tahap seperti yang telah
dijabarkan di atas, maka didapatkan nilai peramalan
penjualan y i . Hasil yang didapatkan tersebut kemudian
dianalisa apakah memiliki tingkat kesalahan (MSE dan
MAPE)
yang kecil. Jika tingkat kesalahan yang
dihasilkan masih relatif besar, maka dievaluasi kembali
langkah-langkah yang telah dilakukan. Mulai dari proses
training,testing maupun predicting hingga hasil yang
didapatkan optimal. Berikut rumus matematis dari Mean
Square Error (MSE) dan Mean Absolut Precentage Error
(MAPE).
7. Menghitung input weight, bias of hidden neuron dan
output weight
Output dari proses pelatihan ELM adalah input
dan output weight serta bias dari hidden neuron dengan
tingkat kesalahan rendah yang diukur dengan MSE dan
MAPE. Input weight ditentukan secara random,
sedangkan output weight merupakan invers dari matrix
hidden layer dan output. Secara matematis dapat ditulis
sebagai berikut :
β = H ΤT
N
, b i ,..., b
g ( w 1• x 1 + b 1 )
=
M
g ( w 1• x N + b 1 )
β 1T
β = M
β NT
mse =
K
M
K
N
, x i ,...., x
(3)
(5)
T
N
N
⎛ yi − t i
⎝ yi
∑ ⎜⎜
i =1
data penjualan actual
⎞
⎟⎟(100 )
⎠
(8)
N = jumlah data
y i = data ouput (predicted sales)
t i = data penjualan actual
11. Membandingkan Hasil Peramalan ELM dengan hasil
peramalan MA dan ES.
Setelah analisis terhadap hasil ramalan metode ELM
dilakukan, maka akan diketahui nilai MSE danMAPE.
Langkah selanjutnya adalah membandingkan nilai MSE
dan MAPE tersebut dengan dua metode peramalan
konvensional yaitu Moving Average dan Exponential
Smoothing. Metode MA yang digunakan adalah Single
8. Denormalisasi Output
Output yang dihasilkan dari proses pelatihan
didenormalisasi, sehingga didapatkan predicted sales dari
data training. Berikut rumus denormaliasi yang
digunakan
X = 0.5× ( X p +1) × (max{X p } − min{X p }) + min{X p }
1
N
Dimana :
T
1
T = M
t
mape =
(7)
N = jumlah data
yi = data ouput (predicted sales)
ti =
)
g (w N • x1+b N )
M
g (w N • x N +b N )
t
(4)
N
1 N
∑ ( yi − ti )2
N i =1
Dimana :
(2)
H = ( w i ,..., w
p
(6)
4
Moving Average dua periode. Sedangkan untuk metode
ES menggunakan metode Single Exponential Smoothing.
Selain nilai MSE dan MAPE, plot data hasil ramalan
dari masing-masing metode juga diperbandingkan. Hal
ini dilakukan untuk mengetahui perbandingan tingkat
akurasi metode ELM dengan metode konvensional serta
performa dari ELM.
Bobot dan bias yang didapatkan pada proses
training akan digunakan sebagai parameter pada proses
testing. Hasil dari proses testing pada produk kaos
ditunjukkan pada gambar 6 pada produk kaos dan 7 pada
produk pin.
4. IMPLEMENTASI DAN HASIL
Pada tahap implementasi dilakukan uji coba dengan
menggunakan fungsi aktivasi sigmoid, tansig dan purelin
dengan jumlah hidden (1,3,5 dan 7). Fungsi sigmoid dan
tansig digunakan karena kedua fungsi aktivasi tersebut
merupakan fungsi aktivasi yangs sering digunakan
terutama untuk masalah peramalan. Sedangkan fungsi
aktivasi purelin digunakan karena data yang ada bersifat
stasioner.
Metode
ELM
pada
tugas
akhir
ini
diimplementasikan pada dua produk yaitu kaos dan pin.
Pada produk kaos hasil uji coba dengan fungsi aktivasi
dan jumlah hidden neuron yang berbeda kedua produk
menghasilkan bobot dan bias yang paling optimal pada
jumlah hidden neuron 5 pada aktivasi purelin. Sedangkan
pada produk pin hasil palng optimal pada fungsi aktivasi
purelin dengan jumlah hidden neuron 3.
Gambar 8 Grafik perbandingan data histori, hasil
peramalan MA, ES dan ELM untuk data kaos.
Gambar 9 Grafik perbandingan data histori, hasil
peramalan MA, ES dan ELM untuk data pin.
Gambar 6 Grafik perbandingan data histori dan
testing ELM pada data kaos
Tabel 1 Perbandingan nilai MSE dan MAPE antara
metode MA, ES dan ELM untuk data kaos
MA
ES
ELM
MSE
116.74
502.19
0.0481
MAPE
19.19
32.93
0.0042
Tabel 2 Perbandingan nilai MSE dan MAPE antara
metode MA, ES dan ELM untuk data pin
MA
ES
ELM
MSE
13.78
55.45
0.0023
MAPE
55.43
111.39
0.0095
Gambar 7 Grafik perbandingan data histori dan data
testing ELM
5
Hasil perbandingan testing ELM pada data kaos
dan data pin dengan hasil peramalan dengan metode
Moving Average dan Exponential Smoothing ditunjukkan
pada gambar 8 dan 9. Dari gambar tersebut dapat
diketahui bahwa ELM menghasilkan ramalan yang jauh
lebih baik dari metode konvensional yaitu Moving
Average dan Exponential Smoothing. Hal ini juga
diperkuat dengan perbandingan MSE dan MAPE dari
metode ELM, ES dan MA yang ditunjukkan pada tabel 1
dan 2.
5. KESIMPULAN
[6]
Huang, G.B., Zhu, Q.Y., dan Siew, C.K. 2005.
Extreme Learning Machine : Theory and
applications. Elsevier science : Neurocomputing
70 (2006) 489-501.
[7]
Makridakis, S., Wheelwright,S.C., dan McGee,
V.E. 1999. Metode dan Aplikasi Peramalan.
Jakarta : Erlangga.
[8]
Mitchel, T.M. 1997.
Singapura: McGraw-Hill.
[9]
Sun, Z.L., Choi, T.M., Au, K.F., dan Yu, Y. 2008.
Sales Forecasting using Extreme Learning
Machine with Application in Fashion Retailing.
Elsevier Decision Support Systems 46 (2008)
411-419.
[10]
Zhang, G., Pattuwo, B.E., dan Hu, M.Y. 1997.
Forecasting with Artificial Neural Networks : The
State of the Art. Elsevier International Journal
of Forecasting 14 (1998) 35-62.
Kesimpulan yang dapat diambil dari tugas akhir ini
adalah sebagai berikut :
y Berdasarkan hasil uji coba terhadap ELM dengan
fungsi aktivasi dan jumlah hidden neuron yang
berbeda, maka pada tugas akhir ini
ELM
menghasilkan output optimal pada fungsi aktivasi
purelin dengan jumlah hidden neuron lima untuk
data kaos, dan jumlah hidden neuron tiga untuk
data pin.
y ELM menghasilkan output peramalan dengan
tingkat kesalahan yang rendah yaitu MAPE
0.0042 % pada produk kaos dan 0.0095% pada
produk pin. Metode peramalan Moving Average
mempunyai tingkat kesalahan
19.19% pada
produk kaos dan 55.43% pada produk pin.
Sedangkan pada
Exponential Smoothing
mempunyai tingkat kesalahan 32.93% pada
produk kaos dan 111.39% pada produk pin.
y Training time atau learning speed yang
dibutuhkan oleh ELM sangat singkat, yaitu ratarata 0.0059 detik.
y Output dari ELM ditentukan oleh penentuan
parameter seperti fungsi aktivasi atau fungsi
transfer dan jumlah hidden neuron.
6. DAFTAR PUSTAKA
[1]
Abraham, A. 2004. Meta-Learning Evolutionary
Artificial Neural Networks. Elsevier science :
Neurocomputing Journal 56 c (2004). 1-38.
[2]
Barron, A.R. 1994. A comment on”Neural
network: A review form statistical perspective”.
Statistical Science 9 (1), 33-35.
[3]
Brockwell, P.J., dan Davis, R.A. 2002.
Introduction to Time Series and Forecasting.
Springer : New York.
[4]
Demuth, H.,dan Beale, M. 2000. Neural Network
Toolbox For Use with MATLAB. Massachusetts:
The MathWork Inc.
[5]
Huang, G.B., Zhu, Q.Y., dan Siew, C.K. 2004.
Extreme Learning Machine : A New Learning
Scheme of Feddforward neural Networks.
Proceeding of International Joint Conference
on Neural Networks. Hungary, 25-29 Juli.
6
Machine
learning.