performa metode k nearest neighbor imputation

PERFORMA METODE K NEAREST NEIGHBOR IMPUTATION (KNNI)
UNTUK MENANGANI MULTIVARIATE MISSING DATA
Sartika Y Siregar,S.ST1, Dr. Toni Toharudin2, Bertho Tantular, S.Si, M.Si3
1
Mahasiswa Pascasarjana Statistika Terapan, FMIPA Unpad, Bandung
2
Departemen Statistika, FMIPA Universitas Padjadjaran, Bandung
3
Departemen Statistika, FMIPA Universitas Padjadjaran, Bandung
ABSTRAK
Salah satu hal yang sangat diharapkan ketika melakukan pengumpulan data pada sensus
atau survei adalah menghasilkan data yang lengkap. Ketika terdapat data yang tidak lengkap
maka harus diklarifikasi penyebabnya. Secara umum, ketidak lengkapan data terjadi karena
adanya non observational yaitu kegagalan dalam memperoleh data sebagai bagian dari
pendefinisian populasi target. Non observational dapat berupa non coverage dan non
response. Non coverage terjadi pada saat elemen dari target populasi tidak mempunyai
kesempatan untuk terpilih karena tidak tercantum dalam kerangka sampel. Nonrespon
merupakan suatu kegagalan untuk memperoleh data baik secara keseluruhan (nonrespon
unit) maupun sebagian dari karakteristik yang ingin diukur (nonrespon item). Nonrespon
item masih dapat diatasi dengan berbagai metode. Salah satu caranya adalah dengan metode
imputasi. Tujuan dari penelitian ini adalah mengkaji metode K-Nearest Neighbor Imputation
(KNNI) untuk menangani multivariate missing data dengan simulasi data hilang sebanyak
10,20,30,dan 40 persen dari total sampel sehingga dapat dibandingkan performa metode ini
pada tiap simulasi data hilang. Data yang digunakan pada penelitian ini adalah data Survei
Produktivitas Tanaman Pangan Komoditi Ubi Kayu Provinsi Lampung tahun 2013. Berdasarkan
hasil pengolahan pada metode KNNI bahwa semakin besar missing data yang terjadi pada data
produktivitas ubi kayu maka rata-rata nilai RMSE nya juga semakin besar pada setiap nilai K
yang digunakan. Artinya bahwa semakin sedikit data yang hilang maka tingkat akurasinya pun
semakin baik.
Kata Kunci : Nonrespon, Imputasi, KNNI, Nearest Neighbor
1. Pendahuluan
Salah satu hal yang sangat diharapkan ketika melakukan pengumpulan data baik
secara sensus atau survei adalah menghasilkan data yang lengkap. Namun ketika
terdapat data tidak lengkap/data hilang di dalamnya, maka sebelumnya harus
diklarifikasi penyebabnya. Secara umum, ketidak lengkapan data terjadi karena adanya
non observational yaitu kegagalan dalam memperoleh data sebagai bagian dari
pendefinisian populasi target. Non observational dapat berupa non coverage dan non
response. Non coverage terjadi pada saat elemen dari target populasi tidak mempunyai
kesempatan untuk terpilih karena tidak tercantum dalam kerangka sampel. Nonrespon
merupakan suatu kegagalan untuk memperoleh data baik secara keseluruhan (nonrespon
unit) maupun sebagian dari karakteristik yang ingin diukur (nonrespon item). Pada
tahun 2013 di Provinsi Lampung, pada kelompok sampel rumah tangga komoditi ubi
kayu terdapat non observational sekitar 46,35 persen. Tingkat non observational
1
komoditi ini lebih tinggi dari tingkat non observational pada seluruh komoditi (34,06
persen).
Permasalahan data hilang (missing data) akibat adanya nonrespon juga terjadi
pada survei yang dilakukan oleh Badan Pusat Statistik (BPS). Salah satunya yaitu pada
Survei Produktivitas Tanaman Pangan (Ubinan). Data diperoleh dengan dua cara yaitu
dengan metode wawancara dan pengukuran langsung. Ketika pengukuran langsung
tidak dapat dilakukan karena waktu survey yang tidak tepat maka akan muncul
nonrespon unit. Sebenarnya nonrespon unit pada survei ini dapat dikurangi dengan tetap
melakukan metode wawancara untuk item pertanyaan yang lain, namun pada isian item
pertanyaan banyaknya hasil ubinan dan jumlah batang/rumpun dalam plot ubinan akan
kosong (missing data) karena mensyaratkan metode pengumpulan data untuk kedua
item ini dengan metode pengukuran langsung sehingga terjadi nonrespon item pada
kedua item pertanyaan tersebut.
Untuk mengatasi missing data tersebut, dapat digunakan beberapa metode yaitu
mengabaikan atau membuang data yang hilang, estimasi parameter dan metode imputasi
[13]. Pada penelitian ini difokuskan pada metode imputasi untuk mengatasi missing
data yang terdapat pada Survei Produktivitas Ubinan.
Berdasarkan teknik imputasinya, metode imputasi terdiri dari dua jenis yaitu
teknik machine learning dan teknik statistik. Salah satu metode dengan teknik machine
learning adalah metode K-Nearest Neighbor Imputation (KNNI) [10]. Metode KNNI
adalah metode yang paling terkenal yang digunakan untuk mengatasi missing data.
Metode ini tidak perlu memprediksi model seperti halnya pada prosedur EM Algorithm,
hanya menggunakan ukuran jarak. Metode KNNI juga memberikan hasil imputasi yang
sangat baik bahkan ketika data yang digunakan memiliki missing data yang cukup besar
[5].
Oleh karena itu, pada penelitian ini akan dikaji performa metode KNNI untuk
menangani masalah missing data pada item banyaknya hasil ubinan dan jumlah
batang/rumpun dalam plot ubinan guna mengurangi nonrespon unit pada Survei
Produktivitas Tanaman Pangan Komoditi Ubi Kayu Provinsi Lampung Tahun 2013.
2.Metode
Missing data adalah suatu keadaan dimana beberapa nilai atribut dalam suatu
dataset kosong /tidak ada nilainya [18]. Artinya terdapat isian yang tidak lengkap pada
variabel tertentu pada suatu observasi.
Keacakan missing data dapat dibagi ke dalam tiga tipe [5] yaitu : (1) Missing
Completely at Random (MCAR), yaitu terjadinya missing data tidak bergantung pada
nilai seluruh variabel, baik variabel yang terisi (diketahui) maupun variabel yang
mengandung missing values ; (2) Missing at Random (MAR), yaitu terjadinya missing
data bergantung pada variabel yang terisi (diketahui) namun tidak bergantung pada
variabel yang mengandung missing values itu sendiri ; (3) Not Missing at Random
(NMAR), yaitu terjadinya missing data pada suatu variabel bergantung pada variabel itu
sendiri sehingga tidak dapat diprediksi dari variabel yang lain.
Ada beberapa teknik untuk menangani missing data, namun pada penelitian ini
hanya akan membahas salah satu metode imputasi. Metode imputasi adalah metode
yang sering digunakan untuk mengatasi missing data. Metode ini menjadi sangat
berguna pada situasi dimana dataset yang lengkap dibutuhkan untuk melakukan analisis
2
data [13]. Metode imputasi tidak hanya mengurangi bias nonrespon tetapi juga dapat
menghasilkan data yang lengkap [16]. Beberapa metode imputasi akan dipaparkan pada
bagian ini, yaitu :
1. Metode imputasi dengan ukuran pemusatan
Metode imputasi ini menggunakan ukuran pemusatan data untuk mengisikan
data yang hilang. Jika tipe data atributnya kontinu maka digunakan nilai mean dan
jika tipe data atributnya diskret maka digunakan nilai modus [5]. Metode imputasi
ini termasuk ke dalam model-donor imputation yaitu nilai imputasi yang diambil
dari model [6].
2. Metode imputasi regresi
Metode imputasi ini termasuk ke dalam model-donor imputation [6]. Metode
imputasi ini akan mengisikan nilai yang missing dengan nilai prediksi dari regresi
yang berasal dari unit observasi [14].
3. Metode imputasi Hot Deck
Metode imputasi ini termasuk ke dalam real-donor imputation yaitu nilai
imputasi diambil dari himpunan nilai observasi [6]. Dengan metode ini, missing data
diganti dengan nilai dari observasi yang respon yang memiliki kemiripan dengan
observasi yang mempunyai missing data [14].
4. Metode imputasi ColdDeck
Pada metode imputasi ini, missing data pada suatu observasi diisikan dengan
hasil survei pada periode sebelumnya atau berdasarkan informasi lain, misal data
historis atau series data. Sumber data imputasi bukan berasal dari data set yang
sama dengan observasi yang lengkap sehingga tidak memerlukan perhitungan atau
algoritma komputer dalam proses imputasinya [16].
5. Metode imputasi berbasis Machine Learning
Metode imputasi berbasis Machine Learning diantaranya yaitu metode C4.5
dan CN2. Kedua metode tersebut merupakan metode yang simpel untuk mengatasi
missing data. Namun jika kedua metode tersebut dibandingkan dengan metode KNearest Neighbor Imputation (KNNI) untuk mengatasi missing data, metode KNNI
memberikan hasil yang lebih baik [5]. Metode imputasi berbasis Machine Learning
yang lain adalah Multi Layer Perceptron (MLP) dan Self Organization Maps
(SOM). Jika dua metode tersebut dibandingkan dengan metode KNNI, maka metode
KNNI memberikan performa yang paling baik [10].
Pada penelitian ini akan diterapkan metode K Nearest Neighbor Imputation untuk
menangani missing data pada data produktivitas tanaman pangan komoditi ubi kayu.
Metode K Nearest Neighbor Imputation (KNNI)
Metode imputasi KNN merupakan salah satu metode yang paling populer untuk
menyelesaikan permasalahan missing data. Keunggulan dari metode imputasi KNN
adalah :
(1) Metode imputasi KNN dapat digunakan untuk memprediksi dua tipe data baik data
diskret (dengan nilai modus) maupun kontinu (dengan nilai mean)
(2) Metode imputasi KNN tidak membutuhkan pembentukan model prediksi untuk
setiap item yang mengalami missing data [5].
Kelemahan utama dari metode imputasi KNN adalah ketika mencari pengamatan yang
paling sesuai dengan pengamatan yang mempunyai nilai yang hilang, algoritma
imputasi KNN akan mencari melalui semua dataset. Kelemahan ini akan berpengaruh
3
ketika dataset yang digunakan cukup besar, akan membutuhkan waktu yang cukup
lama. Namun walaupun begitu, metode imputasi KNN tetap merupakan metode yang
cukup baik untuk imputasi data yang hilang [13].
Tahapan pengerjaan imputasi missing data dengan metode KNNI dapat dijelaskan
sebagai berikut :
1. Menentukan nilai K, yaitu berapa jumlah observasi terdekat yang akan
digunakan
2. Menghitung jarak antara observasi yang mengandung missing data pada variabel
ke-j dengan observasi lainnya yang tidak mengandung missing data pada
variabel yang bersesuaian dengan menggunakan rumus
, = ∑
− (1)
Dengan :
, = jarak antar observasi target dan observasi = nilai variabel ke-j pada observasi target , j = 1,2,. , m
= nilai variabel ke-j pada observasi lainnya , j = 1,2,., m
3. Mencari K observasi terdekat berdasarkan nilai jarak terkecil. Nilai variabel
pada K observasi terdekat ini yang akan digunakan untuk proses imputasi pada
observasi yang mengandung nilai missing
4. Menghitung bobot (weight) pada setiap K observasi terdekat. Observasi yang
paling dekat akan mendapatkan bobot yang paling besar
5. Menghitung nilai rata-rata pada K observasi terdekat yang tidak mengandung
nilai missing dengan prosedur weighted mean estimation yaitu dengan rumusan
= ∑
(2)
Dengan adalah nilai variabel ke-j pada observasi ke-k,
k= 1,2,…,K dan
= ∑
adalah bobot observasi tetangga terdekat ke-k, yang dirumuskan sebagai
berikut : = , !
6. Melakukan proses imputasi missing data pada observasi yang mangandung nilai
missing dengan nilai rata-rata yang diperoleh pada tahap 5
3.Hasil dan Pembahasan
Data yang digunakan dalam penelitian ini adalah data survei produktivitas
tanaman pangan/ubinan tahun 2013 di Provinsi Lampung pada komoditi ubi kayu.
Komoditi ini dipilih karena tingkat nonrespon unitnya lebih tinggi daripada tingkat
nonrespon pada seluruh komoditi. Jumlah observasi yang akan digunakan dalam
penelitian ini adalah 1427 observasi dengan jumlah variabel yang digunakan sebanyak
lima variabel. Variabel yang akan digunakan pada penelitian ini adalah : luas tanaman
sejenis (X1), banyaknya pupuk UREA yang digunakan (X2), banyaknya pupuk
NPK/majemuk yang digunakan (X3), berat hasil ubinan (X4), banyaknya batang dalam
plot ubinan (X5).
Imputasi missing data dengan metode KNNI akan dilakukan pada variabel berat
hasil ubinan (X4) dan banyaknya batang dalam plot ubinan (X5) secara bersamaan.
Karena data yang digunakan adalah dataset lengkap maka terlebih dahulu dilakukan
simulasi data hilang pada variabel berat hasil ubinan (X4) dan banyaknya batang dalam
4
plot ubinan (X5) secara bersamaan. Simulasi data hilang akan menggunakan simple
random sampling without replacement (SRS WOR) dengan persentase data hilang
sebanyak 10, 20, 30, dan 40 persen. Banyaknya persentase data hilang disesuaikan
dengan permasalahan yang ada.
Setelah data pada variabel X4 dan X5 dihilangkan sesuai banyaknya persentase
data hilang, maka langkah selanjutnya adalah melakukan imputasi dengan metode
KNNI dengan menggunakan nilai K=10,15,20, dan 30. Setiap nilai K pada tiap
persentase missing data dicobakan sebanyak 10 kali percobaan sehingga diperoleh nilai
RMSE pada tiap percobaannya dan kemudian dihitung rata-rata nilai RMSE nya.
Tabel 1. Nilai Rata-rata RMSE pada Imputasi Variabel X4 dan X5 dengan Metode
KNNI pada Data Produktivitas Ubi Kayu Prov. Lampung 2013
Persentase
Missing Data
Rata-rata Nilai RMSE
K=10
K=15
K=20
K=30
10
4.7388014
4.341415
4.2186241
4.5352438
20
8.3209924
7.220235
6.5948563
7.8889096
30
11.9230503
10.17751
9.3844144
12.1286796
40
13.757097
13.6982
12.0325382
14.001417
Sumber : Hasil Pengolahan Data
Dari tabel diatas dapat dilihat hasil pengolahan dari metode KNNI bahwa
semakin besar missing data yang terjadi pada data produktivitas ubi kayu maka rata-rata
nilai RMSE nya juga semakin besar pada setiap nilai K yang digunakan. Artinya bahwa
semakin sedikit data yang hilang maka tingkat akurasinya pun semakin baik. Jika dilihat
pada kolom K=10 diperoleh hasil rata-rata nilai RMSE pada missing data 10 persen
yaitu 4,7388014; pada missing data 20 persen yaitu 8,3209924; pada missing data 30
persen yaitu 11,9230503; dan pada missing data 40 persen yaitu 13,757097; dan begitu
seterusnya pada setiap nilai K yang digunakan. Semakin besar nilai K yang digunakan
tidak menunjukkan rata-rata nilai RMSE yang semakin kecil. Nilai K dapat ditentukan
oleh peneliti disesuaikan dengan banyaknya observasi yang diteliti.
Tabel diatas dapat dilihat lebih jelas pada gambar berikut :
5
16
14
Rata-rata RMSE
12
10
Missing Data 10%
8
Missing Data 20%
6
Missing Data 30%
4
Missing Data 40%
2
0
10
15
20
30
Nilai K
Gambar 1. Rata-rata nilai RMSE pada setiap Persentase Missing Data dan Nilai K yang Digunakan
dengan Metode KNNI
4. Kesimpulan
Berdasarkan penelitian yang telah dilakukan pada metode KNNI dapat diambil
kesimpulan bahwa :
1. Semakin besar missing data yang terdapat pada data maka rata-rata nilai RMSE
nya juga semakin besar
2. Semakin besar nilai K yang digunakan tidak menunjukkan rata-rata nilai RMSE
yang semakin kecil.
DAFTAR PUSTAKA
[1] Alfarisi, A.R., Tjandrasa, H, dan Arieshanti, I. 2013. Perbandingan Performa antara
Imputasi Metode Konvensional dan Imputasi dengan Algoritma Mutual Nearest
Neighbor. Jurnal Teknik Pomits, 2. Surabaya : Institut Teknologi Sepuluh
November.
[2] Andridge, A. dan Little, R.J.A. 2010. A Review of Hot Deck Imputation for Survey
Non-response. NIH Public Access, 78, 40–64.
[3] Babich, G.A. dan Sibul, L.H. 1994. Weighted Parzen Windows for Pattern
Classification. Technical Report. Applied Research Laboratory The Pennsylvania
State University.
[4] Badan Pusat Statistik. 2012. Buku Pedoman Pengumpulan Data Tanaman Pangan.
Jakarta : BPS.
[5] Batista, G.E. dan Monard, M.C. 2002. A Study of K-Nearest Neighbour as an
Imputation Method. Second International Conference on Hybrid Intelligence
Systems, 87, 251-260.
6
[6] Chaimongkol, W. dan Suwattee, P. 2004. Weighted Nearest Neighbor and
Regression Imputation. Working Paper. National Institute of Development
Administration.
[7] Cover, T.M. dan Thomas, J.A. 2006. Elements of Information Theory, Second
Edition. New York : John Wiley & Sons, Inc.
[8] Doquire, G. dan Verleysen, M. 2012. Feature Selection with Missing Data Using
Mutual Information Estimators. Neurocomputing, 90, 3-11. Elsevier.
[9] Francois, D., Rossi, F., Wertz, V., dan Verleysen, M. 2007. Resampling Methods
for Parameter-Free and Robust Feature Selection with Mutual Information.
Neurocomputing, 70, 1276-1288. Elsevier.
[10] Jerez, J.M., Molina, I, Laencina, P.J.G., Alba, E., dan Ribelles, N. 2010. Missing
Data Imputation Using Statistical and Machine Learning Methods in a Real Breast
Cancer Problem. Artificial Intelligence in Medicine, 50, 105-115. Elsevier.
[11] Kwak, N. dan Choi, C-H. 2002. Input Feature Selection by Mutual Information
Based on Parzen Window. IEEE Transactions on Pattern Analysis and Machine
Intelligence, 24, 1667-1671.
[12] Laencina, P.J.G., Gomez, J-L.S., Vidal, A.R.F., dan Verleysen, M. 2008. K-Nearest
Neighbours Based on Mutual Information for Incomplete Data Classification.
ESANN’2008 Proceedings. European Symposium on Artificial Neural NetworksAdvances in Computational Intelligence and Learning Bruges.
[13] Laencina, P.J.G., Gomez, J-L.S., Vidal, A.R.F., dan Verleysen, M. 2009. K Nearest
Neighbours with Mutual Information for Simultaneous Classification and Missing
Data Imputation. Neurocomputing, 72, 1483-1493. Elsevier.
[14] Little, R.J. dan Rubin, D.B. 1987. Statistical Analysis with Missing Data. New
York: John Wiley & Sons, Inc.
[15] Liu, H. dan Zhang, S. 2012. Noisy Data Elimination Using Mutual K-Nearest
Neighbor for Classification Mining. The Journal of System and Software, 85, 10671074. Elsevier.
[16] Lohr, S.L. 1999. Sampling : Design and Analysis. Pacific Grove,CA : Duxbury
Press.
[17] Mawarsari, U. 2012. Imputasi Missing Data dengan K-Nearest Neighbor dan
Algoritma Genetika (Studi Kasus pada Data Survei Industri Besar dan Sedang
2008). Tesis. Surabaya : Institut Sepuluh November.
[18] Tan, P.N., Steinbach, M., dan Kumar, V. 2006. Introduction to Data Mining (4th
ed.). Boston : Pearson Addison Wesley.
[19] Wettschereck, D., Aha, D.W., dan Mohri, T. 1997. A Review and Empirical
Evaluation of Feature Weighting Methods for a Class of Lazy Learning
Algorithms. Artificial and Intelligence Review, 11, 273-314.
7