penanganan ketidakseimbangan kelas pada dataset

BAB I
PENDAHULUAN
1.1
Latar Belakang
Setiap siswa di dalam kelas memiliki karakteristik diri yang berbeda – beda,
seperti : jujur, empati, sopan, menghargai dan sebagainya. Karakteristik diri
tersebut berperan penting dalam pembangunan hubungan dengan teman sekelas,
guru dan pegawai di lingkungan sekolah [1]. Hubungan di lingkungan sekolah ini
mempengaruhi motivasi siswa di dalam aktivitas belajar, baik motivasi intrinsik dan
ekstrinsik [2]. Menurut penelitian [3], motivasi intrinsik maupun ekstrinsik inilah
yang mempengaruhi performa akademik siswa. Berdasarkan keeratan hubungan
dengan motivasi, faktor metakognisi juga mempengaruhi bagaimana siswa
berperilaku di kelas dan mempengaruhi tingkat performa di dalam akademik [4].
Faktor
metakognisi
merupakan
kemampuan
untuk
merefleksikan,
memahami dan mengkontrol belajar dirinya sendiri. Metakognisi berperan dalam
pemilihan meta level seseorang yang berkaitan dengan informasi kapan
menggunakan proses kognisi tertentu dan bagaimana mengkombinasikannya dalam
rangka mengerjakan tugas yang lebih besar. Metakognisi memiliki dua komponen
utama yaitu ‘pengetahuan kognisi’ serta ‘peraturan kognisi’ [5]. Pengetahuan
kognisi adalah mekanisme untuk menggunakan strategi maupun prosedur,
sedangkan peraturan kognisi adalah sekumpulan aktivitas yang membantu
seseorang dalam mengkontrol cara belajarnya. Hal – hal yang membuat faktor
metakognisi unggul dalam meneliti perilaku siswa karena faktor ini mencakup
motivasi, peraturan (regulation) maupun kognisi seseorang.
Sudah banyak penelitian yang memprediksi faktor performa siswa
berdasarkan nilai kognisi yang dilihat dari pengetahuan mata pelajaran tertentu [6]–
[8]. Namun belum banyak proses prediksi faktor performa siswa berdasarkan nilai
metakognisi dalam bidang keteknikan. Biasanya proses prediksi faktor
diimplementasi dengan menggunakan Educational Data Mining (EDM). EDM
adalah suatu mekanisme konversi data mentah dari sistem pendidikan menjadi
1
informasi yang bermanfaat, baik untuk siswa itu sendiri, guru, orang tua maupun
peneliti sistem pendidikan [9]. Penggunaan EDM untuk mencari faktor performa
dari motif siswa yang sebenarnya, sebaiknya diimplementasi pada level kelas yang
sama, mata pelajaran yang sama atau level lingkungan pendidikan yang sama [6].
Namun imbas dari implementasi tersebut adalah sedikitnya data yang dikumpulkan
oleh peneliti. Sedikitnya data tersebut biasanya dinamakan sebagai dataset kecil.
Penggunaan dataset kecil pada implementasi data mining memiliki banyak
kelebihan maupun kekurangan. Kelebihan penggunaan dataset kecil yaitu
implementasi analisis yang lebih cepat serta meminimalisir kebutuhan yang
dikeluarkan seperti waktu, tenaga, biaya dan sebagainya. Sedangkan kekurangan
dari dataset kecil adalah kurangnya representasi informasi sehingga peneliti akan
kesulitan dalam pengambilan keputusan. Bahkan parahnya, dataset kecil ini akan
memunculkan fenomena yang dinamakan ketidakseimbangan kelas (class
imbalanced) [10]. Fenomena ini terjadi ketika rasio kejadian antara satu kasus
dengan kasus lainnya berjumlah tidak seimbang (rasio tidak seimbang/imbalanced
ratio). Misalnya dalam kasus metakognisi, jumlah siswa yang memiliki kasus
metakognisi buruk lebih banyak dibandingkan jumlah kasus siswa bermetakognisi
baik. Kumpulan siswa yang masuk dalam kumpulan kasus berkejadian tinggi ini
dinamakan sebagai kelas mayoritas, sedangkan kumpulan kasus berkejadian sedikit
ini disebut sebagai kelas minoritas.
Ketidakseimbangan kelas di dataset kecil sangat merugikan bagi peneliti
yang berkecimpung di bidang data mining. Alasannya adalah kebanyakan machine
learning pada data mining memiliki kesulitan dalam mengklasifikasi kelas
minoritas dengan benar. Kebanyakan dari algoritme tersebut mengasumsi bahwa
distribusi kelas yang diuji sudah seimbang sehingga salah dalam mengklasifikasi
nilai pada tiap kelas. Terlebih lagi, algoritme machine learning dirancang untuk
menggeneralisisasi data yang diuji sebagai sama kedudukannya dan menghasilkan
hipotesis yang paling sederhana. Prinsip tersebut disematkan pada berbagai
algoritme seperti decision tree, nearest neighbor serta Support Vector Machine
(SVM). Oleh karenanya ketika algoritme ini menguji dataset yang tidak seimbang
2
maka akan cenderung fokus pada kelas mayoritas dan mengabaikan kelas minoritas
sehingga menyebabkan error pada klasifikasi kelas minoritas. Kelas minoritas
hanya dianggap sebagai noise saja [11].
Hasil pengujian metode klasifikasi di dataset yang tidak seimbang biasanya
memiliki ciri khas berupa nilai instance yang terklasifikasi (misclassification cost)
di kelas minoritas lebih tinggi dibandingkan dengan misclassification cost di kelas
mayoritas. Oleh karenanya, tantangan dalam mengatasi hal ini adalah bagaimana
caranya mengklasifikasi kelas minoritas secara lebih akurat. Menurut penelitian
[12], cara untuk mengatasi ketidakseimbangan kelas adalah dengan melakukan
sampel ulang (resample) dataset asli, baik pada kelas minoritas (oversampling)
ataupun kelas mayoritas (undersampling). Cara kedua adalah dengan cara
memberikan nilai / cost pada instance yang diuji.
Cara pertama untuk mengatasi ketidakseimbangan kelas adalah proses
sampel ulang. Oversampling merupakan mekanisme untuk menyeimbangkan
distribusi kelas dengan cara replikasi instance kelas minoritas secara acak. Namun,
kekurangan dari oversampling adalah peningkatan kemungkinan munculnya
overfitting karena mekanisme ini membuat duplikasi instance secara persis.
Kemudian Chawla dkk [13] mengajukan solusi yang dinamakan SMOTE
(Synthethic Minority Oversampling Technique). SMOTE dapat membangkitkan
sampel kelas minoritas secara sintetis dengan cara proses interpolasi antar instance
kelas minoritas yang terletak berdekatan. SMOTE memanfaatkan faktor nearest
neighbors serta tingkat oversampling yang diinginkan. Undersampling adalah suatu
mekanisme untuk menyeimbangkan distribusi kelas dengan cara mengurangi
instance kelas mayoritas secara acak. Namun kekurangan dari undersampling
adalah hilangnya data yang dianggap penting bagi kelangsungan proses
pengambilan keputusan oleh machine learning.
Cara kedua untuk mengatasi ketidakseimbangan kelas adalah pemberian
nilai / cost atribut pada instance yang diuji, akibat adanya jarak/gap informasi pada
dataset jumlah terbatas. Li dkk [14] mengajukan suatu metode yang dinamakan
MTD (Mega Trend Diffusion) yang bekerja dengan cara memperluas cakupan
3
informasi atribut dengan memberikan atribut sintetis. Atribut sintetis ini dibuat
berdasarkan tingkat keanggotaan atribut di dalam dataset. Kebanyakan MTD diuji
dengan algoritme SVM karena sering digunakan pada penanganan dataset kecil
[15]–[17].
Tetapi dari banyaknya penanganan ketidakseimbangan kelas di dataset
kecil, tidak banyak yang mempertimbangkan seluruh aspek seperti oversampling,
undersampling dan penanganan atribut. Dataset yang kecil cenderung memiliki
informasi yang sedikit, pada atribut tambahan dapat berperan memberikan
informasi lebih untuk machine learning. Selain itu, keadaan atribut yang semakin
similiar dan berkorelasi tinggi akan sulit untuk dipisahkan dan membuat machine
learning kesulitan dalam proses prediksi klasifikasi.
Pengunaan algoritme machine learning sebagai penguji performa data
seperti SVM, merupakan salah satu faktor penting keberhasilan penelitian di bidang
data mining terutama pada dataset kecil [18]. N
amun menurut Fern´andez-Delgado [19], tidak ada metode klasifikasi yang
dianggap terbaik pada seluruh kasus. Oleh karenanya disarankan penggunaan
kombinasi lebih dari 1 (satu) jenis algoritme yang dinamakan sebagai algoritme
ensemble. Salah satu algoritme ensemble ini adalah Stacking.
Algoritme Stacking bekerja dengan memanfaatkan probabilitas dari masing
– masing klasifikasi yang dipakai (base classifier) untuk diuji kembali oleh suatu
klasifikasi meta-learning. Stacking dianggap lebih baik jika dibandingkan dengan
Voting, bahkan Stacking dianggap lebih efektif dibandingkan dengan pemilihan
salah satu metode klasifikasi terbaik berdasarkan pengujian cross validation [20].
Selain itu dibandingkan dengan teknik ensemble lainnya, seperti Bagging dan
Boosting, teknik Stacking dapat mengurangi tingkat kesalahan (false positive rate)
secara lebih signifikan [21]. SVM sering dipadupadankan dengan Naive Bayes pada
penelitian teks mining serta sistem deteksi intrusi [22]. Naive Bayes merupakan
salah satu teknik klasifikasi yang dapat diimplementasi dengan baik pada dataset
terbatas, karena pengklasifikasi ini tetap dapat mengestimasi parameter walaupun
data yang tersedia terbatas [23]. Namun belum banyak implementasi Stacking di
4
dataset bidang metakognisi.
Menurut referensi [24], hasil dari kombinasi 2 (dua) atau lebih algoritme
pada klasifikasi ensemble termasuk Stacking, dapat menghasilkan 3 (tiga) jenis
kemungkinan :
1. Kemungkinan pertama, kerja ensemble menghasilkan nilai maksimal pada
seluruh evaluasi performa.
2. Kemungkinan kedua, kerja ensemble menghasilkan nilai buruk pada seluruh
evaluasi performa.
3. Kemungkinan ketiga, kerja ensemble menghasilkan nilai baik pada salah satu
pengukuran, tapi tidak pada pengukuran lainnya.
Untuk kemungkinan ketiga ini, evaluasi dipilih tergantung pada kepentingan relatif
dari pengukuran performa dan tergantung dari tujuan si pembuat keputusan.
Evaluasi performa klasifikasi dapat diukur dengan berbagai metode.
Menurut Weiss [25], salah satu masalah pada dataset yang tidak seimbang ditandai
dengan adanya kesalahan dalam evaluasi. Oleh karenanya diperlukan proses
evaluasi yang tepat guna membantu dalam pengambilan keputusan. Proses
pengambilan keputusan yang tepat dilakukan sesuai dengan tujuan awal penelitian.
1.2
Perumusan Masalah
Berdasarkan latar belakang masalah yang telah dikemukakan sebelumnya,
permasalahan yang dihadapi dalam penanganan ketidakseimbangan kelas di dataset
metakognisi berjumlah terbatas adalah sebagai berikut :
1.
Kebanyakan penelitian yang menangani ketidakseimbangan kelas di dataset
kecil, tidak mempertimbangkan aspek penyeimbangan jumlah kelas serta aspek
penambahan informasi atribut.
2.
MTD biasanya diuji dengan SVM, padahal tidak ada klasifikasi terbaik yang
berlaku pada berbagai jenis dataset.
3.
Pengambilan keputusan di dataset yang tidak seimbang sering menjadi masalah
akibat kesalahan evaluasi.
5
4.
Pengujian faktor metakognisi seseorang yang mempengaruhi tingkat performa
akademik pada dataset terbatas, belum banyak diimplementasi dan diteliti di
bidang keteknikan (EDM).
1.3
Keaslian Penelitian
Beberapa penelitian yang menjadi dasar penelitian ini dikemukakan pada
Tabel 1.1. Dari tabel tersebut diketahui bahwa terdapat penelitian yang bergerak di
bidang penangan ketidakseimbangan kelas. Penelitian – penelitian tersebut
melibatkan metode Mega Trend Diffusion yakni “A Learning Method for the Class
Imbalance Problem with Medical Data Sets” [15] serta “Extending Attribute
Information for Small Data Set Classification” [16]. Penelitian [15] memiliki
kelebihan mekanisme MTD berupa penanganan dataset secara sistematis pada kelas
mayoritas maupun minoritas. Namun kekurangan dari penelitian ini adalah tidak
dipertimbangkannya kemungkinan overlap antar atribut yang dapat berimbas buruk
bagi kelas minoritas. Di referensi [15] juga menyebutkan perlunya peningkatan
jumlah kelas minoritas, namun mekanisme oversampling yang tepat tidak
disebutkan. Padahal oversampling merupakan suatu upaya peningkatan jumlah
instance dengan menduplikasinya secara persis dan dapat menyebabkan overfitting.
Oleh karenanya, penelitian ini mengacu pada penggunaan metode yang diajukan
pada penelitian Chawla, yakni SMOTE.
Penelitian lain yang bergerak dalam bidang penanganan ketidakseimbangan
kelas adalah referensi [16]. Referensi ini memiliki kelebihan berupa pembuatan
atribut sintetis untuk menangani atribut yang berkorelasi tinggi, untuk
kekurangannya adalah tidak membedakan perlakuan terhadap instance yang ada di
kelas mayoritas maupun minoritas (generalisasi perlakuan) sehingga jumlah kelas
mayoritas masih lebih besar dibandingkan kelas minoritas.
Pengujian pada penelitian referensi [15] dan [16] sama – sama
menggunakan teknik klasifikasi SVM. Padahal menurut Dzeroski [20]
implementasi Stacking lebih baik dibandingkan penggunaan satu klasifikasi yang
dianggap baik.
6
Tabel 1. 1. Berbagai referensi yang terkait dengan penelitian ini
No
1
2
3
4
5
6
Peneliti
Judul Penelitian
Tujuan
Hasil dan Kesimpulan Terkait
Li, Der-chiang
Liu, Chiaowen
Hu, Susan C
(2010)
Li, Der-chiang
Liu, Chiao-wen
(2012)
Schraw,
Gregory
Dennison,
Rayne Sperling
(1994)
Dzeroski, Saso
Zenko, Bernard
(2004)
Sagale, Amit D
Kale, Swati G
(2014)
Chawla, Nitesh
V dkk
(2002)
A Learning Method for the
Class Imbalance Problem
with Medical Data Sets
Strategi penanganan ketidakseimbangan
kelas dengan meminimalisir bias terhadap
kelas mayoritas pada dataset kedokteran.
Extending
Attribute
Information for Small Data
Set Classification
Assessing
Metacognitive
Awareness
Mengekstrasi informasi secara efektif di
dataset yang jumlahnya terbatas.
Performa dari pendekatan penelitian ini memperoleh hasil yang optimum
karena memanfaatkan oversampling di kelas minoritas dan undersample di
kelas minoritas. Proses ini melibatkan Gaussian Membership serta Mega
Trend Diffusion.
Dihasilkan pendekatan baru yang memanfaatkan konversi data asli menjadi
dimensi data yang lebih tinggi berdasarkan fungsi fuzzy membership
sehingga membentuk atribut sintetis.
Instrumen 52 pertanyaan mencakup dua konsep metakognisi yaitu
pengetahuan dan peraturan kognisi. Instrumen ini menjadi standar
pertanyaan metakognisi dalam dunia psikologi.
Is Combining Classifiers with
Stacking Better than Selecting
the Best One ?
Combining Naive Bayesian
and Support Vector Machine
for Intrusion Detection System
SMOTE : Synthetic Minority
Over-sampling Technique
Evaluasi berbagai kombinasi metode
klasifikasi untuk implementasi Stacking.
Pembuatan instrumen metakognisi untuk
resipien usia dewasa.
Kombinasi Naive Bayes dan SVM untuk
memperoleh performa yang lebih baik di
sistem deteksi intrusi.
Mengatasi kekurangan dari undersampling
oleh kelas mayoritas serta oversampling
kelas minoritas.
7
Implementasi Stacking menghasilkan performa yang lebih baik apabila
dibandingkan dengan memilih klasifikasi yang dianggap paling baik melalui
mekanisme cross validation.
Kombinasi ini dapat menganalisis volume data yang lebih besar dan
meningkatkan kecepatan deteksi serta akurasi pendeteksian kerusakan.
Pendekatan SMOTE dapat meningkatkan akurasi metode klasifikasi untuk
kelas minoritas. SMOTE merupakan pendekatan baru dari proses
oversampling.
Dikarenakan
SVM
sering
diimplementasi
dalam
uji
penanganan
ketidakseimbangan kelas, maka berdasarkan penelitian Sagale dan Kale [22] yang
mengkombinasikan antara SVM dan Naive Bayes, akan digunakan 2 kombinasi ini
dalam pengujian dataset hasil penanganan ketidakseimbangan kelas.
Oleh karenanya, penelitian ini berupaya menggabungkan teknik Mega
Trend Diffusion dari dua penelitian tersebut [15],[16], karena masing – masing
penelitian
memiliki
kelebihan
maupun
kekurangan
dalam
menangani
ketidakseimbangan kelas. Teknik menaikkan jumlah instance di kelas minoritas
menggunakan metode SMOTE [13]. Selanjutnya dataset hasil penanganan
ketidakseimbangan kelas tersebut akan diuji dengan menggunakan kombinasi SVM
dan Naive Bayes melalui klasifikasi Stacking. Dikarenakan belum banyak
penanganan ketidakseimbangan kelas di bidang metakognisi, maka penelitian ini
meneliti dataset metakognisi yang atributnya diambil dari penelitian Gregory dan
Dennison [5].
1.4
Tujuan Penelitian
Tujuan utama dari penelitian ini adalah pembuatan algoritme transformasi
dataset kecil guna penanganan ketidakseimbangan kelas. Untuk mencapai tujuan
utama tersebut, diperlukan berbagai upaya pencapaian berbagai tujuan seperti :
1. Mengkombinasi dan memodifikasi algoritme penelitian sebelumnya yakni
referensi [15] dan [16] yang mempertimbangkan aspek penyeimbangan jumlah
kelas dan juga aspek penambahan informasi atribut.
2. Menguji signifikansi peranan pengujian dengan klasifikasi ensemble Stacking
antara SVM dan Naive Bayes di dataset hasil algoritme penanganan
ketidakseimbangan kelas.
3. Menguji hubungan antara faktor metakognisi dengan tingkat performa
akademik, sehingga dapat diketahui faktor metakognisi apa saja yang paling
cenderung mempengaruhi siswa berperforma buruk.
8
1.5
Manfaat Penelitian
Hasil penelitian ini diharapkan dapat menghasilkan mekanisme penanganan
ketidakseimbangan kelas yang bersifat optimal, melalui kombinasi Mega Trend
Diffusion (MTD), proses oversampling oleh SMOTE serta pengujian klasifikasi
ensemble. Selanjutnya, dari mekanisme tersebut akan diperoleh prediksi faktor
metakognisi apa sajakah yang mempengaruhi tingkat performa seorang siswa.
9