KLASTERISASI DOKUMEN ARTIKEL ILMIAH

KLASTERISASI DOKUMEN ARTIKEL ILMIAH
MENGGUNAKAN ALGORITMA SINGLE PASS
CLUSTERING DENGAN DETEKSI KESAMAAN KATA
TUGAS AKHIR
Diajukan Untuk Memenuhi
Persyaratan Guna Meraih Gelar Sarjana Strata 1
Teknik Informatika Universitas Muhammadiyah Malang
Rania Hasan
201110370311227
JURUSAN TEKNIK INFORMATIKA
FAKULTAS TEKNIK
UNIVERSITAS MUHAMMADIYAH MALANG
2015
LEMBAR PERSEMBAHAN
Tugas akhir ini dapat diselesaikan berkat bantuan dari berbagai pihak yang
turut serta berbagi doa dan dukungan. Untuk itu semua, saya persembahkan tugas
akhir ini dan berterima kasih kepada :
1.
Allah SWT yang maha memberi petunjuk dan maha pengasih.
Alhamdulillah Allah telah memberikan saya keteguhan hati dan kesabaran
selama mengerjakan Tugas Akhir ini.
2.
Kedua orang tua saya, Bapak Hasan Malik dan Ibu Darmiati, yang mana
telah memberikan semangat, motivasi dan dukungan, baik itu dukungan
berupa do’a maupun materi serta sudah sabar mendidik dan merawat saya
mulai dari kecil hingga saya mampu menyelesaikan Tugas Akhir ini.
3.
Untuk mbak ku tersayang windy, yang telah memberikan dukungan baik
berupa do’a dan materi, motivasi dan semangatnya dalam pengerjaan Tugas
Akhir ini.
4.
Untuk kekasih hati Novan Hermawan yang senantiasa memberikan
dukungan baik berupa do’a maupun materi, motivasi dan semangatnya serta
kesabarannya dalam proses pengerjaan Tugas Akhir ini.
5.
Ibu Gita Indah Marthasari selaku pembimbing 1 yang membantu dalam
memberikan arahan dalam mengerjakan Tugas Akhir ini.
6.
Bapak Yufis Azhar selaku pembimbing 2 yang membantu dan memberi
arahan dalam mengerjakan Tugas Akhir ini.
7.
Pihak Dosen Pengajar yang telah memberikan ilmunya beserta Staff TU
Jurusan Teknik Informatika UMM.
8.
Teman-teman yang selalu mendukung dan memberikan semangat, Indah,
Dewa, Nelly dan teman-teman kost Tlogomas Gang 15c No 12a, Malang
yang telah senantiasa menjadi penyemangat.
9.
Teman-teman EEC.
10.
Semua pihak yang tidak dapat saya sebutkan satu persatu yang telah berjasa
dalam pengerjaan tugas akhir ini.
KATA PENGANTAR
Bismillahirrahmanirrahim
Dengan memanjatkan puji syukur kehadirat Allah SWT. Atas segala rahmat
dan hidayah-NYA sehingga penulis dapat menyelesaikan Tugas Akhir yang
berjudul :
“KLASTERISASI DOKUMEN ARTIKEL ILMIAH MENGGUNAKAN
ALGORITMA
SINGLE
PASS
CLUSTERING
DENGAN
DETEKSI
KESAMAAN KATA”, sebagai salah satu syarat kelulusan pada Jurusan Teknik
Informatika, Fakultas Teknik, Universitas Muhammadiyah Malang.
Dalam penulisan tugas akhir ini pokok-pokok bahasan yang meliputi
perancangan dan implementasi algoritma Single Pass Clustering untuk pembuatan
aplikasi klasterisasi dokumen artikel ilmiah.
Penulis menyadari sepenuhnya bahwa Tugas Akhir ini masih jauh dari
kesempurnaan karena terbatasnya pengetahuan dan keterampilan yang penulis
miliki. Oleh karena itu kritik dan saran yang membangun dari berbagai pihak
sangat diharapkan untuk perbaikan Tugas Akhir ini. Selanjutnya, penulis berharap
semoga Tugas Akhir ini dapat bermanfaat bagi semua pihak. Amin.
Malang, 6 Agustus 2015
Penulis
iii
DAFTAR ISI
ABSTRAK ....................................................................................................... i
ABSTRACT ..................................................................................................... ii
KATA PENGANTAR ..................................................................................... iii
DAFTAR ISI .................................................................................................... iv
DAFTAR GAMBAR ....................................................................................... vi
DAFTAR TABEL ............................................................................................ viii
BAB I PENDAHULUAN ................................................................................ 1
1.1
Latar Belakang Masalah ......................................................................... 1
1.2
Rumusan Masalah ................................................................................... 2
1.3
Tujuan ..................................................................................................... 2
1.4
Batasan Masalah ..................................................................................... 2
1.5
Metodologi Penelitian ............................................................................. 2
1.6
Sistematika Penulisan ............................................................................. 3
BAB II LANDASAN TEORI .......................................................................... 5
2.1
Data Mining ............................................................................................ 5
2.2
Text Mining ............................................................................................ 6
2.2.1
Preprocessing ..................................................................... 7
a. Case Folding ................................................................... 8
b. Tokenizing ...................................................................... 8
c. Filtering ........................................................................... 8
d. Stemming ........................................................................ 9
2.2.2
Kesamaan Kata................................................................... 10
2.2.3
Pembobotan term dengan TF-IDF ..................................... 11
2.2.4
Cosine Similarity ................................................................ 11
2.3
Konsep Single Pass Clustering ............................................................... 12
2.4
Purity ...................................................................................................... 13
2.5
Bahasa Pemrograman ............................................................................. 14
BAB III ANALISA DAN PERANCANGAN SISTEM .................................. 17
3.1
Analisa Masalah dan Penyelesaian ......................................................... 17
3.1.1 Kebutuhan Sistem ......................................................................... 17
iv
3.1.2 Gambaran Umum Sistem .............................................................. 17
3.1.3 Use Case Diagram ......................................................................... 19
3.1.4 Proses Klasterisasi ......................................................................... 19
3.1.5 Activity Diagram ........................................................................... 22
3.2
Perancangan Sistem ................................................................................ 25
3.2.1 Sequence Diagram......................................................................... 23
3.2.2 Entity Relation Diagram Sistem .................................................... 27
3.3
Desain Interface ...................................................................................... 28
3.3.1 Desain Menu Utama ...................................................................... 28
3.3.2 Desain Menu Klasterisasi .............................................................. 29
BAB IV IMPLEMENTASI DAN PENGUJIAN ............................................. 30
4.1
Implementasi Software ........................................................................... 30
4.1.1 Implementasi Preprocessing.......................................................... 30
4.1.2 Implementasi Interface Sistem ...................................................... 35
4.2
Pengujian Sistem dan Kebutuhan ........................................................... 40
4.2.1 Pengujian Functional Requirements ............................................. 40
4.2.2 Pengujian Non-Functional Requirements ..................................... 41
4.3.1 Pengujian Klasterisasi ................................................................... 41
BAB V PENUTUP .......................................................................................... 61
5.1
Kesimpulan ............................................................................................. 61
5.2
Saran ....................................................................................................... 61
DAFTAR PUSTAKA ...................................................................................... 62
v
DAFTAR GAMBAR
Gambar 2.1. Proses dalam KDD ...................................................................... 5
Gambar 2.2. Tahapan Proses Text Mining ....................................................... 7
Gambar 2.3. Case Folding ............................................................................... 8
Gambar 2.4. Tokenizing ................................................................................... 8
Gambar 2.5. Filtering ....................................................................................... 9
Gambar 2.6. Stemming ..................................................................................... 10
Gambar 3.1 Gambaran Umum Sistem ............................................................. 18
Gambar 3.2 Use Case Diagram Admin ........................................................... 19
Gambar 3.3 Perhitungan bobot term dan TF.IDF ............................................ 20
Gambar 3.4 Activity Diagram Kelola Dokumen Artikel Ilmiah Input ............. 23
Gambar 3.5 Activity Diagram Kelola Dokumen Artikel Ilmiah update........... 23
Gambar 3.6 Activity Diagram Kelola Dokumen Artikel Ilmiah Delete ........... 24
Gambar 3.7 Activity Diagram Klasterisasi Dokumen Artikel Ilmiah .............. 24
Gambar 3.8 Sequence Diagram Pengguna Tambah Data ............................... 25
Gambar 3.9 Sequence Diagram Pengguna Ubah Data ..................................... 26
Gambar 3.10 Sequence Diagram Pengguna Hapus Data ................................. 26
Gambar 3.11 Sequence Diagram Klasterisasi Dokumen Artikel Ilmiah.......... 27
Gambar 3.12 E-R Diagram .............................................................................. 27
Gambar 3.13 Desain Menu Utama ................................................................... 28
Gamabar 3.14 Desain Menu Klasterisasi ......................................................... 29
Gambar 4.1 Inisialisasi pengecekan sinonim ................................................... 30
Gambar 4.2 Inisialisasi Tokenizing .................................................................. 31
Gambar 4.3 Inisialisasi filtering ....................................................................... 31
Gambar 4.4 Inisialisasi stemming .................................................................... 31
Gambar 4.5 Inisialisasi perhitungan TF ........................................................... 32
Gambar 4.6 Inisialisasi perhitungan DF dan IDF ............................................ 32
Gambar 4.7 Inisialisasi perhitungan TF.IDF ................................................... 32
Gambar 4.8 Inisialisasi cosine similarity ......................................................... 33
Gambar 4.9 Inisialisasi nilai threshold ............................................................. 33
Gambar 4.10 Inisialisasi nilai centroid awal .................................................... 34
vi
Gambar 4.11 Inisialisasi nilai centroid lanjutan ............................................... 34
Gambar 4.12 Inisialisasi persamaan hasil dengan threshold ........................... 34
Gambar 4.13 Inisialisasi hasil single pass clustering ...................................... 35
Gambar 4.12 Menu Utama atau Home............................................................. 35
Gambar 4.13 Menu File ................................................................................... 36
Gambar 4.14 Menu kelola data jurnal .............................................................. 36
Gambar 4.15 Menu pengecekkan sinonim ....................................................... 37
Gambar 4.16 Menu klasterisasi ........................................................................ 37
Gambar 4.17 hasil tokenizing ...................................................................................... 38
Gambar 4.18 hasil filtering ......................................................................................... 38
Gambar 4.19 hasil stemming ....................................................................................... 39
Gambar 4.20 hasil pembobotan TF ............................................................................. 39
Gambar 4.21 hasil klasterisasi .................................................................................... 40
Gambar 4.22 hasil percobaan I......................................................................... 43
Gambar 4.23 hasil percobaan II ....................................................................... 44
Gambar 4.24 hasil percobaan III ...................................................................... 45
Gambar 4.25 hasil percobaan IV ...................................................................... 46
Gambar 4.26 hasil percobaan V ....................................................................... 47
Gambar 4.27 hasil percobaan VI...................................................................... 49
Gambar 4.28 hasil percobaan VII .................................................................... 50
Gambar 4.29 hasil percobaan VIII ................................................................... 52
Gambar 4.30 hasil percobaan IX ...................................................................... 54
Gambar 4.31 hasil percobaan X ....................................................................... 56
Gambar 4.32 Grafik pengaruh threshold terhadap nilai purity ........................ 59
Gambar 4.33 Grafik pengaruh threshold terhadap nilai purity ........................ 59
vii
DAFTAR TABEL
Tabel 4.1 Pengujian Functional Requirements ................................................ 40
Tabel 4.2 Pengujian Non-Functional Requirements ........................................ 40
Tabel 4.3 Klasifikasi secara manual................................................................. 42
Tabel 4.4 Hasil pengujian keseluruhan ............................................................ 58
viii
DAFTAR PUSTAKA
[1]
Carpineto, C., dan Romano, G., 2012. “A survey of automatic
query expansion in University Research Colloquium 2015 ISSN
2407-9189 48 information retrieval.” ACM Computing Surveys
(CSUR), 44(1), 1.
[2]
Larose, Daniel T. 2005. Discovering Knowledge in Data: An
Introduction to Data Mining. John Willey & Sons, Inc.
[3]
Gordon, Michael D., 1991. User-Based Document Clustering by
Redescribing Subject Descriptions with a Genetic Algorithm,.
Journal of American Society for Information Science, 311-322.
[4]
Zainal Arifin, Agus dan Novan Setiono, Ari. 2002. Klasifikasi
Dokumen Berita Kejadian Berbahasa Indonesia dengan Algoritma
Single Pass Clustering.
Jurusan Teknik Informatika, Institut
Teknologi Sepuluh Nopember.
[5]
Ridho Barakkah, Ali. “CLUSTERING”. Jurusan Teknologi
Informasi Politeknik Elektronika Negeri Surabaya. Workshop Data
Mining, 18-20 Juli 2006.
[6]
Sulistyo-Basuki. Teknik dan Jasa Dokumentasi.(Jakarta: Gramedia
Pustaka Utama, 1992).
[7]
Hasugian, Jonner. (2003). Penggunaan Bahasa Alamiah dan Kosa
Kata Terkontrol Dalam Sistem Temu Kembali Informasi Berbasis
Teks. Dalam USU digital library.
[8]
Feldman, R. & Sanger, J. (2007). The Text Mining Handbook.
New York: Cambridge University Press.
[9]
Triawati, Chandra 2009, Metode Pembobotan Statistical Concept
Based untuk Klastering dan Kategorisasi Dokumen Berbahasa
Indonesia, Institut Teknologi Telkom Bandung.
[10]
Agusta, Ledy 2009, Perbandingan Algoritma Stemming Porter
dengan Algoritma Nazief & Adriani untuk Stemming Dokumen
Teks Bahasa
Indonesia, Konferensi Nasional Sistem dan
Informatika 2009, Fakultas Teknologi Informasi Universitas
Kristen Satya Wacana.
62
[11]
Kadir, Abdul. 2004. Dasar Pemrograman Java 2. Andi.
Yogyakarta.
[12]
Tan et al. 2005. “Introduction to Data Mining”. ACM. Inc.
[13]
Auvil, L. & Searsmith, D.,2003,Using Text Mining for Spam
Filtering, hlm.4. Automated Learning Group, National Center for
Supercomputing Applications, University of lllinois.
[14]
Satzinger, John W., Robert B. Jackson, Stephen D Burd. (2009).
Systems Analysis and Design in a Changing World, Fifth Edition.
Course Technology, Cengage Learning.
[15]
Februariyanti, Herny., Zuliarso, Eri. 2013. Klastering Dokumen
Berita dari Web menggunakan Algoritma Single Pass Clustering.
Fakultas Teknologi Informasi, Universitas Stikubank.
63