sistem penilaian otomatis jawaban essay menggunakan ontologi

ISSN: 1693-6930
„ 167
SISTEM PENILAIAN OTOMATIS JAWABAN ESSAY
MENGGUNAKAN ONTOLOGI PADA MOODLE
Andi Besse Firdausiah, Daniel Oranova S., Umi Laili Yuhana, Toshihiro Kita
Jurusan Teknik Informatika, Institut Teknologi Sepuluh Nopember Surabaya,
Jl.Raya ITS, Kampus ITS, Sukolilo, Surabaya, Telp 031- 5939214, Fax 031- 5913804
e-mail: [email protected]
Abstract
This paper proposes a combination technique that called hybrid algorithm to be applied
into automated scoring for essay e-learning system. This algorithm consists of two main
processes: synonym comparison based on WordNet-based semantic similarity measurement
and scoring process based on ontology structure. The process for searching a synonym will
produce some outputs on different levels. This difference will stimulate a difference calculation
of score due to every level reflects to a different similarity of degree. The matching process from
input with key answer will generate an accurate matching process. In addition it also added with
investigation of ontology class relationship. A different relationship will cause a different score.
The last step is integrating this hybrid algorithm and ontology concept into Moodle e-learning
system. The evaluation process will evaluate whether the hybrid algorithm can run very well
inside ontology system that has been built. Besides that, it is expected that the integration
process of hybrid algorithm into Moodle system can support the performance of Moodle elearning system from essay auto grading perspective.
Keywords: e-learning system, hybrid algorithm, Moodle, ontology, WordNet
Abstrak
Paper ini akan mengemukakan suatu teknik gabungan yang disebut algoritma hybrid
pada penilaian essay di sistem e-learning. Proses didalamnya adalah: pencarian sinonim
berdasarkan pengukuran similaritas semantik berbasis WordNet dan pemberian skor pada
kemiripan objek pada data ontologi. Proses pencarian sinonim pada WordNet akan
menghasilkan beberapa output sinonim yang berada pada level berbeda. Perbedaan level ini
akan menstimulasikan hasil penghitungan yang berbeda karena level tersebut mencerminkan
tingkat kemiripan dari suatu sinonim. Proses pencocokan kata inputan dengan kunci jawaban
akan menghasilkan suatu proses pencocokan yang lebih akurat. Hasil dari proses penelusuran
akan menghasilkan skor kemiripan dari masing-masing kata, yang nantinya akan digunakan
untuk inputan penghitungan skor antara kalimat. Bagian akhir dari paper ini adaalah proses
pengintegrasian algoritma dan konsep ontologi ini ke dalam sistem e-learning Moodle guna
melihat hasil penerapan pada sistem yang nyata. Proses evaluasi pada paper ini akan
dilakukan untuk melihat apakah algoritma hybrid dapat berjalan dengan baik pada sistem
ontologi yang dibangun. Selain itu hasil yang diharapkan adalah dapat berintegrasinya
algoritma hybrid sistem Moodle, sehingga dapat menunjang kinerja sistem e-learning Moodle
dari sisi proses otomatisasi penilaian pertanyaan essay.
Kata kunci: algorithm hybrid, Moodle, ontologi, sistem e-learning, WordNet
1. PENDAHULUAN
Sistem Penilaian dan koreksi otomatis pada jawaban essay telah menjadi fokus utama
untuk bahan penelitian sejak dulu sampai sekarang. Proses evaluasi terhadap suatu penulisan
telah dimulai sejak tahun 1966 [1]. Seiring dengan munculnya teknologi–teknologi LMS
(learning management system) seperti Moodle dan Dukeos [2-3], maka konsep untuk
mengevaluasi sangat penting untuk dikaji lebih lanjut. Selain perkembangan sistem e-learning,
teknologi web juga menjadi tumpuan untuk mendukung proses evaluasi otomatis pada sistem
Sistem Penilaian Otomatis Jawaban Essay Menggunakan ……(Andi Besse Firdausiahi)
168 „
ISSN: 1693-6930
e-learning. Saat ini teknologi web yang banyak menjadi sorotan adalah bahasa semantik yang
banyak digunakan pada sistem web terbaru.
Semantik web dengan pendekatan bahasa ontologi [4-6] memberikan prospek yang
cerah dalam menyelesaikan permasalahan yang dihadapi pada proses pengkoreksian jawaban
essay. Proses pemberian nilai otomatis pada jawaban essay akan sangat membantu banyak
pihak seperti guru atau pengajar, dan staff pendidikan [3]. Essay merupakan point penting yang
mampu mengatur dan menyatukan ide. Selain itu juga mampu menginterpretasikan data dan
aplikasi dari suatu data, namun kesulitan terbesar dari proses evaluasi dan penilaian essay
adalah bagaimana bisa mengerti subjektivitas dari masing masing essay [7-10]. Tanveer [11]
menambahkan bahwa sistem penilaian pada jawaban essay harus memegang prinsip
konsistensi, konsumsi waktu dan biaya yang kecil, suatu teknik untuk melakukan pengecekan
kemiripan pada web semantik dengan menggunakan web search engines dan sistem ekstraksi
pola-pola sintaktis (lexico-syntactic patterns) berdasarkan perhitungan kemiripan dari semantik
dari potongan-potongan kata yang didapatkan dari suatu mesin pencari (search engine).
2. METODOLOGI PENELITIAN
Bagian ini akan membahas secara detail tentang bagaimana metodologi untuk
membentuk struktur ontologi, melakukan proses pencocokan dan pemetaan serta bagaimana
mengintegrasikan pada sistem e-learning Moodle.
2.1. Desain dan Arsitektur Sistem
Proses evaluasi essay pada dasarnya dibagi ke dalam 3 bagian utama yaitu:
(1) Proses yang berkaitan dengan penyiapan data ontologi (preliminary process)
(2) Process inti yang berhubungan dengan proses pengecekan jawaban dan skoring.
(3) Proses integrasi pada sistem e-learning Moodle
Gambar 1. Desain arsitektur sistem
Di dalam membentuk suatu data ke dalam bentuk format ontologi, maka harus
disiapkan data yang akan dimasukan ke dalam basis data sesuai dengan format ontologi yang
digunakan. Proses ini bertujuan untuk memudahkan proses query data yang nantinya juga akan
membantu pada proses selanjutnya. Algoritma hybrid yang digunakan disini adalah proses
pemisahan attribute data yang ditulis oleh mahasiswa ke dalam beberapa bagian kemudian
melakukan perbandingan dengan data ontologi yang sudah ada di dalam pangkalan data
(database). Setelah itu, baru dilanjutkan proses integrasi pada sistem e-learning yang telah
ada. Sebagai studi kasus pada paper ini adalah system e-learning dengan menggunakan
Moodle. Mahasiswa akan memasukkan jawaban essay ke dalam sistem Moodle, kemudian
dengan menggunakan algoritma hybrid, jawaban dari mahasiswa akan diproses. Penjelasan
lebih detailnya dapat dilihat pada diagram desain sistem di Gambar 1.
TELKOMNIKA Vol. 6, No. 3, Desember 2008: 167 - 172
TELKOMNIKA
ISSN: 1693-6930
„ 169
Algoritma hybrid yang diusulkan pada paper ini terdiri dari 3 fungsi utama yaitu:
(1) Pencarian sinonim pada WordNet berdasarkan WordNet-based semantic similarity
measurement [11].
(2) Pemberian skor pada kemiripan objek pada data ontologi
Semua proses fungsi utama ini dibuat berdasarkan standard sintaks XML dan OWL agar bisa
menghasilkan semantik web yang efisien dan dinamis.
2.2. Proses Match and mapping dengan hybrid algorithm
Didalam melakukan proses pencocokan dan pemetaan jawaban essay dari mahasiswa
dengan kunci jawaban essay dari dosen, kami menambahkan beberapa sub proses untuk
menambahkan presisi dari proses tersebut. Sub proses pertama adalah pencarian sinonim.
Kami mengadopsi sistem thesaurus dengan menyediakan database untuk beberapa sinonim
sehingga dapat mencakup jawaban essay dari mahasiswa secara luas. Proses penelusuran
sinonim juga penting untuk menjaga subjektivitas dari pengkoreksian jawaban.
Proses pencocokan disini adalah mencocokkan jawaban dari user dengan berbagai
sinonim dari suatu kata yang ada dikunci jawaban. Proses pemberian skor pada sinonim ini
berdasarkan pada database WordNet.
Gambar 2. Diagram use case sistem penilaian otomatis
Input untuk database jawaban dilakukan oleh administrator atau dosen , yang kemudian
akan dimasukkan ke dalam database ontology kunci jawaban. Ketika ada input dari Mahasiswa,
maka sistem akan melakukan parsing dan pengklasifikasian jawaban essay ke dalam format
OWL, serta memasukkan datanya ke dalam database ontologi jawaban Mahasiswa. Setelah itu
akan dilakukan proses pencarian sinonim pada WordNet, dan memberikan skor terhadap
kemiripan dari masing-masing sinonim. Setelah itu akan dilakukan proses penelusuran
terhadap relasi yang ada pada masing-masing objek dimodel ontologi yang telah dibuat.
Setelah itu dilakukan penghitungan untuk menilai skor akhir dari suatu jawaban essay. Prosesproses yang terjadi di dalam system dan interaksinya dapat dilihat pada diagram use case pada
Gambar 2.
3. HASIL DAN PEMBAHASAN
Hasil uji coba yang telah dilakukan melalui dua jenis program yang berjalan pada
background layer dan presentation layer.
3.1. Program Background Layer
Program background layer disini berfungsi sebagai pemrosesan parsing (tokenization),
word stemming dan word disambugity serta pembuatan struktur ontology jawaban.
Sistem Penilaian Otomatis Jawaban Essay Menggunakan ……(Andi Besse Firdausiahi)
170 „
ISSN: 1693-6930
3.1.1. Proses Parsing dan POS-Tagging
Parsing berfungsi untuk memecah kalimat menjadi beberapa kata sehingga setiap kata
bisa diteliti kebenarannya berdasarkan English Grammar yang standard. Ada beberapa kategori
kata yang dibuat sebagai standard dalam kalimat bahasa inggris (English Sentence) yaitu:
noun, verb, adverb dan adjective.
Gambar 3. Contoh Kalimat input yang diproses (parsing)
Setelah proses pemecahan kalimat menjadi beberapa suku kata, maka proses
selanjutnya adalah proses pengecekan setiap kata apakah susah sesuai dengan standard
English Word ataukah tidak. Proses pengecekan ini melibatkan WordNet library. Setiap kata
yang telah diparsing akan dimasukkan ke dalam tabel di MYSQL database berdasarkan jenis
katanya (dapat dilihat pada Gambar 3 dan 4 untuk penjelasan secara detail).
Gambar 4. Contoh kata-kata yang telah selesai di-parsing dan
dimasukkan ke dalam database MYSQL
Proses parsing, dan pengecekan kata menggunakan library dari WordNet disebut POSTagging. Di dalam penelitian ini proses POS-tagging berdasarkan pada Brill tagger C# library
yang juga bisa berkomunikasi dengan database WordNet untuk proses pencarian sinonim dan
relasi dari suatu kata.
WnLexicon.WordInfo wordInfo =
WnLexicon.Lexicon.FindWordInfo(words[i], true);
if (wordInfo.partOfSpeech != Wnlib.PartsOfSpeech.Unknown)
{if (wordInfo.text != string.Empty)
words[i] = wordInfo.text;
Wnlib.PartsOfSpeech[] posEnum =
(Wnlib.PartsOfSpeech[])Enum.GetValues(typeof(Wnlib.PartsOfSpeech));
TELKOMNIKA Vol. 6, No. 3, Desember 2008: 167 - 172
TELKOMNIKA
ISSN: 1693-6930
Gambar 5. Struktur umum ontology jawaban
„ 171
Gambar 6. Struktur OWL Ontology Jawaban
3.1.2. Proses Pembuatan Ontology
Untuk membangun suatu ontologi, pada penelitian ini digunakan OWL sebagai dasar
dari ontologi jawaban. OWL terdiri dari individuals, properti, dan classes. Individual
merepsentasikan objek dalam suatu domain yang diinginkan. Contoh struktur ontologi yang
umum dapat dilihat pada Gambar 5. Sedangkan struktur ontologi yang berdasarkan kepada
OWL dapat dilihat pada Gambar 6 yang merupakan output dari project protégé.
3.2. Program Presentation Layer
Program presentation Layer yang ada di penelitian ini dimaksudkan sebagai tampilan
dari web presentation yang berhubungan dengan MODDLE SYSTEM. Sistem Moodle adalah
system untuk e-learning yang sudah stabil. Tujuan akhir dari penelitian ini adalah
mengintegrasikan system penilaian essay otomatis utnuk melengkapi fitur pada sistem Moodle.
Gambar 7 menunjukkan tampilan halam utama dari Moodle, sedangkan Gambar 8 hasil
perhitungan dari sistem penilaian otomatis.
Gambar 7. Halaman utama Moodle
Sistem Penilaian Otomatis Jawaban Essay Menggunakan ……(Andi Besse Firdausiahi)
172 „
ISSN: 1693-6930
Gambar 8. Hasil Proses perhitungan otomatis
4. SIMPULAN
Sistem penilaian otomatis ini sudah dapat melakukan perhitungan kemiripan suatu
kalimat berdasarkan kedekatan masing-masing katanya di dalam struktur database WordNet.
Selain itu jawaban akan dilihat hubungannya lagi berdasarkan pada struktur ontology yang ada
pada jawaban di ontologi dengan di ontologi yang dimasukkan oleh user. Proses
pengintegrasian tahap pertama pada Moodle telah dapat dilakukan dengan menambahkan link
pada Moodle untuk menampilkan proses hasil dari program Background Layer ke dalam
halaman web. Hasil akhir yang didapatkan dengan menghitung rata-rata skor dari kemiripan
kata pada WordNet dengan struktur ontologi-nya.
DAFTAR PUSTAKA
[1]. Valenti, S., F. Neri, and A. Cucchiarelli, “An overview of current research on
automated essay grading”, Journal of Information Technology Education, volume 2,
2003.
[2]. Moodle,
“Moodle
packages
for
Windows:
Moodle
1.7.6+”,
http://download.Moodle.org/download.php/windows/MoodleWindowsInstaller-latest-17.zip.
[3]. John Palmer, Robert Williams and Heinz Dreher, “Automated Essay Grading System
Applied to a First Year University Subject – How Can We do it Better?”, Curtin
University of Technology, Perth, WA, Australia, 2002.
[4]. Yuhan, U.L., “Ontology Building”, white paper, 2007.
[5]. Mutiara, B.A., “Ontology: Bahasa dan Tools Protege”, white paper,
http://paperwgdbis.abmutiara.info/tutorial/Bahasa_tool_ontology.pdf, 2007.
[6]. Davies J., et.al., “Towards the Semantik Web: Ontologi-driven Knowledge
Management”, Wiley Interscience, 2003.
[7]. Bollegala, D., Matsuo, Y. and Ishizuka, M., “Measuring Semantik Similarity between
Words Using Web Search Engine, Semantic Web: similarity and axtraction”, Banff,
Alberta, Canada, 2007.
[8]. Naveen, B., “The future of the Web is Semantik”, IBM DeveloperWorks, 2005.
[9]. Tim Berners-Lee, “What the Semantic Web can Represent”, 1998.
[10]. Dao, T. N. dan Simpson T., “Measuring Similarity between sentences”,
http://wordnetdotnet.googlecode.com/svn/trunk/Projects/Thanh/Paper/WordNetDotNet_S
emantic_Similarity.pdf, 2006.
[11]. Tanveer S.M. , et.al., “Matching And Mapping For Semantik Web Processes”, Book
Chapter of Semantic Web Services, Processes and Applications, Springer US, Chapter 9,
2006.
TELKOMNIKA Vol. 6, No. 3, Desember 2008: 167 - 172