BAB II TINJAUAN PUSTAKA

BAB II
TINJAUAN PUSTAKA
2.1 Tinjauan Empiris
Pada penelitian ini, ada beberapa penelitian terkait yang peneliti gunakan
sebagai tinjauan studi. Berikut merupakan penelitian – penelitian terkait yang
pernah dilakukan oleh peneliti lain :
a. HMM Based Part-of-Speech Tagger for Bahasa Indonesia (Wicaksono
dan Purwarianti, 2010)
Pada
penelitian
meningkatkan
ini,
akurasi
ada
beberapa
POS-Tagging
metode
untuk
digabungkan
Bahasa
untuk
Indonesia
menggunakan metode HMM. Metode pertama adalah menggunakan pohon
afiks yang mencakup akhiran kata dan awalan. Metode kedua adalah
menggunakan succeeding POS-tag sebagai salah satu fitur untuk HMM.
Metode terakhir dengan menggunakan leksikon tambahan (dari KBBIKateglo) untuk membatasi tag yang dihasilkan oleh pohon afiks. Model
HMM menggunakan 15.000-token data corpus. Dalam percobaan,
menggunakan 15% OOV tes corpus, akurasi terbaik adalah 96,50% dengan
99,4% untuk kata yang terdapat pada kamus dan 80,4% untuk OOV (out of
vocabulary) atau kata yang tidak ada dalam kamus. Penelitian
menunjukkan bahwa pohon afiks dan leksikon tambahan efektif dalam
meningkatkan akurasi POS-Tagger, sedangkan penggunaan succeeding
POS-tag tidak memberikan banyak perbaikan pada penanganan OOV.
b. POS Tagging Bahasa Indonesia Dengan HMM dan Rule Based
(Kathryn Widhiyanti dan Agus Harjoko, 2012)
Pelabelan kelas kata bahas Indonesia menggunakan metode Hidden
Markov Model dan Rule Based memiliki keakuratan yang tinggi yaitu
100% untuk teks yang ada di dalam corpus. Hasil ini lebih baik daripada
hanya menggunakan metode HMM saja yang menghasilkan akurasi
99,29% untuk corpus yang sama. Namun, penelitian ini masih memiliki
kekurangan, yaitu belum dapat membedakan kata yang memiliki makna
ambigu atau kelas kata ganda.
7
8
c. Implementasi Brill Tagger untuk Memberikan POS-Tagging Pada
Dokumen Bahasa Indonesia (Viny Christanti, 2012)
Program Brill Tagger dapat diimplementasikan dengan baik untuk
memberikan kelas kata pada dokumen bahasa Indonesia. Aturan leksikal
dan kontekstual yang dihasilkan oleh Brill Tagger dapat digunakan sebagai
aturan untuk memberikan kelas kata untuk kalimat bahasa Indonesia
dengan nilai akurasi 98,65%. Namun masih terdapat kesalahan aturan
sehingga menghasilkan kelas kata yang tidak tepat. Setelah memperbaiki
aturan leksikal dan kontekstual akurasi meningkat menjadi 99,75%.
Penerapan aturan leksikal dan kontesktual yang tepat dapat meningkatkan
keakuratan pelabelan kelas kata.
2.2 Tinjauan Teoritis
2.2.1 Part-of-SpeechTagging
Part-of-Speech tagging (atau disingkat tagging) merupakan suatu proses
memberi tanda (mark) kelas kata pada setiap kata dalam korpus (Jurafsky,2000).
Tagging dapat dimanfaatkan pada aplikasi Natural Language Processing seperti :
Question and Answering (Q&A), Machine Translation, Text Summarization dll.
Penelitian
mengenai
Part-of-Speech
Tagging
sudah
banyak
dilakukan
menggunakan berbagai metode seperti : Genetic Brill Tagger (W Joose,2006)
dengan nilai akurasi 97% untuk dokumen bahasa Belanda, Hidden Markov
Models dan Rule Based (Kathryn & Agus, 2012) dengan nilai akurasi 92,2%
untuk dokumen bahasa Indonesia, dan Brill Tagger (Viny,dkk.,2012) dengan nilai
akurasi 99,75% untuk dokumen bahasa Indonesia.
2.2.2 Penentuan Kelas Kata
Proses part-of-speech tagging memerlukan kamus/leksikon untuk dapat
digunakan dalam penentuan kelas kata.
Leksikon merupakan kumpulan kata
dasar disertai dengan tag atau kelas katanya. Leksikon dalam bahasa Bali hingga
saat ini masih terbatas keberadaannya, sehingga digunakan kumpulan kata dasar
yang didapatkan dari dataset sebagai leksikon dalam penelitian. Bentuk penulisan
leksikon adalah sebagai berikut :
9
Tabel 2. 1 Contoh Lexicon
Word
Most Frequent Tag
Other Possible Tags
Bisa
NN
RB ... L1
Lima
NN
CD ... L2
Gunting
NN
VB ... L2
Deretan L1 menunjukkan bahwa kata “bisa” memiliki most frequent tag
NN dan pada suatu kondisi juga dapat diberi tag RB. Deretan L2 menunjukkan
bahwa kata “lima” memiliki most frequent tag NN dan pada suatu kondisi juga
dapat diberi tag CD. L3 menunjukkan bahwa kata “aji” memiliki most frequent
tag NN dan pada suatu kondisi juga dapat diberi tag VB. Begitu selanjutnya untuk
setiap kata yang terdapat dalam leksikon.
2.2.3 Morfologi Tata Bahasa Bali
Morfologi merupakan bagian dari ilmu bahasa (linguistik) khususnya tata
bahasa. Objek analisisnya meliputi satuan gramatikal pada tingkat morfem dan
kata. Bagaimana tata bentuk, struktur, dan klasifikasi kata – kata adalah
merupakan masalah pokok kajian morfologi. Oleh karena itu morfologi juga
diperlukan untuk memprediksi kelas kata yang tidak ada di dalam kamus.
2.2.3.1 Kelas Kata
Menurut (Granoka,dkk.,1984), kata dasar maupun kata turunan dapat
dikelompokkan atas suatu kategori atau kelas. Penggolongan kata seperti itu
disebut kategori kata atau kelas kata. Penggolongan kategori kata atau kelas kata
seperti itu dapat dilakukan dengan melihat prilaku satuan tersebut secara
gramatikal dalam tataran yang lebih kompleks yaitu pada tingkat frase maupun
kalimat. Secara garis besar, terdapat sejumlah kata yang dapat menduduki fungsi
objek dalam suatu kalimat, di samping terdapat pula sejumlah kata yang tidak
dapat menduduki fungsi objek, tetapi dapat menduduki fungsi predikat. Untuk
kedua kelas kata di atas, diberikan istilah yaitu, kelas kata yang pertama disebut
nominal, dan yang kedua disebut adjektiva. Sedangkan kata – kata yang lainnya
yang tidak dapat digolongkan ke dalam kelas nominal maupun adjektiva
dimasukkan dalam suatu kelas kata yang disebut partikel.
10
Ketiga kategori atau kelas kata di atas dapat diperinci lagi menjadi
beberapa sub kategori. Kelas kata nominal dibedakan menjadi tiga sub kategori,
yaitu : kata benda, kata ganti, dan kata bilangan. Kelas kata adjektiva dibedakan
menjadi dua sub kategori, yaitu : kata kerja dan kata sifat. Sedangkan kelas kata
partikel dapat diperinci menjadi enam sub kategori, yaitu : kata penjelas, kata
keterangan, kata penanda, kata perangkai, kata tanya, dan kata seru. Namun, kelas
kata yang digunakan dalam penelitian ini disesuaikan dengan kelas kata yang saat
ini lebih banyak digunakan dalam bahasa Bali. Sehingga kelas kata penjelas dan
penanda tidak digunakan dalam penelitian ini.
Penentuan kelas kata menggunakan tagset pada Penn Treebank
(Santorini,1991). Kelas kata dalam bahasa Bali jika disesuaikan dengan tag pada
Penn Treebank, maka diperoleh kelas kata sifat (JJ), kata keterangan (RB), kata
perangkai yang dibagi menjadi konjungtor koordinatif (CC) dan konjungtor
subordinatif (CS), kata ganti (PR), kata Tanya (WH), kata benda (NN), kata
bilangan (CD), kata seru (UH), dan kata kerja (VB). Ada beberapa kelas kata yang
ditambahkan peneliti, yaitu : kelas kata sandang (AR), kata benda khusus (NNP),
kata depan (IN), kata asing (FW), tanda baca (TB), dan simbol (SYM). Sehingga
total kelas kata yang digunakan dalam kelas kata ini sebanyak 16 kelas kata.
Berikut merupakan daftar kelas kata yang dilengkapi dengan deskripsi dan
contohnya:
Tabel 2. 2 Daftar Kelas Kata yang Digunakan dalam Penelitian
Tag
Kelas Kata
JJ
Adjectiva
Deskripsi
Kata
sifat;
kata
yang
Contoh
memberi
Gede, putih, miik
penjelasan tentang suatu benda
RB
Adverbia
Kata Keterangan
Teken, olih, lakar
AR
Artikula
Kata Sandang
I, Ni, Ipun
CC
Konjungtor
Kata perangkai yang menghubungkan Lan, tur, muah
Koordinatif
klausa pada kalimat majemuk setara
Konjungtor
Kata hubung pada kalimat majemuk Sawireh, Sane
Subordinatif
bertingkat
CS
PR
Pronomina
Kata ganti; kata yang dipakai untuk Tiang, ragane, cai,
menggantikan
kata
atau
yang ento, ia, niki
11
dibendakan
WH
Kata Tanya
Kata
yang
digunakan
untuk Sire, kenapi
menanyakan sesuatu
NN
Nomina
Kata benda; kata yang menyebut Sate, umah, gegaen
benda atau yang dibendakan
NNP
Kata Benda
Khusus
CD
Numeralia
Kata benda khusus adalah kata benda Jawa, Jakarta, Ani
yang mewakili suatu entitas tertentu
Kata bilangan; kata yang menyatakan Abesik, dadua,
jumlah benda atau jumlah kumpulan seket, karo belah.
nama benda
IN
Preposisi
Kata depan; kata yang merangkaikan di, ke, uli, ring,
kata – kata atau bagian – bagian saking
kalimat
UH
Interjeksi
VB
Verba
Kata seru
Ih, beh, aduh, aruh
Kata kerja; kata yang bermakna Adep, meli, melaib,
melakukan aktivitas atau kegiatan atau dingeh
lebih jelas kalau dikatakan melakukan
pekerjaan
FW
Kata asing
Kata asing
Online, handphone
TB
Tanda baca
Tanda baca
., , , ; , (, ), “, ‘
SYM
Simbol
Simbol matematika
+, #, $
Matematika
2.2.3.2 Kata Berimbuhan
Menurut (Granoka,dkk.,1984), kata berimbuhan adalah kata turunan yang
dihasilkan melalui proses morfologis dengan penambahan imbuhan. Imbuhan
adalah berupa morfem terikat yang dapat dibedakan, menurut tempatnya melekat
pada kata dasar, yaitu : prefiks (awalan), infiks (sisipan), sufiks (akhiran), dan
konfiks atau disebut juga simulfiks.
1. Prefiks (awalan)
Prefiks atau awalan yaitu imbuhan yang terletak di depan kata dasar.
Dalam bahasa Bali disebut pengater. Pengater dalam bahasa Bali, yaitu :N- , ma- ,
ka- , pa- , sa- , a- , pra- , pari- , pati- , maka- , saka- , kuma- .
12
Dari penjelasan di atas, akan dibuat aturan imbuhan prefiks yang dirangkum pada
tabel berikut :
Tabel 2. 3 Aturan Imbuhan Prefiks (Awalan)
No
1
Pola Imbuhan
N- + kata dasar
Kelas Kata
Kata Kerja
Contoh
Ngidih,
Ngalih,
Ngwangun
2
ma- + kata dasar
Kata Kerja
Makarya,
maburuh,
madagang
3
ka- + kata dasar
Kata Kerja
Kacrita,
katulung,
kakaplug
4
pa- + kata dasar
Kata Benda, Kata Kerja
Patakon,
pangrasa,
padengok
5
sa- + kata dasar
Kata Keterangan
6
a-+ kata dasar
Kata
Sawai, sapeteng, sarahina
Benda,Kata Apeteng, adiri, aukud
Bilangan
7
pra-+ kata dasar
Kata Benda
Prabekel, prajani
8
pari- + kata dasar
Kata Benda
Paribahasa, pariboya
9
pati-+ kata dasar
Kata Kerja
Patigrape, patijemak
10
maka-+ kata dasar
Kata Bilangan
Sakaukud, sakabungkul
11
saka- + kata dasar
Kata Bilangan
Sakabesik, sakatugel
11
kuma-+ kata dasar
Kata Benda
Kumajaum, kumalipan
2. Infiks (sisipan)
Infiks adalah imbuhan yang terletak di tengah kata dasar. Dalam bahasa
Bali disebut seselan. Jika sebuah kata dasar memiliki huruf vokal, maka seselan
yang ditambahkan sebelum huruf vocal. Sedangkan, jika sebuah kata dasar
memiliki huruf konsonan, maka seselan terletak di akhir huruf konsonan pertama
pada kata dasar tersebut. Seselan dalam bahasa Bali, seperti :-in-, -um-, -el-, daner-.
13
Tabel 2. 4 Aturan Imbuhan Infiks (Sisipan)
No
Pola Imbuhan
Kelas Kata
Contoh
1
kata dasar + -in-
Kata Kerja
Sinurat, tinulung
2
kata dasar + -um-
Kata Kerja
Tumurun, sumeken
3
kata dasar + -el-
Kata Benda
Telapak, telusuk
4
kata dasar + -er-
Kata Benda
Gerudug
3. Sufiks (akhiran)
Sufiks adalah imbuhan yang terletak di akhir kata dasar. Dalam bahasa
Bali disebut pengiring, yang termasuk pengiring yaitu :-ang,-in, -an, -a, -n, -ing, é, -né.
Tabel 2. 5 Aturan Imbuhan Sufiks (Akhiran)
No
1
Pola Imbuhan
kata dasar + -ang
Kelas Kata
Kata Kerja
Contoh
Nyemakang,
alihang,
suratang
2
kata dasar + -in
Kata Kerja
Jagurin, tanemin, tegakin
3
kata dasar + -an
Kata Benda
Diwangan, ketekan
4
kata dasar + -a
Kata
Kerja,
Kata Abana, batisa
Benda
5
kata dasar + -e
Kata Benda
Temboke, dagange, payuke
6
kata dasar + -ne
Kata Benda
Umahne, tanahne, gigine
Akhiran –n dan –ing tidak memiliki pola yang pasti karena kedua akhiran
ini bukan pembentuk kata. Akhiran –n dan –ing digunakan sebagai alat untuk
menyatakan hubungan antara dua kata dalam bentuk frase secara nyata (eksplesit).
Terutama akhiran –n diikuti dengan unsur kepemilikan. Berikut adalah contoh
akhiran –n dan –ing :
Akhiran –n
: liman tiange.
Akhiran –ing
: kalaning purnama.
4. Konfiks (awalan dan akhiran)
Konfiks adalah gabungan imbuhan terdiri dari dua buah imbuhan yaitu
(pangater dan pengiring). Gabungan imbuhan dalam bahasa Bali, seperti : pa-an,
ma-an, ka-an, bra-an, dan n-ang.
14
Tabel 2. 6 Aturan Imbuhan Konfiks
No
Pola Imbuhan
Kelas Kata
Contoh
1
pa + kata dasar + an
Kata Benda
pasirepan, panyemuhan
2
ma + kata dasar + an
Kata Kerja
mangkidan, majemakan
3
ka + kata dasar + an
Kata Benda
kalacuran, karahayuan
4
bra + kata dasar + an
Kata Sifat
brakapakan, bramahan
5
N + kata dasar + ang
Kata Kerja
nyenikang, ngamaelang
2.2.3.3 Proses Morfofonemis
Sebagai akibat pertemuan sebuah morfem dengan morfem lainnya dapat
terjadi suatu perubahan bentuk morfem. Misalnya, morfem N- apabila
dipasangkan dengan morfem ‘gae’ yang berarti kerja, ‘jagur’ yang berarti pukul
sebagai kata dasarnya dapat menghasilkan bentuk baru menjadi ‘ngae’ yang
berarti membuat, ‘nyagur’ yang berarti memukul. Berikut merupakan daftar
perubahan morfem dalam Bahasa Bali (Kamus Bahasa Bali, 1990) :
Tabel 2. 7 Daftar Proses Hilangnya Fonem
1
Bentuk Dasar Berawalan
k,g
Menjadi
ng
2
c,j,s
ny
3
t,d
n
4
p,b
m
5
ny,n,m
nga + (ny,n,m)
6
y,r,l,w
ng + (y,r,l,w)
7
vokal
ng + vokal
No
Contoh
kutang
ngutang
gambar
ngambar
cacad
nyacad
jaring
nyaring
sampat
nyampat
tegul
negul
dandan
nandan
papag
mapag
batek
matek
nyanggluh
nganyanggluh
nengneng
nganengneng
maling
ngamaling
yasaang
ngyasaang
rasa
ngrasa
lawan
nglawan
wangun
ngwangun
alih
ngalih
ibing
ngibing
ubuh
ngubuh
ebet
ngebet
olah
ngolah
ejuk
ngejuk
15
Pada tabel di atas dapat dilihat pembubuhan morfem terhadap bentuk kata
dasar berawalan fonem konsonan diikuti dengan meluluhnya fonem konsonan
tersebut, sehingga diperoleh rumusan kaidah di atas dengan penjelasan sebagai
berikut :
1. Fonem k,g yang mengawali bentuk kata dasar hilang, diluluhkan oleh fonem
ng, sebagai akibat pertemuan morfem N- dengan bentuk dasarnya.
2. Fonem c,j,s yang mengawali bentuk kata dasar hilang, diluluhkan oleh fonem
ny, sebagai akibat pertemuan morfem N- dengan bentuk dasarnya.
3. Fonem t,d yang mengawali bentuk kata dasar hilang, diluluhkan oleh fonem n,
sebagai akibat pertemuan morfem N- dengan bentuk dasarnya.
4. Fonem p,b yang mengawali bentuk kata dasar hilang, diluluhkan oleh fonem
m, sebagai akibat pertemuan morfem N- dengan bentuk dasarnya.
2.2.4 Brill Tagger
Brill Tagger diperkenalkan pertama kali oleh Eric Brill pada tahun 1995.
Algoritma ini mencapai tingkat akurasi 95% pada tagging bahasa inggris
(Bjerva,2013). Secara umum Brill Tagger disebut juga Transformation-based
Error-driven Learning (TEL). Faktanya Tagger adalah dasar transformation atau
rules dan belajar dari mendeteksi nilai errors. Pada gambar 2.1 deskripsi dari TEL
yaitu pertama input merupakan unannotated text kemudian diberi tag inisialisasi
dan keluaran dari inisialisasi adalah inisialisasi pada temporary corpus (TC) yang
akan dibandingkan dengan corpus tujuan (training corpus). Temporary corpus
menghasilkan rule baru dan rule dihasilkan secara berurutan.
Brill Tagger melakukan pemberian anotasi pada corpus dengan duaaturan,
yaitu :Aturan leksikal untuk memberi tag pada unknown word dan aturan
kontekstual untuk memperoleh aturan yang meningkatkan akurasi dari perbaikan
skor. Kedua aturan ini menggunakan dua jenis corpus, yaitu corpus tujuan
(training corpus) dan corpus sementara (Temporary Corpus) untuk meningkatkan
akurasi rule yang dihasilkan tahap demi tahap.
Brill Tagger dengan metode rule based banyak dilatih untuk berbagai
macam bahasa, seperti Inggis, Belanda, dan Indonesia. Dalam bahasa Indonesia
telah tersedia rule based Tagger-nya, tetapi untuk bahasa Bali belum tersedia.
Oleh karena itu, pada penelitian ini akan dilakukan proses training terlebih dahulu
16
sehingga aturan seperti aturan leksikal sebagai rule based Tagger untuk bahasa
Bali dapat terbentuk. Algoritma Brill Tagger terdiri dari (Christanti,2012) :
1.
Proses Inisialisasi
a. Known words (di dalam kosakata) : menentukan tag yang paling sering
diberikan ke suatu bentuk kata.
b. Uknown word (di luar kosakata) :
Kata benda umum (NNP) jika diawali dengan huruf kapital dan kata
benda lainnya (NN) jika sebaliknya.
2.
Fase Pembelajaran
a. Pengulangan dalam menghitung nilai kesalahan dari setiap calon
aturan (perbedaan antara jumlah kesalahan sebelum dan sesudah
menerapkan aturan).
b. Pilih aturan yang terbaik (skor yang lebih tinggi).
c. Tambahkan dalam daftar aturan dan diterapkan pada teks.
d. Ulangi sampai tidak ada aturan yang memiliki skor di atas ambang
tertentu atau yang telah diberikan (jika ambang yang dipilih adalah
nol).
Unannotated
corpus
Initial state
annotator
Temporary
corpus
Lexical / Contextual
Learner
Goal
corpus
Rules
Gambar 2. 1 Error-driven learning module(Brill,1995)
Pada aturan leksikal, corpus tujuan adalah daftar kata yang terdiri dari
informasi mengenai frekuensi tag pada training corpus. Kemudian corpus
17
sementara (temporary corpus) adalah daftar kata yang sama dengan corpus tujuan.
Pada aturan kontekstual, corpus tujuan adalah training corpus yang di tag secara
manual dan copus sementara menampung perbaikan jika masih terjadi error atau
skor belum mencapai threshold. Berikut merupakan contoh dari Transformationbased Error Driven Learning(Brill,1995).
Pada gambar 2.2 diasumsikan ada 4 transformasi (T) yang mungkin, yaitu
T1 – T4. Training corpus yang belum di tag diproses pada tahap inisialisasi dan
menghasilkan errors = 5,100, diperoleh dari membandingkan keluaran dari
inisialisasi dengan tag manual corpus. Selanjutnya, transformasi yang mungkin
yang digunakan, yaitu T2 yang mengalami reduksi error tertinggi pada
pembelajaran pertama dan pembelajaran selanjutnya T3 yang mengalami reduksi
error tertinggi. Transformasi berhenti saat nilai skor sudah mencapai threshold.
Annotated
Corpus
Errors = 5,100
Unannotated
Corpus
Initial State
Annotator
T1
T2
Annotated
Corpus
Errors = 3,145
T1
T2
Annotated
Corpus
Errors = 2,110
T3
Annotated
Corpus
Errors = 5,100
T3
Annotated
Corpus
Errors = 3,910
Annotated
Corpus
Errors = 1,410
Annotated
Corpus
Errors = 3,310
T1
T2
Annotated
Corpus
Errors = 1,231
T3
T4
T4
Annotated
Corpus
Errors = 6,300
Annotated
Corpus
Errors = 1,251
Annotated
Corpus
Errors = 4,255
Annotated
Corpus
Errors = 1,231
T4
Annotated
Corpus
Errors = 1,231
Gambar 2. 2 Contoh Transformation-based Error Driven Learning(Brill,1995)
2.2.4.1 Pembelajaran Aturan Leksikal
Pada aturan leksikal adalah menemukan aturan (rule) untuk memberi tag
pada kata dengan most likely tag pada training corpus. Contohnya adalah tag kata
dengan tag yang memiliki nilai probabilitas tertinggi atau frekuensi tertinggi.
Permasalahan yang muncul adalah menentukan tag pada unknown word.
18
Dalam mempelajari aturan leksikal, diperlukan smallwordtaglist yang
terdiri dari kata-kata pada small corpus yang sudah diberi tag secara manual,
berfungsi sebagai goal corpus dan mengandung frekuensi setiap word. Freq (W,
T) digunakan untuk menghitung most likely tag T untuk word W.
P(T|W) = Freq(W,T) / Freq(W)
2.1
Selain smallwordtaglist, dalam aturan leksikal juga digunakan bigwordlist dan
bigbigramlist. Bigwordlist mengandung semua word yang muncul pada corpus
yang belum diberi tag (unannotated corpus). Sedangkan, bigbigramlist adalah list
yang berisi semua pasangan word (bigram) dalam unannotated corpus.
Pada fase training, pertama-tama dibuat word list dari smallwordtaglist
yang sudah dibuat, namun kali ini tagnya dihilangkan. Tag setiap kata di-assign
dengan inisialisasi default most likely tag (NNP untuk kata yang diawali dengan
huruf kapital dan NN untuk kata yang tidak diawali dengan huruf kapital). Word
list yang didapat dari initial temporary corpus TC0 dinamakan WL0. Setelah itu,
generate Permissable Rules (PR) dari semua kemungkinan instansiasi dari lexical
template (smallwordtaglist) yang sudah ditentukan, lalu hitung skor untuk setiap
rule R pada PR. Rule dengan skor tertinggi menjadi rule nomor satu pada output.
Dengan mengaplikasikan rule tersebut, WL0 sekarang menjadi WL1.Lanjutkan
dengan menghitung skor semua rule pada PR, kemudian pilih satu rule dengan
skor tertinggi, outputkan rule ini sebagai rule nomor dua dan aplikasikan pada
WL1 untuk memperoleh WL2. Proses ini terus diulangi sampai tidak ada lagi rule
yang dapat dipilih yang skornya lebih besar dari nilai threshold.
Menghitung skor pada rule:
Misalkan terdapat rule R dengan template:
if Trigger then change X to tag Y,
dan w adalah word pada WLi dengan tag sebelumnya X yang memenuhi kondisi
rule R. Maka, skor R adalah P(Y|w) - P(X|w) untuk word w. Total skor R
diperoleh dari menjumlahkan semua ‘skor word’.
skor(R) =
Misalkan terdapat rule R dengan template:
if Trigger than change current tag to tag Y,
2.2
19
dan w adalah word pada WLi yang memenuhi kondisi rule R, maka skor R adalah
P(Y|w) - P(current tag of w | w) untuk word w. Total skor R diperoleh dari
menjumlahkan semua ‘skor word’.
skor(R) =
2.3
Skor yang diperoleh R akan selalu berbentuk P(new tag|w) - P(old tag|w). Skor
positif menunjukkan tag yang baru more likely dibandingkan tag sebelumnya,
sedangkan skor negatif menunjukkan tag yang baru less likely dibanding tag
sebelumnya. Kondisi triggernya dites dengan menggunakan bigwordlist dan
bigbigramlist,
dan
perhitungan
probabilitas
digunakan
frekuensi
pada
smallwordtaglist. Lexical rule yang didapatkan dari modul pembelajaran leksikal
ini akan digunakan untuk memberi tag pada unknown words pada contextual
training corpus.
2.2.4.2 Pembelajaran Aturan Kontekstual
Saat Tagger telah mempelajari most likely tag untuk setiap word pada
corpus yang diberi tag secara manual dan metode untuk memprediksi most likely
tag untuk unknown words, aturan kontekstual dipelajari untuk disambiguation.
Dicari rule sebagai basis konteks dari token-token word.
Proses pembelajaran kontekstual ini memerlukan initially annotated text.
Input pada initial state annotator adalah corpus yang belum diberi tag. List
traininglexicon digunakan untuk menampung list word dengan beberapa tag yang
melabeli setiap word. Tag-tag tersebut didapat dari modul leksikal. Tag pertama
adalah most likely tag.
word tag1, tag2, …, tagn
Dengan bantuan traininglexicon, bigbigramlist, dan lexical rules, most
likely tag dilabelkan pada setiap known word pada corpus yang belum diberi tag
(untagged corpus). Known word yang dimaksud adalah word-word pada
traininglexicon dengan most frequent tag. Sedangkan, untuk unknown words
diberi tag dengan lexical rules. Input dari pembelajaran kontekstual ini adalah
goal corpus, initial temporary corpus RT0, dan traininglexicon. Pertama, digenerate semua Permissable Rules(PR) dari semua kemungkinan instansiasi dari
semua template kontekstual yang sudah ditetapkan. PR pada modul kontekstual
dengan PR pada leksikal modul adalah berbeda karena kedua modul
20
menggunakan template transformasi yang berbeda. Berikut ini trigger-trigger pada
template transformasi kontekstual:
change taga to tag b when :
1. Jika kata sebelumnya ditag z.
2. Jika dua kata sebelumnya ditag z.
3. Salah satu dari dua kata sebelumnyaditag z.
4. Salah satu dari tiga kata sebelumnyaditag z.
5. Kata sebelumnya ditag z dan kata berikut ditag w.
6. Jika kata sebelumnyaditag z dan dua kata sebelumnya ditag w.
Keterangan : a, b, z dan w adalah variabel part-of-speech.
Setiap rule pada PR dengan kondisi trigger yang terpenuhi, skor temporary
corpus RT0 dihitung. Diambil rule dengan skor tertinggi R1 yang kemudian
ditempatkan pada output list. Lalu aplikasikan R1 pada RT0 dan menghasilkan
RT1, dan seterusnya. Jika R merupakan rule pada PR, maka skor dihitung dengan
membandingkan tag pada kata di RTdengan correct tag pada goal corpus. Setelah
rule diaplikasikan ada word w score rule dihitung dengan menjumlahkan
frekuensi semua tag yang sebelumnya salah menjadi benar (fixed) dikurangi
dengan jumlah tag yang sebelumnya benar menjadi salah (broken) atau dapat
dirumuskan sebagai berikut :
Skor = Fixed – Broken
2.4