BAHASA ALAMI

BAHASA ALAMI
(Sistim Berbasis Pengetahuan)
Kelompok:
La Jayuhni Yarsyah
Samuel Sinaga
Yonny Rahma
Gabby Conchita Kullit
Andriana Agung
(1308003)
(1308005)
(1308009)
(1308008)
(1308002)
1. Peranan Pengetahuan dalam Bahasa Alami
Dalam filsafat bahasa, bahasa alami atau bahasa natural adalah suatu bahasa yang
diucapkan, ditulis, atau diisyaratkan (secara visual atau isyarat lain) oleh manusia untuk
komunikasi umum. Bahasa jenis ini dibedakan dengan bahasa formal – seperti bahasa
pemrograman komputer atau "bahasa" yang digunakan dalam kajian logika formal, terutama
logika matematika – serta bahasa buatan.
Komunikasi dengan bahasa alami(teks/ucapan) bergantung pada pengetahuan dari
domain pembicaraan. Pemahaman bahasa tidak hanya ditransmisi dari kata-kata tapi butuh
inferensi tentang tujuan dan asumsi-asumsi dari pembicara dan tentang konteks interaksi.
Implementasi dari program pemahaman bahasa alami membutuhkan representasi sejumlah
besar pengetahuan dan alasan-alasan.
2. Masalah Bahasa Alami
Bahasa merupakan fenomena yg kompleks, melibatkan berbagai proses, misalnya
pengenalan suara atau huruf tercetak, parsing sintak, inferensi semantik tingkat tinggi &
komunikasi isi emdosional melalui ritme & inflection
Masalahpemrosesanbahasainisecaragarisbesardibagidua:
1. Pemrosesan teks yg ditulis, menggunakan leksikal, sintaksis, & pengetahuan semantik dari
bahasa
2. Pemrosesan bahasa bicara, menggunakansemuainformasidiatas, ditambahin formasi
mengenai phonology Bahasa Alami 1 4/19 Pengantar Kecerdasan Buatan
Untuk mengatasi kompleksitas dari bahasa ini didefinisikan tingkat analisis bahasa
alami:
1. Prosody, mengerjakan ritme& intonasi bahasa
2. Phonology menguji suara yg dikombinasikan untuk membentuk bahasa
3. Morphology mengenai komponen-komponen( morfem-morfem) yg membentuk kata-kata
Termasuk aturan-aturan pengembangan formasi kata-kata seperti efek dari prefiks(un, non-, anti-, dll), & sufiks(-ing, -ly, dll) yg memodifikasi arti dari akar kata Bahasa Alam
Pengantar Kecerdasan Buatan.
4. Syntax mempelajari aturan-aturan kombinasi kata-kata kedalam perkataan dan kalimat
serta penggunaan aturan-aturan tersebut untuk dianalisis & menghasilkan kalimat
1
5.Semantics berhubungan dengan arti dari kata, perkataan& kalimat serta cara dimana artinya
terdapat pada bahasa alami.
6.Pragmatics merupakan studi pada cara dimana bahasa digunakan& efeknya pada si
pendengar
7.World knowledge termasuk pengetahuan dunia nyata secarafisik, dunia interaksisosial &
manusia, sertaperanan, tujuan& maksud dari komunikasi
3. ProsesSintaksis
Proses sintaksis atau disebut juga parsing, merupakan langkah dimana kalimat
masukan secara flat diubah ke dalam struktur hirarkis yang berhubungan dengan unit-unit arti
dalam kalimat. Prosessintaksissangatberperandalampemahamanbahasaalamidikarenakan
proses semantik harus beroperasi pada pilihan-pilihan kalimat. Jika tidak ada tahap parsing
sintaksis maka sistem semantik harus memutuskan atas pilihannya sendiri. Jika parsing
dilakukan, hal ini akan membatasi pilihan-pilihan dari semantik serta tdak selalu
dimungkinkan untuk mengekstrak arti kalimat tanpa menggunakan fakta gramatikal
Semua sistem menggunakan dua komponen:
1. Representasi deklaratif, disebut grammar, fakta sintaksis tentang bahasa
2. Prosedur, disebut parser, dimana mem-bandingkan grammar dengan kalimat-kalimat
masukan untuk membentuk struktur yang dianalisis
4. Grammar & Parser
Grammar direpresentasikan sebagai sekumpulan aturan-aturan produksi, seperti pada
gambar1.
• Aturan pertama, ‘Sebuah kalimat terdiri atas kata benda (NP) diikuti kata kerja(VP)’.
• I menyatakan‘atau/or’,
• ε Menyatakanstring kosong
• Simbol2 ygdiperluasolehaturan-aturandisebutnonterminalsymbols, sedangkansimbol2
ygberhubunganlangsungdgnstring ygditemukanpadakalimatmasukandisebutterminal
symbols
2
5. Automated Transition Networks (ATN)
Automated Transition Network (ATN) merupakan prosedur top-down parsing dimana
bermacam-macam pengetahuan digabungkan kesistemanalisis sehingga dapat beroperasi
lebih efisien. ATN menyerupai finite-state machine dimana klas label digabungkan pada
garis berarah yang mendefinisikan transisi antara suatu keadaan.
Garis berarah ini dapat dilabeli dalam bahasa Inggris dengan
Bahasa Alam:
– Kata-kata spesifik, seperti ‘in’
– Kategori-kategori kata, seperti‘noun’
– Didorong kejaringan lain untuk mengenali komponen lain pada suatu kalimat, seperti
jaringan untuk mengenali prepositional phrase (PP) maka pada garis berarah
ditanyakan noun phrase (NP)
– Prosedur yang menjalankan tes pada input saat itu dan pada komponen kalimat yang
telah diidentifikasikan
– Prosedur-prosedur yang membangun struktur yang akan membentuk bagian akhir dari
analisis
3
–
Cara kerjaATN padakalimat:
‘The long file has printed’
1. Mulai pada keadaan S
2. Masuk ke NP
3. Kerjakan tes kategori untuk melihat jika ‘the’ merupakan determiner
4. Tes sukses, maka register DETERMINER diset ke DEFINITE lalu kekeadaan Q6
5. Kerjakan tes kategori untuk melihat jika ‘long’ merupakan adjective
6. Tes sukses, maka register ADJS ditambahkan ‘long’. Tetap tinggal di Q6
7. Kerjakan tes kategori untuk melihat jika ’file’ merupakan adjective. Tes gagal
8. Kerjakan tes kategori untuk melihat jika ‘file’ merupakan noun. Tes sukses, register
NOUN di set ke‘file dan lalu kekeadaan Q7
9. Masuk ke PP
10. Kerjakan tes kategori untuk melihat ‘has’ merupakan preposition. Tes gagal, sehingga
keluar
11. Tidak ada lagi yang dikerjakan di Q7, lalu keluar dan kembali ke struktur
(NP(FILE(LONG)DEFINITE)), sehingga kembali kekeadaan Q1, dengan register SUBJ
diset ke struktur yang dikembalikan dan register TYPE diset ke DCL
12. Kerjakan tes kategori untuk melihat jika ‘has’ merupakan verb. Tes sukses, sehingga
register AUX diset keNIL dan register V diset ke ‘has’. Lanjut ke Q4
13. Masuk kekeadaan NP, dikrnkan kata ‘printed’ bukan determiner ataupun noun murni,
maka NP dikeluarkan
14. Masih tersisa input, berarti analisis belum selesai. Lalu diperlukan backtracking.
15. Pilihan terakhir terdapat pada Q1, sehingga kembali ke Q1. Register AUX danV tidak
diset
16. Kerjakan tes kategori untuk melihat jika‘has’merupakan auxiliary. Tes sukses sehingga‘has’diset ke register AUX dan lalu ke Q3
4
17. Kerjakan tes kategori untuk melihat jika‘printed’merupakan verb. Tes sukses, maka register V diset ke‘printed’. Lanjut ke Q4
18. Karenainput telah habis, maka Q4 merupakan keadaan terakhir. Lalu keluar dan kembali
ke struktur (S DCL (NP (FILE(LONG) DEFINITE))HAS(VP PRINTED)) Struktur ini
merupakan output dari analisis.
Analisis Semantik
Tujuan utama dari analisis semantik adalah pembuatan representasi bahasa target dari
arti suatu kalimat. Bahasa target merupakan bahasa representasi arti kalimat yang terakhir,
termasuk didalamnya framework representasi dan vocabulary arti yang spesifik.
•Dua jenis bahasa target :
1. Sebagai pendukung pemrosesan bahasa, apabila tujuan bahasa target untuk membaca teks
dan menjawab pertanyaan.
2. Sebagai input legal padap rogram lain, apabila tujuan bahasa target untuk digunakan
sebagai bahasa interface pada bahasa lain.
Pemrosesan Lexikal
Pemrosesan lexical merupakan langkah awal pada pemrosesan semantic untuk
melihat kata2 secara individu pada kamus (lexikon) dan mengekstrak artinya. Suatu kata
dapat mempunyai beberapa arti. Proses penentuan arti yang benar dari suatu kata disebut
word sense disambiguation atau lexical disambiguation. Hal ini dilakukan dengan
mengasosiasikan suatu kata dengan setiap kata pada lexikon, dan pada informasi tentang
konteks kata tersebut yang mungkin muncul.
Pemrosesan Level Kalimat
Beberapa pendekatan untuk representasi semantic untuk suatu kalimat:
1. Semantic grammar, yang mengkombinasikan pengetahuan sintaktik, semantic dan
pragmatic menjadi sekumpulan aturan yang membentuk grammar.
2. Case grammar, dimana struktur yang dibangun dari hasil parser(analisis) terdiri atas
informasi semantik.
3. Conceptual parsing, dimana pengetahuan sintaktik dan semantic dikombinasikan pada
suatu system interpretasi tunggal.
4. Compositional semantic interpretation, dimana pemrosesan semantic diaplikasikan pada
hasil analisis sintaktik.
5
6. Semantic Grammar
Semantic grammar merupakan grammar dengan konteks bebas dimana pilihan aturan
produksi dan non terminal diaturoleh semantic seperti halnya fungsi sintaktik. Ini dapat
digunakan oleh system parsing (analisis).
•Contoh semantic grammar diberikan pada gambar 1, sedangkan aplikasinya pada gambar 2.
•Grammar ini mendefinisikan bagian pada interface system operasi. Aturan yang ada pada
tanda kurung merupakan aksi semantic yang diambil apabila aturan diaplikasikan.
6
Keuntungan Semantic Grammar :
•Apabila parse (analisiskalimat) selesai, hasilnya dapat segera digunakan tanpa tahap
pemrosesan tambahan jika interpretasi semantic belum selesai terbentuk padataha panalisis.
•Kerangkapan arti yang timbul pada analisis sintaktik dapat dihindari dikarenakan
interpretasi2 lain tidak berarti secara semantic dan tidak dapat dihasilkan oleh semantic
grammar.
•Isu sintaktik yang tidak mempengaruhi semantic dapat dihindari.
Case Grammar
Case grammar menyediakan pendekatan untuk mengkombinasikan interpretasi
sintaktik dan semantik. Aturan grammar ditulis untuk meng-gambarkan aturan sintaktik
dibandingkan semantik. Tetapi struktur dari aturan berhubungan dengan relasi semantik.
Contoh padagam bar3. Peranan semantic dari ‘Susan’ dan‘ the file’ adalah sama, tetapi
peranan sintaktik berlawanan. Dengan case grammar, interpretasi keduanya menjadi (printed
(agent Susan)(object File))
7
Pada gambar4, struktur sintaktik kedua kalimat adalah sama. Tetapi relationship
keduanya berbeda.Dari analisis Case Grammar terlihat perbedaannya:
- (baked (agent Mother) (timeperiod3-hours))
- (baked (object Pie) (timeperiod3-hours))
Untuk case yang mendalam terdapat:
(A) Agent – pendorong aksi
(I) Instrument – akibat atau objek yg digunakan sebagai penyebab suatu keadaan
(D) Dative – entitas yg dipengaruhi aksi
(F) Factitive – objek atau yang dihasilkan dari suatu keadaan
(L) Locative – tempat dari keadaan
(S) Source – tempat dari mana sesuatu bergerak
(G) Goal – tempat kemana sesuatu bergerak
(B) Beneficiary – kepada siapa keadaan ditujukan
(T) Time – waktu dimana keadaan terjadi
(O) Object – entitas dimana dituju atau diubah
Proses parsing ke representasi case ditujukan pada masukan lexical yg diasosiasikan dengan
setiap verb. Contoh gambar 5. Parsing menggunakan case grammar disebut Expectation –
driven.
8
Aturannya:
If A is present, it is the subject. Otherwise, if I is present, it is the subject. Else the subject
O.
is
Conceptual Parsing
9
•Conceptual parsing,merupakan strategi untuk menemukans truktur dan arti dari suatu
kalimat dalam satu tahap. Ini digerakkan oleh kamus yg menggambarkan arti kata2 sebagai
struktur conceptual dependency(CD).
•Langkah mapping suatu kalimat ke representasi CD melibatkan:
–Prosesor sintaktik yg mengekstrak noun dan verb yg utama
–Prosesor conceptual yg menggunakan kamus verb
-CD, berisikan setiap masukan untuk setiap lingkungan dimana kemungkinan verb muncul
Contoh pada gambar 6, masukan untuk verb ‘want’.
Compositional Semantic Interpretation
•Jika analisis sintaktik suatu kalimat telah dihasilkan, maka dapat dilanjutkan dengan
interpretasi semantik sbb:
-
Lihat setiap kata pada lexicon, yg terdiri satu atau lebihd efinisi kata. Definisi ini
harus menggambarkan ide yg berhubungan dengan kata yg direpresentasikan, dan
menggambarkan pula bagaimana ide direpresentasikan kata ini dapat
dikombinasikan dengan ide yg direpresentasikan kata lain.
Gunakan informasi struktur terdapat pada output parser untuk menyediakan konstrain
tambahan.
Compositional semantics, adalah dimana setiap tahap pada proses analisis sintaktik,
terdapat tahap2 yg berhubungan dengan interpretasis emantik. Setiap kali bagian2 sintaktik
10
dikombinasikan membentuk unit semantic yg lebihbesar. Pendekatannya adalah Montague
semantics.
•Contohkalimat:
I want to print Bill’s .init file
•Aturan interpretasi semantiknya dapat dilihat pada gambar 7.
7. Discourse & Pragmatic Processing
•Untuk memahami suatu kalimat, sudah seharusnya memahami pembicaraan dan konteks
pragmatic dimana kalimat diucapkan.
•Ada sejumlah relationship diantara phrase dan bagian dari konteks pembicaraan:
–Entitas yang identik
Cth:
-Bill had a red ballon.
-John wanted it.
‘It’ bereferensi dengan red ballon.
11
–Bagian dari entitas
Cth:
-Sue opened the book she just brought.
-The title page was torn.
‘The title’ diketahui sebagai bagian dari ‘book’.
–Bagian dari aksi
Cth:
-John went on a business trip to New York.
-He left on an early morning flight.
‘Taking a flight’ merupakan bagian dari ‘trip’
–Entitas yang terlibat dalam aksi
Cth:
-My house was broken into last week.
-They took the TV and the stereo.
‘They’ dimaksudkan pencuri ‘who broke into the house.
–Elemen dari suatu set
Cth:
-The decals we have in stock are stars, the moon,item and a flag.
-I’ll take two moons.
‘moon’ dipahami sebagai salah satu ‘moon’ pertama.
–Nama individu
Cth:
12
-Dave went to the movies.
‘Dave’ adalahseseorang yang bernama Dave.
–Rantaikausal
Cth:
-There was a big snow storm yesterday.
-The schools were closed today
‘Snow’ sebagai alasan ‘school were closed’
–Urutan perencanaan
Cth:
-Sally wanted a new car.
-She decided to get a job.
‘Sally interest in a job’ dipahami sebagai keinginan yg timbul ‘for a new car’.
–Kekuatan ‘illocutionary’
Cth:
-It sure is cold in here.
Kalimat ini dipahami sebagai ‘having’.
–Presupposition implicit
Cth: -Did Joe fail CS101?
‘CS101’merupakan valid.
–Pengetahuan untuk mengenali relationship antara kalimat.
•Fokus saat itu dalam dialog
•Model untuk setiap kepercayaan partisipan
13
•Karakter ‘goal-driven’ dari dialog
•Aturan percakapan yg dibagi pada semua partisipan.
Penggunaan Fokus Dalam Pemahaman
2 bagian penting pada proses penggunaan pengetahuan untuk memudahkan pemahaman:
1. Fokus pada bagian relevan dari dasar pengetahuan yg tersedia
2. Penggunaan pengetahuan untuk menyelesaikan kerangkapan arti dan untuk
menghubungkan diantaranya dari yg diucapkan.
Pemodelan Kepercayaan
Ada dua pemodelan kepercayaan:
1. Shared beliefs Merupakan representasi dari kepercayaan bersama2 sebagai fakta,
dapat diakses kapan saja pengetahuan mengenai kepercayaan dari seseorang
dibutuhkan.
2. Individual beliefs
8. Aplikasi
Suatu program yg dapat membaca cerita atau teks bahasa natural dan menjawab
pertanyaan, maka program tersebut harus dapat menggambarkan join jaringan antara
interpretasi semantic dari input dengan struktur graf konseptual pada basis pengetahuan, lebih
spesifik dengan menggunakans krip.
Program yg dapa tmembangun representasi yg lebih luas dari teks, dapat menjawab
pertanyaan2 yg telah dibaca secara cerdas.
14