Penerjemah Bahasa Isyarat Indonesia Berdasarkan

Pendekatan Polinomial dan Zero
Crossing Untuk Parsing Kata
Pada Data Rekaman Finger
Motion Capture
Widda Ayui Silma – 2207100096
Dosen Pembimbing:
1) Dr I Ketut Eddy Purnama, S.T., M.T.
2) Ahmad Zaini, S.T., M.T.
Bahasa Isyarat
Bahasa isyarat adalah
salah satu bahasa yang
menggunakan
komunikasi visual,
bahasa tubuh, dan
gerak bibir, tanpa
menggunakan suara
untuk berkomunikasi.
Image source: http://learnhowtospeaklanguage.com/images/sign-language.jpg
3
Bahasa Isyarat untuk tunga rungu
berupa komunikasi visual
Penampil
tangan yang digunakan
Posisi
kedudukan tangan
Bahasa Isyarat
Tempat
bagian badan saat awal & akhir
Arah
gerakan penampil
Frekuensi
gerak ulang
4
Perangkat Penerjemah
Bahasa Isyarat
1)
2)
Berbasis Sensor
2. Berbasis Visi
Komputer
1.
Image source : 1) http://www.ohgizmo.com/wp-content/uploads/2011/03/sign_language.jpg
2) http://www.sciencephoto.com/image/351245/large/T4810011-Computer_recognition_of_hand_sign_language-SPL.jpg5
Penelitian Bahasa Isyarat
Finger Motion Capture
Pengenalan Kata Bahasa Isyarat
Voice for Voiceless (V4V)
Parsing Kata Bahasa Isyarat
Voice Generator
6
Penelitian Bahasa Isyarat
Deteksi
Kata
Deteksi
K a l i ma t
Parsing
Kata
?
7
Rekaman data finger motion
capture
8
Metode yang digunakan
† Pendekatan Polinomial
† Pencarian indeks Zero Crossing
9
Metodelogi
10
Pengambilan data isyarat dengan
Finger Motion Capture
Pengklasifikasian
data sensor
Penghitungan nilai ratarata data sensor
Perbandingan nilai data sensor
Curve Fitting
Pencarian indeks zero crossing
Parsing data isyarat kalimat
berdasarkan indeks zero crossing
11
Pengambilan Data Isyarat
† Pengambilan data
isyarat dilakukan
dengan menggunakan
finger motion capture
† Software yang
digunakan adalah
SIBI (hasil penelitian
sebelumnya)
† Data yang dihasilkan
berupa file dengan
ekstensi .ibi
12
Pengambilan Data Isyarat
Isyarat yang direkam :
† Gabungan kata yang memiliki gerakan isyarat tangan
yang sangat berbeda
„ Adik saya
„ Adik saya minum
† Gabungan kata yang memiliki kemiripan gerakan jari
tangan
„ Adik kamu
„ Adik kamu sakit
† Gabungan kata yang memiliki kemiripan gerakan posisi
tangan
„ Saya haus
„ Saya belum haus
13
Contoh Data Isyarat
yang Dihasilkan
Kolom [c1…c5] adalah data dari
sensor flex untuk lekukan jari jempol
sampai kelingking
Kolom [c6…c9] adalah data dari
sensor accelerometer untuk sumbu x,
y, z dan referensi
Baris [r1…r10] menunjukkan urutan
data disimpan, yaitu dari awal gerakan
isyarat sampai dengan selesai
gerakan isyarat tersebut
14
Klasifikasi Data
Contoh Data isyarat ‘adik saya’ :
Data sensor flex
Data sensor accelerometer
16
Pencarian nilai rata-rata data
sensor
† Data rata rata yang dihasilkan berupa
vektor kolom yang berisi nilai rata-rata
dari tiap baris data sensor
17
Contoh Data isyarat ‘adik saya’ :
Data rata-rata sensor flex
Data rata-rata sensor
accelerometer
18
Curve fitting
† Curve fitting atau pencocokan kurva
dilakukan dengan metode least square
polynomial regression
† Sistem ini memiliki keterbatasan, yakni
untuk data yang terdiri dari dua kata
derajat yang digunakan adalah derajat
tiga sedangkan data yang terdiri dari tiga
kata digunakan derajat empat
19
Contoh Data isyarat ‘adik saya’ :
Hasil Curve Fitting (derajat tiga) data rata-rata sensor flex
20
Pencarian Zero Crossing
Untuk mendapatkan nilai zero cross
dilakukan beberapa tahapan
penghitungan
21
Contoh Data isyarat ‘adik saya’ :
Contoh Data isyarat ‘adik saya’ :
Tahap 1: turunan kedua dari nilai y hasil curve fitting data ratarata sensor flex
Tahap 2: signum dari hasil nilai Tahap 1 data rata-rata sensor
flex
23
Contoh Data isyarat ‘adik saya’ :
24
Contoh Data isyarat ‘adik saya’ :
2
1.8
1.6
1.4
y
1.2
1
0.8
0.6
0.4
0.2
0
Tahap 1: turunan kedua dari nilai y hasil curve fitting data ratarata sensor flex
0
5
10
15
20
25
x
30
35
40
45
50
Tahap 4: nilai indeks data rata-rata sensor flex adalah nilai x
ketika nilai y > 0
23
26
Parsing Data Isyarat
†
Berdasarkan nilai indeks zero crossing yang
diperoleh
† Jika terdapat satu nilai indeks, misalnya i maka
data isyarat tersebut di-parsing menjadi dua
bagian yakni pada baris ke-i
† Jika terdapat dua nilai indeks, misalnya i dan j
maka data isyarat tersebut di-parsing menjadi
tiga bagian yakni pada baris ke-i dan ke-j
† Data hasil parsing disimpan kembali dalam file
dengan ekstensi .ibi
23
Percobaan
24
Pencocokan kata hasil
parsing
† Digunakan software SIBI (hasil
penelitian sebelumnya)
† Metode yang digunakan pada SIBI
adalah Dynamic Time Wrapping (DTW),
data template yang paling cocok diukur
berdasarkan nilai jarak yang paling
minimum
25
Gabungan kata yang memiliki
gerakan jari tangan yang sangat
berbeda
† ‘adik saya’
† ‘adik saya minum’
Adik
Saya
Minum
26
Tabel Hasil Percobaan ’adik saya’
Tabel Hasil Percobaan ’adik saya
minum’
Gabungan kata yang memiliki
kemiripan gerakan jari tangan
† ‘adik kamu’
† ‘adik kamu sakit’
Adik
Kamu
Sakit
29
Tabel Hasil Percobaan ’adik kamu’
Tabel Hasil Percobaan ’adik kamu
sakit’
Gabungan kata yang memiliki
kemiripan gerakan posisi tangan
† ‘saya haus’
† ‘saya belum haus’
Saya
Belum
Haus
32
Tabel Hasil Percobaan ’saya haus’
Tabel Hasil Percobaan ’saya belum
haus’
Hasil percobaan parsing kata
35
Kesimpulan
1.
Metode regresi polinomial dan deteksi zero crossing dapat digunakan untuk memparsing data isyarat gabungan kata yang direkam oleh finger motion capture
2.
Parsing data isyarat yang terdiri dengan dua kata dasar derajat polinomial yang
digunakan adalah tiga, sedangkan untuk data isyarat yang terdiri dari tiga kata
dasar derajat polinomial yang digunakan adalah empat.
3.
Tingkat akurasi semakin menurun pada data dengan isyarat kata yang memiliki
kemiripan gerak, baik gerakan jari tangan ataupun posisi tangan.
4.
Akurasi yang dicapai untuk parsing data isyarat yang terdiri dari dua kata adalah
100% untuk 2 gabungan kata dan 85% untuk 1 gabungan kata
5.
Akurasi tertinggi yang dicapai untuk parsing data isyarat yang terdiri dari tiga kata
adalah 96.67% untuk kalimat ‘adik saya minum’ yang memiliki perbedan signifikan
36
Terima Kasih