Teknik Mapping Data Menggunakan Pentaho Kettle Pada Aplikasi

Prosiding
,
Seminar Nasional Sains Antariksa
Homepage: http//www.lapan.go.id
TEKNIK MAPPING DATA MENGGUNAKAN PENTAHO KETTLE PADA
APLIKASI SISTEM BASIS DATA ANTARIKSA
(DATA MAPPING TECHNIQUE USING PENTAHO KETTLE ON THE SPACE
SYSTEM DATABASE APPLICATION)
Ahmad Zulfiana Utama, Elyyani, Yoga Andrian
Pusat Sains Antariksa
Lembaga Penerbangan dan Antariksa Nasional
e-mail: [email protected]
ABSTRAK
Riwayat Artikel:
Diterima: 22-11-2016
Direvisi: 10-03-2017
Disetujui: 20-03-2017
Diterbitkan: 22-05-2017
Kata kunci:
Manajemen basis data,
Pentaho Kettle, Sistem
manajemen file
Keywords:
Database management,
Pentaho Kettle, File
management system
Kelompok penelitian basis data Pusat Antariksa pada tahun 2014-2015
mengembangkan aplikasi Sistem Basis Data Antariksa (SIMBADA).
Pengembangan sistem basis data antariksa memiliki tujuan untuk
mempermudah pengguna mencari data hasil pengamatan yang tersimpan
pada server. Antar muka aplikasi disajikan dalam bentuk web based. Fitur
pencarian data merupakan jantung dari aplikasi. Pengguna dapat mencari
data berdasarkan rentang waktu, lokasi pengamatan, atau jenis data
pengamatan. Pencarian data menggunakan system management file pada
Sistem Operasi Debian. Pada saat dilakukan pengujian sistem terkadang
data tidak ditemukan berbanding terbalik dengan ketersediaan data pada
server. Setelah dilakukan kajian ulang ternyata penamaan folder, dan
strukturnya tidak memiliki keseragaman dan inkonsistensi. Hal tersebut
berakibat pada hasil pencarian data, karena pada Sistem Operasi file yang
dicari harus identik termasuk besar-kecil penamaan file (Case Sensitive).
Untuk memperbaiki hal tersebut maka proses bisnis pencarian data
sepenuhnya akan diubah menggunakan Database Management System
(DMBS) MYSQL. Informasi data (metadata) dimasukan ke dalam DBMS
melalui proses pemetaan data. Pemetaan data dimulai dari pengumpulan
data, memilah informasi data, transformasi, dan memasukan setiap
informasi ke dalam DBMS. Informasi yang tersimpan dalam DBMS dapat
digunakan sebagai parameter pencarian aplikasi sistem basis data antariksa.
Alat bantu untuk memasukan metadata ke DBMS menggunakan Pentaho
Kettle.
ABSTRACT
The research group database in 2014-2015 developed applications Space
Database System (SIMBADA). Development of the database system space
has the purpose to facilitate the search for the observed data stored on the
server. Application interface is presented on web based. The search feature
data is the heart of the application. Users can search the data by time range,
observation location, or type of observational data. Search the data use file
management system method on Debian Operating System. At the time of
system test sometimes data is not found inversely proportional to the
availability of data on the server. After naming the folder to be replicated,
Seminar Nasional Sains Antariksa
Bandung, 22 November 2016
c 2017 Pusat Sains Antariksa LAPAN
ISBN: 978-602-17420-1-3
254
A.Z. Utama et al.
and the structure does not have the uniformity and inconsistency. Caused on
the search results data, because the operating system must be identical file is
searched including file naming use case sensitive.To fix it then processes the
data search business will completely revamped using MYSQL Database
Management System. Insert data information into the DBMS through the
process of data mapping . Data mapping starting from data collection,
extract, transformation, and load into database management system.
Information of data (metadata) stored in DBMS can be used as a parameter
data search on application Space Database System. Tools to mapping
metadata into the DBMS using Pentaho Kettle.
1. Pendahuluan
Pusat Sains Antariksa (Pussainsa)-LAPAN
sebagai pusat layanan informasi bidang sains
antariksa memiliki beberapa program utama
yang dituangkan ke dalam Decision Support
System (DSS) yang salah satunya yaitu layanan
cuaca antariksa. Sentra layanan cuaca
antariksa didukung oleh berbagai kegiatan,
pemantauan, penelitian, pengembangan terpadu
yang berkaitan dengan perubahan kondisi cuaca
antariksa.
Sejak awal tahun 2015, Pussainsa secara
kontinu memberikan informasi dan prediksi
cuaca
antariksa
melalui
alamat
http://swifts.sains.lapan.go.id. Adapun konten
utama yang diberikan meliputi aktivitas
matahari, dinamika magnetosfer, dinamika
ionosfer, serta dampaknya pada komunikasi HF
dan navigasi berbasis satelit.
Informasi dan prediksi cuaca antariksa
merupakan hasil dari pengolahan data
pengamatan antariksa. Data merupakan aset
penting bagi organisasi, karena data yang telah
diolah dapat menghasilkan informasi yang
berharga. Data-data ini diperoleh dari stasiun
pengamatan yang tersebar di seluruh Indonesia
(Sumedang, Agam, Pontianak, Garut, Pasuruan,
Manado, dan Biak). Data tersebut dikumpulkan
ke dalam satu server utama di Pussainsa.
Proses pengambilan data dari server harus
dapat diakses dengan mudah oleh pengguna.
Pengembangan aplikasi sistem basis data
antariksa merupakan program pendukung dari
layanan cuaca antariksa. Pengembangan
aplikasi ini tujuannya untuk mempermudah
pengguna mencari data hasil pengamatan yang
tersimpan pada server di Pussainsa. Fitur
pencarian merupakan jantung dari aplikasi.
Pengguna dapat mencari data berdasarkan
rentang waktu, lokasi pengamatan, atau jenis
data pengamatan.
Identitas dari setiap data harus diketahui
oleh aplikasi untuk digunakan sebagai
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
parameter pencarian. metadata ini berupa
nama, lokasi penyimpanan, ukuran, tipe data,
dan lokasi pengamatan. Semua metadata
dimasukan ke dalam basis data. Tujuan dari
penyimpanan metadata ke basis data yaitu
untuk mempermudah pencarian data pada
aplikasi Sistem Basis Data Antariksa. Mustahil
data dapat ditemukan apabila identitasnya
tidak diketahui.
Metadata ini berasal dari proses mapping.
Proses mapping yaitu memecah setiap informasi
yang dimiliki oleh data disesuaikan dengan
standar informasi yang kita inginkan. Proses
mapping merupakan proses yang sering muncul
dalam pengelolaan data (Kolaitis, 2005). Proses
mapping ini dimulai dari pengumpulan data,
sampai data siap digunakan oleh pengguna, dan
proses terakhir yaitu pengarsipan data (Nisal et
al., 2012). Selama proses berlangsung data yang
telah memiliki standar sebelumnya, diubah ke
dalam standar yang telah disesuaikan dengan
kebutuhan atau dikenal dengan istilah
transformasi. Transformasi data merupakan
permasalahan umum yang sering di alami oleh
pengembang sistem, yang diakibatkan dari
format atau struktur data yang tidak konsisten.
Hal tersebut membutuhkan pemetaan data
untuk mengkonversi data ke dalam satu bentuk
yang seragam (Bossung, 2004).
Proses pemetaan data dimulai dari
memecah informasi data, merubah format data
sesuai dengan standar yang telah ditentukan
melalui
proses
transformasi,
dan
memasukannya ke dalam basis data. Alat bantu
untuk pemetaan data Pentaho Kettle. Pentaho
Kettle menyediakan fitur transformasi yang
berfungsi untuk mengatur aliran data ke basis
data. Membuat sistem yang otomatis untuk
memetakan metadata dari sumber data
merupakan hal yang penting dalam manajemen
data (Fletcher dan Wyss, 2009). Aplikasi
Pentaho memungkinkan untuk melakukan
otomatisasi tersebut.
Teknik Mapping Data Menggunakan . . .
2. Tinjauan Pustaka
2.1. Metadata
Data adalah representasi dari fakta,
kejadian,
atau
informasi
yang
belum
mempunyai suatu nilai. Data merupakan aset
penting bagi organisasi, karena data yang telah
diolah dapat menghasilkan informasi yang
berharga.
Informasi
dapat
menentukan
kebijakan organisasi dalam perencanaan dan
pengambilan keputusan (Horakova dan Skalska,
2013). Maka dari itu perlu dikelola dan diatur
dengan seksama. Data memiliki informasi yang
unik. Informasi tersebut dikenal dengan istilah
metadata.
Informasi yang dapat diambil dari data
pengamatan yaitu nama file, ukuran, lokasi
pengamatan, lokasi penyimpanan data pada
fisik komputer, jenis alat pengamatan, dan
tanggal pengamatan. Metadata ini berfungsi
sebagai identitas dari data itu sendiri. Dalam
sistem pencarian metada merupakan hal yang
mandatori, mustahil data dapat ditemukan
tanpa diketahui identitasnya. Metadata yang
berhasil dipindahkan akan dimasukan ke dalam
DBMS. Kelebihan dari penggunaan DBMS ini
akan mempermudah aplikasi dalam mencari
data, karena pada saat pencarian aplikasi
hanya mengirimkan query kepada DBMS dan
selanjutnya DBMS akan memberikan informasi
lokasi file yang diminta. Selain itu keunggulan
dari penggunaan DBMS akan mempercepat
waktu pemrosesan, dan dapat digunakan untuk
monitoring
ketersedian
data,
serta
memungkinkan pencarian lebih dari satu lokasi
/ alat pengamatan.
2.2. Pentaho Kettle
Pentaho Kettle adalah aplikasi yang
digunakan
untuk
proses
Extraction,
Transformation dan Loading (ETL) (Malik et al,
2013). Pentaho Kettle digunakan untuk migrasi
data, membersihkan data, loading dari file ke
basis data atau sebaliknya dalam volume besar
(Wibisono, 2014). Selain itu Pentaho Kettle juga
menyediakan fitur reporting, OLAP pivot table,
dan dashboard untuk menampilkan informasi
dalam bentuk visual (Bouman dan Dongen,
2009). Pentaho Kettle menyediakan antarmuka
dengan fitur drag-drop yang memudahkan
pengguna dalam merancang skema ETL.
Elemen utama dari Pentaho Kettle adalah
transformation dan job. Transformation adalah
sekumpulan intruksi untuk merubah masukan
menjadi keluaran yang diinginkan. Istilah job
pada aplikasi Pentaho adalah kumpulan
instruksi untuk menjalankan transformasi.
255
Terdapat 4 fitur utama pada pentaho yaitu
spoon, pan, kitchen dan carte. Spoon merupakan
antar muka untuk membuat rancangan atau
skema transformasi dan menjalankan pemetaan
data yang telah dirancang sebelumnya (Florea
et al., 2015). Pan menjalankan transformasi dan
menghubungkannya dengan basis data. Kitchen
untuk mengeksekusi transformasi berdasarkan
penjadwalan pada batch mode.
Rancangan transformasi dibuat pada fitur
spoon dengan cara drag and drop. Fitur spoon
juga
dapat
mengeksekusi
3
bahasa
pemrograman sekaligus yaitu javascript, shell,
dan sql. Tambahan lain dari fitur spoon dapat
mentransfer data melalui protokol FTP, SFTP,
dan SSH. Terdapat 38 fungsi yang berbeda,
fungsi-fungsi ini dibagi ke dalam 3 kelompok
yaitu masukan, keluaran, dan transformasi.
Masukan data yang dapat digunakan pada
Pentaho antara lain file berformat text (.txt,
csv), aplikasi office (excel, access), dan tabel dari
basis data. Sedangkan fitur transformasi yang
tersedia diantaranya adalah fungsi untuk
memanipulasi tipe data string, lookup database,
validasi data, dan membersihkan data.
Berikut adalah tahapan pada proses ETL:
 Extraction : mengekstrak informasi.
 Cleaning: membersihan informasi.
 Transformation: merubah format data
sesuai
dengan
standar
yang
diberlakukan.
 Loading: proses pemindahan data ke
basis data.
2.3. Proses Query
Permintaan data pada DBMS dikenal
dengan istilah Query. Query adalah sebuah
ekspresi bahasa yang menggambarkan data
yang akan didapatkan kembali dari sebuah
basis
data.
Kebanyakan
aplikasi
yang
menggunakan
database
sering
didapati
permintaan-permintaan secara langsung dari
pengguna yang memerlukan informasi tentang
bentuk maupun isi dari database.
Apabila permintaan pengguna terbatas
pada sekumpulan query standar, maka query
tersebut dapat dioptimisasi secara manual.
Tetapi apabila ada suatu kejadian yang khusus
semisal jumlah data yang sangat banyak dan
keterbatasan sumber daya, maka diperlukan
optimalisasi query (Zhang et al., 2005).
Optimasi query merupakan bagian dasar
dari sebuah sistem basis data dan juga
merupakan proses untuk menghasilkan rencana
akses yang efisien. Secara tidak langsung,
sebuah rencana akses merupakan sebuah
strategi yang nantinya akan dijalankan dalam
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
256
A.Z. Utama et al.
Gambar 3-1 : Skema transfer data dari Stasiun Pengamatan ke Server Utama.
bentuk query untuk mendapatkan kembali
operasi-operasi yang apabila dijalankan akan
menghasilkan data yang diperlukan oleh
pengguna.
lokasi pengamatan. Pembuatan log ini
menggunakan bahasa pemrograman
shell.
3. Data dan Metode
3.1. Metode
Teknik pemataan data yang dimaksudkan
pada tulisan ini adalah langkah-langkah untuk
memetakan informasi (metadata) ke basisdata
(DBMS), dimulai dari proses pengumpulan data,
transformasi,
mapping
ke
DBMS,
dan
penjadwalan otomatis.
Dalam proses pemetaan data, data yang
memiliki standar tersendiri diubah ke dalam
bentuk standar yang lain. Standar tersebut
mengikuti meta data dan model data yang telah
ditentukan sebelumnya, tanpa merubah isi dari
data tersebut (Nisal, 2012).
Ada 4 tahapan yang harus diperhatikan
pada proses ETL yaitu Identifikasi sumber data,
cari perbedaan antara kandidat yang akan
digunakan sebagai sumber data dengan,
identifikasi atribut data yang akan dipetakan,
dan membuat rancangan diagram ETL (Nataraj,
2014).
Penelitian ini menggunakan data hasil
pengamatan cuaca antariksa. Data ini berasal
dari hasil pengamatan di Stasiun Sumedang
yaitu data beacon, cadi, sunspot, dan SN4000.
Metadata dari setiap data akan diekstrak,
ditransformasi, dan dimasukan ke DBMS
menggunakan aplikasi Pentaho. Berikut adalah
tahapan pada proses pemetaan data :
1.
Membuat logfile dalam bentuk teks.
Logfile ini berbentuk matriks 2
dimensi, informasi yang terkandung
adalah nama file, tanggal pengamatan,
tanggal file terakhir diakses, ukuran
file, lokasi sumber data, lokasi tujuan
data, jenis alat pengamatan, dan
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
3.2.
2.
Membuat rancangan
pada pentaho.
transformasi
3.
Membuat penjadwalan otomatis untuk
menjalankan secara otomatis.
Teknik Pengumpulan Data
Data yang di dapat dari alat pengamatan
merupakan
suatu
hal
penting
untuk
mendukung kegiatan penelitia/perekayasa di
Pussainsa Bandung. Alat pengematan tersebar
di beberapa wilayah Indonesia yaitu Stasiun
Pengamatan Sumedang, Pasuruan, Kototabang,
Pontianak, dan Biak. Peralatan pengamatan
melakukan pengamatan sesuai dengan interval
waktu tertentu, dan dikendalikan oleh
komputer kontrol, data hasil pengamatan
tersimpan pada masing-masing komputer
kontrol.
Server basis data pada masing-masing
Stasiun
Pengamatan
akan
melakukan
sinkronisasi data dengan setiap komputer
kontrol. Data dari masing-masing server
Stasiun Pengamatan akan dikirim ke server
utama yang terletak di Pussainsa Bandung
dengan
interval
waktu
tertentu.
Data
dikirimkan melalui jalur VPN. Metode yang
digunakan dalam melakukan sinkronisasi data
dari komputer kontrol dengan
Stasiun
Pengamatan menggunakan aplikasi FTP (OS
Windows) dan Rsync (OS Linux). Metode FTP
merupakan protokol yang digunakan untuk
pengiriman data dari satu komputer ke
komputer lain dengan skema client-server.
Adapun
skema
pengiriman
data
yang
digunakan
sekarang
diilustrasikan
pada
Gambar 3-1.
Client yang menggunakan OS Windows
transfer datanya menggunakan aplikasi FTP
Server, sedangkan client yang menggunakan OS
Teknik Mapping Data Menggunakan . . .
257
Gambar 4-1 : Diagram ER.
Linux menggunakan aplikasi Rsync. Rsync
merupakan
aplikasi
yang
cepat
dalam
menggandakan suatu file. Rsync dapat
mengirimkan suatu data dari suatu computer ke
komputer
lainnya
menggunakan
bahasa
pemrograman shell. Dengan menggunakan
Rsync kita dapat mengkontrol pengiriman suatu
data sesuai dengan yang kita butuhkan, untuk
menjalankan
aplikasi
membutuhkan
autentifikasi pengguna. Selain itu keunggulan
dari Rsync menggunakan algoritma deltatransfer yang berfungsi untuk mengurangi
jumlah file yang digandakan, file yang
digandakan hanya file yang terbaru dengan
kata lain aplikasi rsync juga dapat melakukan
sinkronisasi data antara komputer sumber
dengan komputer tujuan. Hal tersebut cocok
digunakan untuk pengiriman data dari server
Stasiun Pengamatan ke server utama.
Data yang dipindahkan dari jaringan
berbeda menggunakan protocol SSH. SSH
merupakan sebuah protocol yang aman apabila
ingin mengkakses komputer lain berikut contok
pemakaian rsyn pada OS Linux :
sudo rsync --dry-run --delete -azvv -e ssh
/home/path/folder1/
[email protected]:/home/pa
th/folder2
proses menjalankan transformasi menggunakan
fungsi job.
4.1. Rancangan Basis Data
Informasi yang disimpan ke dalam
database hanya bersifat metadata, karena
apabila filenya yang disimpan ke dalam DBMS
akan membebani performa dan kecepatan
pengaksesan data. Karena data yang disimpan
jumlahnya banyak dan ukuran file ada yang
besar.
DBMS yang digunakan untuk aplikasi
sistem basis data antariksa yaitu MySQL. Tabel
yang saling berhubungan yang terdapat di basis
data merupakan representasi dari objek dunia
nyata. Pada bagian sebelumnya, kita telah
membahas tentang karakteristk data hasil dari
alat pengamtan sains antariksa, dengan
mengacu hal tersebut kita dapat membuat
diagram
E-R
yang
kemudian
akan
direpresentasikan menjadi sebuah basis data
untuk aplikasi sistem basis data antariksa yang
diilustrasikan pada Gambar 4-1.
Mengacu pada diagram E-R di atas,
rancangan basis data untuk aplikasi sistem
basis data antariksa sebagai berikut:
1.
4. Pembahasan
2.
Pada bab ini akan dibahas mengenai
rancangan basis data untuk menampung
informasi metada yang dipetakan, proses
pemetaan data, rancangan transformasi, dan
3.
Tabel
Balai_Pengamatan
dengan
atribut BPD_ID(PK), BPD_Nama, dan
BPD_Alamat.
Tabel Alat_Pengamatan dengan atribut
AP_ID(PK),
AP_Nama,
dan
Bidang_ID(FK).
Tabel
Bidang
dengan
atribut
Bidang_ID, dan Bidang_Nama.
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
258
A.Z. Utama et al.
Gambar 4-2 : Hasil dari perubahan format penamaan file dan hirarki folder.
Gambar 4-3 : Log data yang berhasil di transfer.
PN_ID
BPD_ID
AP_ID
PN_Nama_F
ile
PN_File_Ext
PN_Path
PN_Tahun
PN_Bulan
PN_Hari
PN_Jam
Tabel 4-1 : Rekapitulasi Pengamatan.
1
TJS
BEA
TJS_BEA_201212
31
zip
/TJS/BEA/2012/12/31
/TJS_BEA_20121231.
zip
2012
12
31
-
4.
Tabel Pengamatan dengan atribut
PN_ID (PK), BPD_ID(FK), AP_ID(FK),
PN_Nama_File, PN_File_Ext, PN_Path,
PN_Tahun, PN_Bulan, PN_Hari, dan
PN_Jam.
Table balai_pengamatan berfungsi sebagai
master data untuk menyimpan data Stasiun
Pengamatan yang mempunyai alat pengataman.
Tabel alat_pengamatan berfungsi sebagai
master data untuk menyimpan data-data dari
alat pengamatan yang digunakan, pada tabel ini
berelasi dengan tabel bidang hal ini bertujuan
untuk mengkategorikan alat pengamatan sesuai
dengan
bidang.
Pengkategorian
tersebut
bertujuan
untuk
mempermudah
dalam
pemilihan data sesuai dengan bidang penelitian.
Tabel bidang merupakan master data untuk
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
menyimpan bidang-bidang yang ada di kantor
Lapan Bandung Tabel pengamatan merupakan
tabel transaksi / tabel utama di basis data ini,
tabel pengamatan merekam setiap data yang
masuk dengan
mengkategorikan
Stasiun
Pengamatan, alat pengamatan yang digunakan,
nama file yang disimpan, lokasi pengamatan,
lokasi file, dan waktu perekaman data.
Sebagai contoh kita menggunakan data
/TJS/BEA/2012/12/31/TJS_BEA_20121231.zip
yang disimpan ke tabel pengamatan (Tabel 4-1).
4.2. Proses Extract dan Transformation
Mengacu pada pengembangan aplikasi
sistem basis data antariksa tahun 2014-2015
penamaan file dan struktur folder dari Stasiun
memiliki format yang berbeda-beda. Penamaan
Teknik Mapping Data Menggunakan . . .
259
Gambar 4-4 : Rancangan transformasi untuk memetakan metadata.
file tersebut dilakukan oleh operator alat, atau
otomatis dari alat pengamatan. Inkonsistensi
penamaan file/folder ini menimbulkan masalah
pada aplikasi pencarian karena sistem
pencarian file menggunakan metode system
management file. System management file pada
OS
menggunakan
kaidah
case
sensitif
(penamaan file, dan besar kecil penamaan harus
sama). Misalnya pada saat pencarian data
beacon, aplikasi menginisialisasi bahwa data
beacon berada di folder /data/beacon/ harus
sesuai dengan penamaan lokasi dan hirarki
direktori pada sumber data terletak di lokasi
/data/Beacon maka data tidak akan ditemukan.
Hal tersebut berakibat pada hasil pencarian
data sering berbanding terbalik dengan
ketersediaan data pada server.
Maka dari itu diperlukan standarisasi
untuk penamaan file dan hirarki folder. Sebagai
contoh, data beacon tanggal 31 desember 2012
pada
Stasiun
Sumedang
dinamai
SMD_BEACON_20121231.zip,
sementara
hirarki folder dari file tersebut adalah:
/SMD/BEACON/2012/12/SMD_BEACON_20121
231.zip
Untuk memenuhi standar tersebut, pada saat
proses transfer data penamaan file diubah dan
hirarki folder disesuaikan. Gambar 4-2
menunjukkan list hasil dari transfer data yang
telah memenuhi standar.
Aplikasi yang digunakan untuk melakukan
mapping metadata ke DBMS menggunakan
Pentaho Kettle. Berikut adalah langkahlangkah pengiriman informasi metadata dari
sumber data – sumber DBMS :
1.
Buat pencatatan file(log) yang berhasil
dipindahkan, log ini file berformat text
atau csv. Hasil dari pembuatan log ini
dapat dilihat pada Gambar 4-3.
2.
Log tersebut berbentuk matriks 2
dimensi,
kolom
pertama
sampai
terakhir secara berurutan yaitu nama
file, tanggal pengamatan, tanggal file
terakhir dimodifikasi, ukuran file,
lokasi folder asal, lokasi folder tujuan,
jenis alat, dan lokasi pengamatan.
4.3. Membuat
transformasi
aplikasi Pentaho
pada
CSV file input adalah fungsi untuk
membaca file berformat text atau csv. Fungsi ini
akan membaca setiap baris pada file text dan
mendeklarasikan kolom berdasarkan spasi atau
tab. File log yang telah dibuat pada tahap satu,
dijadikan masukan untuk fungsi CSV file input.
Tahapan selanjutnya adalah Database Lookup,
fungsi ini bertugas untuk membandingkan nilai
dengan master data pada basisdata. Pada
tahapan satu jenis alat, dan lokasi pengamatan
menggunakan format teks yaitu BEACON dan
SMD. Untuk mengetahui primary key dari
kedua jenis data tersebut, yaitu menggunakan
fungsi Database Lookup. Pada fungsi ini kita
harus mengatur tabel dari DBMS yang akan
dijadikan acuan yaitu tabel alat pengamatan ,
dan lokasi pengamatan. Hasil akhir dari fungsi
ini yaitu untuk mengetahui primary key dari
alat BEACON dan lokasi SMD. Modified
Javascript Value bertugas untuk merubah atau
memodifikasi tipe data dari setiap data yang
masuk. Perubahan tipe data ini bertujuan untuk
menghemat pengalokasian memori, dan untuk
menyesuaikan tipe data berdasarkan tabel pada
DBMS. Fungsi terakhir yang dijalankan oleh
pentaho yaitu tabel output, fungsi ini bertugas
untuk memasukan setiap nilai dari log yang
telah diproses sebelumnya ke tabel DBMS.
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
260
A.Z. Utama et al.
Gambar 4-5 : Skenario job untuk menjalan-kan transformasi.
Gambar 4-6 : Skema keseluruhan data mapping pada aplikasi Sistem Basis Data Antariksa.
4.4.
Pengaturan job pada pentaho
Pengaturan
ini
berfungsi
untuk
memvalidasi
file
sebelum
transformasi
dijalankan.
Penjelasan dari tahapan Gambar 4-5
adalah
sebagai
berikut
:
(a)
periksa
ketersediaan file yang akan diproses, (b) periksa
koneksi basis data, (c) masukan transformasi
yang telah dirancang pada tahapan 2, (d)
simpan hasil rancangan job, (e) buat shell script
pada komputer server untuk menjalankan job
pentaho, dan (f) buat penjadwalan untuk
mengeksekusi shell script tersebut.
Secara ringkas skema keseluruhan dari
teknik mapping data pada aplikasi SIMBADA
yaitu sebagai berikut (lihat Gambar 4-6).
Pertama, data pengamatan dikirim dari Stasiun
Pengamatan ke Server Utama menggunakan
aplikasi Rsync. Aplikasi Rsync menghasilkan
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3
log/history mengenai status dan informasi data
yang terkirim. Kedua, log yang dihasilkan
diubah terlebih dahulu agar dapat dibaca oleh
aplikasi Pentaho yaitu menggunakan program
shell. Apabila isi log berhasil diubah sesuai
dengan format, selanjutnya Pentaho akan
membaca file tersebut. Ketiga, dilakukan
pemetaan informasi file ke DBMS menggunakan
Pentaho.
5.
Kesimpulan
Perbedaan penamaan file pada server data
pengamatan Pussainsa diseragamkan melalui
proses pemetaan data. Proses pemetaan data
dimulai dari pengumpulan data, memecah
informasi
data,
transformasi,
dan
memasukannya ke dalam basis data. Alat bantu
proses pemetaan data menggunakan aplikasi
Pentaho. Setiap parameter yang telah berhasil
Teknik Mapping Data Menggunakan . . .
ditransformasi dapat digunakan sebagai alat
bantu pencarian data pada aplikasi Sistem
Basis Data Antariksa, selain itu data yang telah
seragam
memudahkan
pengguna
dalam
memahami struktur data yang ada pada server.
Ucapan Terima Kasih
Penulis berterima kasih kepada penelaah
yang telah memberikan komentar dan saran
perbaikan atas makalah ini.
Rujukan
Bossung, S., Stoeckle, H., Grundy, J., Amor, R.,
and Hosking, J. (2004). Automated data
mapping specification via schema heuristics
and user interaction. In Proceedings of the
19th IEEE international conference on
Automated software engineering (pp. 208217). IEEE Computer Society.
Bouman, R., and Doungen, V. (2009). Pentaho
Solutions: Business Intelligence and Data
Warehousing with Pentaho and Mysql.
Wiley Publishing, Inc.
Fletcher, G. H., and Wyss, C. M. (2009). Towards
a general framework for effective solutions
to the data mapping problem. Journal on
Data Semantics, 15, 37-73.
Florea, A. M. I., Diaconita, V., and Bologa, R.
(2016). Data integration approaches using
261
ETL. Database Systems Journal, 6(3), 1927.
Horakova, M., and Skalska, H. (2013).Business
Intelligence and Implementation in a Small
Enterprise.Journal of Systems Integration,
4(2), 50.
Kolaitis, P. G. (2005, June). Schema mappings,
data exchange, and metadata management.
In Proceedings of the twenty-fourth ACM
SIGMOD-SIGACT-SIGART symposium on
Principles of database systems (pp. 61-75).
ACM.
Malik, P., Bose, Lipika. (2013). Study and
Comparasion of Big Data with Relational
Approach. International Journal of Advance
Research in Science and Engineering, 3, 1.
Nisal, S. (2012). SAS Programming Tips and
Techniques for Data Mapping. In Seattle,
Washington: 20th Annual SouthEast SAS
Users Group (SESUG) Conference.
Nataraj, N., and Nataraj, R. V. (2014). Analysis
of ETL Process in Data Warehouse. Journal
of Engineering Research and General
Science, 2, 1.
Wibisono, Y. (2014). Pengantar Pentaho Data
Integration (Kettle).
http://file.upi.edu/Direktori/FPMIPA/PROD
I._ILMU_KOMPUTER/Yudi%20Wibisono/d
atamining/Modul_Praktikum_Pentaho_Kett
le.pdf | diunduh 10 November 2016.
RIWAYAT SINGKAT
Pada saat ini penulis bertugas di Pusat Sains Antariksa masuk tahun 2014 sebagi
calon peneliti. Saat ini tugas utama dari penulis yaitu mengembangkan sistem
informasi di Pusat Sains Antariksa adapun aplikasi yang sedang dikembangkan
maupun yang sudah dikerjakan adalah sebagai berikut mengembangkan Sistem
Informasi Basisdata Data Antariksa, website pussainsa Lapan Bandung, website
acara, dan aplikasi SWIFtS. Selain itu ditugaskan untuk menulis karya tulis ilmiah
di berbagai prosiding.
Prosiding SNSA 2016
ISBN: 978-602-17420-1-3