Data Warehouse

Data Warehouse
Komponen Data warehouse
Komponen Data warehouse
Komponen Data warehouse
1.
2.
3.
4.
5.
6.
Sumber Data (Data Source)
Pementasan Data (Data Staging)
Penyimpanan Data (Data Storage)
Penyampaian Informasi (Information Delivery)
Metadata
Pengelolan dan Kontrol (Management and
Control)
Sumber Data (Data Source)
1. Data Produksi
2. Data Internal
3. Data Arsip
4. Data Eksternal
Sumber Data (Data Source)
1. Data Produksi
Data yang ada pada sistem OLTP(Online Transactional
Processing) yang bisa berasal dari format data yang
bervariasi, peangkat keras, sistem operasi serta aplikasi
basis data yang berlainan.
2. Data Internal
Data pendukung sistem OLTP yang biasanya tersimpan
dalam bentuk spreadsheet atau teks dokumen.
Sumber Data (Data Source)
3. Data Arsip
Data histori yang merupakan hasil proses backup pada
OLTP.
4. Data Eksternal
Data luar yang bisa didapat dari kompetitor atau
sumber informasi umum seperti Biro Pusat
Statistik, koran atau data yang bersifat umum yang
akan dipakai sebagai nilai indikator untuk
pengecekan tingkat pencapaian perusahaan.
Data Staging
 data staging menyediakan sebuah tempat dan area
dengan sekumpulan fungsi untk membersihkan,
merubah, mengkombinasikan, penggandaan dan
menyiapkan sumber data untuk penyimpanan dan
digunakan pada data warehouse.
Data Staging
 Ada 3 proses pada Data Staging yaitu:
1. Extraction
2. Transformation
3. Loading
 Tujuan dari data staging adalah mengumpulkan,
menseleksi, mengolah dan menggabungkan data
yang relevan dari berbagai sumber untuk disimpan
dalam data warehouse.
Extracting
 merupakan proses pengambilan data dari berbagai
sumber data yang digunakan untuk mengisi data
warehouse.
 Tidak semua data yang ada pada data operasional
bisa dimasukkan ke dalam data warehouse.
 Pada tahap ini juga dilakukan proses pembersihan
(cleansing) data sebelum ditransformasikan, hal ini
disebabkan sering terjadinya kesalahan penulisan
pada data sumber.
Transformation
 Proses transformation adalah proses pengambilan
data mentah yang belum bisa disimpan pada data
warehouse.
 Tahapan pada Transformation





Seleksi
Pemisahan dan Penggabungan
Konversi
Ringkasan
Pengayaan
Transformation
 Seleksi
 Melakukan proses seleksi dari record data dari tabel basis data
OLTP, tahap ini merupakan bagian dari proses pengambilan
data.
 Pemisahan dan Penggabungan
 Manipulasi data yang dibutuhkan untuk menseleksi record
data OLTP, yaitu melakukan proses pemisahan dan
penggabungan bila diperlukan.
Transformation
 Konversi
 Proses konversi dilakukan karena untuk melakukan
standarisasi pengambilan data dari berbagai sumber dan
membuat field dapat digunakan data warehouse serta dapat
dipahami oleh pengguna.
 Ringkasan
 Data yang terlalu detail tidak selalu dibutuhkan pada data
warehouse oleh karena itu perlu diringkas berdasarkan
kebutuhan data warehouse.
 Pengayaan
 Menggunakan sebuah atau beberapa field untuk membuat
hasil data yang terbaik pada data warehouse.
Loading
 Loading merupakan tahap akhir dari proses dalam
pengisian data warehouse.
 Proses loading ini adalah untuk memuat data yang
sudah terseleksi ke dalam data warehouse tujuan
dan membuat indeks yang diperlukan.
 Terdapat dua mode untuk pemuatan data
warehouse, yaitu refresh dan update.
Loading
Mode refresh
 Mode refresh atau menuliskan kembali secara
keseluruhan data pada data warehouse pada suatu
periode interval.
 Mode Refresh umumnya digunakan pada saat
pertama kali memuat data dalam data warehouse.
Loading
Mode Update
 Mode Update atau menuliskan data yang berubah di
sumber data, tidak ada proses menghapus pada
proses ini.
 Mode update digunakan saat pemeliharaan dan
berjalannya data warehouse.
Penyimpanan Data (Data Storage)
 Komponen ini adalah tempat menyimpan data dari
berbagai sumber data yang ada.
 Penyimpanan data pada data warehouse secara
historikal sedangkan pada penyimpanan data
operasional dilakukan hanya data yang sedang
beroperasi saja.
 Pemutakhiran data dilakukan secara periodik
tergantung pada kebutuhan informasi yang
diperlukan.
 Pertambahan data dapat terjadi pada penyimpanan
ini, tetapi tidak akan pernah terjadi perubahan data.
Penyampaian Informasi (Information Delivery)
Metadata
 Metadata pada data warehouse diibaratkan sebagai
kamus data atau katalog pada sistem basis data.
 Metadata pada data warehouse terbagi atas 3
kategori yaitu:
1. Operational Metadata
2. Extraction dan Transformation Metadata
3. End-User Metadata
Metadata
 Operational Metadata
 Berisikan bermacam-macam struktur data yang berasal dari
data operasional.
 Extraction dan Transformation Metadata
 Berisi data tentang pengambilan data dari berbagai macam
sumber sistem, penamaan, frekuensi pengambilan, metode
pengambilan dan aturan bisnis untuk pengambilan data.
 End-User Metadata
 Berisikan peta navigasi dari data warehouse. Metadata ini
digunakan para pengguna dalam mencari informasi untuk
bisnisnya.
Pengelolaan dan Kontrol
(Management and Control)
 Mengendalikan pelayanan dan aktivitas didalam
data warehouse.
 Komponen ini akan mengendalikan transformasi
data dan transfer data ke dalam penyimpanan data
warehouse.
 Komponen ini akan berinteraksi dengan metadata
komponen untuk menampilkan fungsi komponen.