Konsep dan Teknik Data Mining - elista:.

Konsep dan Teknik Data Mining
Edward Purba
Pengantar DM
1/52
Pengantar Data Mining (DM)
Motivasi
Mengapa? Apa?
Aplikasi
Proses KDD
Tinjauan DM
Isu Utama
Edward Purba
Pengantar DM
2/52
Motivasi: “Kebutuhan
Merupakan
p
Sumber Penemuan”
• Problem ledakan data
– Tool koleksi data otomatis dan
perkembangan teknologi database
menyebabkan banyak sekali data yang bisa
dikumpulkan di dalam database, data
warehouse, dan alat peyimpanan informasi
a ya, untuk
u tu dianalisa
d a a sa
lainnya,
• Kita berkubang data tetapi kelaparan
pengetahuan!
t h !
Edward Purba
Pengantar DM
3/52
Motivasi: “Kebutuhan
Merupakan
p
Sumber Penemuan”
• Solusi: Penggudangan data dan
penambangan data (Data warehousing and
data mining)
– Data warehousing dan on-line analytical
processing (OLAP)
– Penyaringan pengetahuan yang menarik
(k id h keberaturan,
(kaidah,
k b t
pola,
l kendala)
k d l ) dari
d i data
d t
dalam database yang besar
Edward Purba
Pengantar DM
4/52
Komputer Tahun 19401940-an
(ENIAC)
Edward Purba
Pengantar DM
5/52
Personal Home Network Tahun
2000--an
2000
File E dit
L ocate
View
Storage
H elp
500
E
D
C
B
A
400
300
200
100
0
1
2
3
4
5
6
Network
Traffic
7
Mount
431
7437 1950
79%
/
02 631963
47358
Help
93%
/us
Storage
Storage
Storage
Storage
Storage
Storage
Internet
Storage
Edward Purba
Pengantar DM
6/52
Evolusi atau Perkembangan
Teknologi Database
• 1960an: Koleksi data, pembuatan data, IMS dan
network
t
k DBMS
• 1970an: Model data relasional dan implementasi
DBMS relasional
l i l
• 1980an: RDBMS, model data lanjut (extendedrelational OO,
relational,
OO deduktif,
deduktif dsb
dsb.)) DBMS berorientasi
aplikasi(spasial, saintifik, teknik, dsb.)
• 1990an –2000an: Data mining dan data
warehousing, database multimedia, teknologi
Web
Edward Purba
Pengantar DM
7/52
Apa Itu Data Mining?
• Pada dasarnya: Perolehan pengetahuan dari
data
– “Ekstraksi informasi atau pola yang menarik
((tidak sepele,
p
implisit,
p
tak-diketahui
sebelumnya, mungkin bermanfaat) dari data
didalam database yang besar"
• Seringkali
S i k li hanya:
h
– “Memberitahu sesuatu yang menarik dari
data ini"
ini , “Menguraikan
Menguraikan data ini
ini"
Ö Penyelidikan: analisa data semisemi-otomatis
atas sekumpulan data yang besar
Edward Purba
Pengantar DM
8/52
Apa Itu Data Mining?
• Istilah yang rada baku:
–D
Data mining
i i
• Biasanya DM adalah salah satu proses KDD
– Knowledge discovery in databases (KDD)
• Istilah umum yang meliputi, preprocessing
data, DM, dan postprocessing
• Istilah yang tidak terlalu sering digunakan:
– Ekstraksi pengetahuan, arkeologi data,
pengerukan
p
g
data,, ppenuaian informasi,, analisa
data/pola
• Publisitas terbaru:
– Kecerdasan bisnis, manajemen pengetahuan
Edward Purba
Pengantar DM
9/52
Mengapa Data Mining?
• Ketersediaan data dalam jumlah
yang sangatt b
besar:
– Tool koleksi data otomatis dan
perkembangan teknologi database
menyebabkan banyak sekali data
yang bisa dikumpulkan di dalam
database, data warehouse, dan alat
ppeyimpanan
y p
informasi lainnya
y
– Pemeriksaan data manual adalah
membosankan dan terkadang tidak
masuk akal
Edward Purba
Pengantar DM
10/52
Apa Manfaat Dari DM?
Meningkatkan pengetahuan agar
bisa membuat keputusan
berdasarkan:
Marketing
Misal, pengaruh pada marketing
P
Peran
dan
d pengaruh
h DM yang
bertumbuh pesat dan masih
bertumbuh!
Tetapi DM tidaklah sekedar
marketing
marketing...
Edward Purba
Pengantar DM
Database
D
t b
Marketing
Data
Warehousing
KDD &
Data Mining
11/52
Potensi Aplikasi?
• Analisis database dan dukungan
keputusan:
– Analisis dan manajemen pasar
• Target pasar,
pasar manajemen relasi
customer (CRM), analisis keranjang
pasar, penjualan silang, segmentasi
pasar
– Analisis dan manajemen resiko
• Peramalan,
Peramalan tindakan mempertahankan
customer, peningkatan asuransi,
kontrol kualitas, analisis kompetitif
– Deteksi dan manajemen kecurangan
Edward Purba
Pengantar DM
12/52
Potensi Aplikasi?
• Aplikasi lain:
– Text mining (news group, email,
dokumen) dan Web mining
– Stream data mining
– Analisis
A li i DNA ddan bi
bio data
d t
Edward Purba
Pengantar DM
13/52
Analisis dan Manajemen Pasar
• Dari mana data berasal?
– T
Transaksi
k i kartu
k t kredit,
k dit loyalty
l lt cards,
d kupon
k
discount,
di
t keluhan
k l h
customer, kajian lifestyle publik
• Target Pasar
– Mendapatkan kelompok model customer yang berbagi
karakteristik yang sama: minat, tingkat pendapatan, kebiasaan
b l j dsb.
belanja,
db
– Menentukan pola pembelian customer berdasarkan waktu
• Analisis lintas pasar
– Asosiasi/korelasi antara penjualan produk & taksiran berdasarkan
asosiasi demikian
Edward Purba
Pengantar DM
14/52
Analisis dan Manajemen Pasar
• Profil customer
– Ti
Tipe customer
t
apa membeli
b li produk
d k apa
(pengelompokan atau klasifikasi)
• Analisa
A li kebutuhan
k b t h customer
t
– Mengenali produk terbaik untuk customer berbeda
– Meramalkan
M
lk ffaktor
kt apa yang akan
k memikat
ik t customer
t
baru
• Penyediaan
P
di
rangkuman
k
informasi
i f
i
– Rangkuman laporan multidimensi
– Rangkuman
R k
informasi
i f
i statistik
t ti tik (kecenderungan
(k
d
data
d t
terpusat dan variasi)
Edward Purba
Pengantar DM
15/52
Analisis dan Manajemen Resiko
Perusahaan
• Perencanaan keuangan dan evaluasi aset
– Analisis dan peramalan cash flow
– Analisis gganti rugi
g yang
y g mungkin
g
untuk
mengevaluasi aset
– Analisis cross-sectional dan time series (financial(
ratio, analisa trend, dsb.)
• Perencanaan sumberdaya
– Merangkum dan membandingkan sumberdaya dan
pengeluaran
Edward Purba
Pengantar DM
16/52
Analisis dan Manajemen Resiko
Perusahaan
• Kompetisi
– Memantau pesaing dan arah pasar
– Mengelompokkan customer kedalam kelas
dan prosedur harga berbasis kelas
– Menetapkan strategi harga dalam suatu pasar
dengan kompetitif tinggi
Edward Purba
Pengantar DM
17/52
Aplikasi Lain
• Olah raga
– IBM Advanced Scout menganalisa statistik (shots blocked,
blocked
assists, dan fouls) pertandingan NBA untuk mendapatkan
keuntungan kompetitif bagi New York Knicks dan Miami
Heats
eats
• Astronomi
– Observatoryy JPL dan Palomar menemukan 22 quasars
q
dengan bantuan data mining
• Internet Web SurfSurf-Aid
– IBM Surf-Aid menerapkan algoritma data mining untuk
akses logs halaman Web yang terkait dengan pasar dalam
upaya mendapatkan kesukaan dan perilaku customer,
mengenalisa efektifitas pemasaran Web,
Web perbaikan situs Web
organisasi, dsb.
Edward Purba
Pengantar DM
18/52
Contoh (1)
• Anda seorang manajer marketing untuk
perusahaan
h
ttelepon
l
cellular:
ll l
– Pelanggan menerima sebuah telepon gratis (nilai
1 5 juta) dengan kontrak satu tahun; anda
1.5
memberikan suatu komisi penjualan sebesar 2.5
juta per kontrak
– Problem: Turnover (setelah kontrak berakhir)
adalah 25%
– Memberikan suatu telepon baru ke setiap orang
yang kontraknya habis sangatlah mahal
Edward Purba
– Membawa kembali customer setelah keluar
adalah juga sukar dan mahal
Pengantar DM
19/52
Contoh (1)
Yippee!
I won't leave!
Edward Purba
• Tiga bulan sebelum suatu
k t kb
kontrak
berakhir,
khi carii ttahu
h
customer mana yang akan
keluar:
e ua :
– Jika anda ingin
mempertahankan
p
customer yang diduga akan
keluar, tawarkan customer
t
tersebut
b t suatu
t telepon
t l
baru
b
Pengantar DM
20/52
Contoh (2)
Oh, yes!
I love my
Ferrari!
Edward Purba
• Anda seorang petugas
asuransi dan anda harus
mendefinisikan suatu
pembayaran bulanan yang
pantas
t untuk
t k seorang pemuda
d
berusia 18 tahun yang
membeli sebuah Ferrari …
apa yang anda akan lakukan?
Pengantar DM
21/52
Contoh (2)
• Kaji seluruh data customer dan data
k
kompensasi
i pembayaran
b
sebelumnya
b l
• Kaji peluang penyebab kecelakaan paling
banyak berdasarkan dugaan…
dugaan
– Kelamin pengendara (pria/wanita) dan
usia
– Model dan usia mobil, tempat tinggal
– dsb.
db
• Jika peluang kecelakaan lebih besar dari
rata--rata,
rata
rata aturlah pembayaran bulanan
yang sesuai!
Edward Purba
Pengantar DM
22/52
Contoh (3)
• Anda berada diluar negeri dan seseorang
mencuri atau menggandakan kartu kredit
atau telepon mobile anda …
• Perusahaan kartu kredit …
– Menggunakan data histori untuk
membangun model prilaku penipuan dan
gunakan data mining untuk membantu
didalam mengenali kejadian yang mirip
• Perusahaan
P
h
telepon
t l
…
– Menganalisis pola yang menyimpang dari
suatu kebiasaan yang diharapkan (tujuan,
(tujuan
durasi, dsb.)
Edward Purba
Pengantar DM
23/52
Contoh (4)
• Log pengaksesan Web bisa
dianalisis untuk …
Excellent surfing
experience!
– Mendapatkan
p
apa
p kesukaan customer
– Memperbaiki situs Web organisasi
• Demikian pula …
– Seluruh jenis analisis log informasi
– Adaptasi antarmuka/layanan user
Edward Purba
Pengantar DM
24/52
Data Mining: Suatu Proses KDD
– Data mining—inti dari
proses penemuan
pengetahuan
Evaluasi Pola
Data Mining
Task-relevant Data
Data Warehouse
Pemilihan
Pembersihan Data
Integrasi Data
Databases
Edward Purba
Pengantar DM
25/52
Langkah--Langkah dari Proses
Langkah
KDD (1)
Pemahaman domain
Pembuatan suatu data set target
Pembersihan/preprocessing data
Reduksi/proyeksi
p y
data
Pemilihan tugas DM
Edward Purba
Pengantar DM
26/52
Langkah--Langkah dari Proses
Langkah
KDD (2)
Pemilihan Algoritma DM
Data mining: Pencarian
Evaluasi pola
Penyajian
y j
p
pengetahuan
g
Penggunaan pengetahuan yang diperoleh
Edward Purba
Pengantar DM
27/52
Ciri Khas Proses KDD
Seleksi
Berdasarkan
waktu
Raw
data
Database
Operasional
Eval. of
interes
interestingness
Input data
1
Preprocessing
Data mining
Bersih
Benar
Fokus
2
Utilisasi
Edward Purba
Pengantar DM
Postprocessing
Hasil--Hasil
Hasil
3
Pola
berguna
yg
terpilih
28/52
Utilisasi
Peningkatan
P
i k
potensii
untuk mendukung
keputusan bisnis
Pembuatan
keputusan
Penyajian Data
Teknik Visualisasi
Data
D
t Mi
Mining
i
Penemuan informasi
Eksplorasi data
Analisa statistik
statistik, query,
query dan pelaporan
Data Warehouses / Data Marts
OLAP, MDA
Sumber data
Kertas, Files, Penyedia informasi, Sistem database, OLTP
Edward Purba
Pengantar DM
End User
Business
Analyst
Data
Analyst
DBA
29/52
Arsitektur:
Sistem Data Mining
Antarmuka user g
grafis (GUI)
(
)
Evaluasi Pola
Mesin data mining
Database atau data
warehouse server
Penyaringan
Pembersihan & integrasi data
Databases
Edward Purba
Basis
pengetahuan
Data
Warehouse
Pengantar DM
30/52
Rantai Nilai
Keputusan
Promosikan p
produk A di Z.
• Kirim iklan ke keluarga dengan
profil P
• Jual silang layanan B ke klien C
•
Pengetahuan
• Sebanyak Y produk A digunakan
di Z
• Customer dari kelas Y
menggunakan x% dari C
selama periode D
Informasi
•X
Data
tinggal di Z
• S berumur Y tahun
• X dan S pindah
• W punya uang di Z
• Data
customer
• Simpanan data
• Data grafis
• Data geografis
Edward Purba
Pengantar DM
31/52
Fungsionalitas Data Mining
• Konsep deskripsi: karakterisasi &
diskriminasi
– Generalisasi,
Generalisasi rangkuman,
rangkuman dan
karakteristik data kontras
• Daerah
D
h kkering
i vs. Daerah
D
h bbasah
h
• Asosiasi (korelasi dan hubungan
sebab akibat)
Edward Purba
Pengantar DM
32/52
Fungsionalitas Data Mining
• Klasifikasi dan prediksi
– Membangun model (fungsi) yang
menguraikan dan membedakan kelas atau
konsepp untuk peramalan
p
kedepan
p
• Misal, mengklasifikasikan negara
berdasarkan iklim, atau
mengklasifikasikan
kl ifik ik mobil
bil berdasarkan
b d
k
gas mileage
– Presentasi: pohon-keputusan,
pohon keputusan kaidah
klasifikasi, neural network
– Menaksir beberapa nilai numerik yang
tidak diketahui atau hilang
Edward Purba
Pengantar DM
33/52
Fungsionalitas Data Mining
• Analisis cluster (analisis pengelompokan)
– Label kelas tidak diketahui: kelompokkan
data untuk membentuk kelas baru, misal
mengelompokkan rumah untuk mendapatkan
pola
l distribusi
di t ib i
– Memaksimalkan kemiripan antar kelas dan
meminimumkan kemiripan
p didalam kelas
• Analisis outlier
– Outlier: suatu objek data yang tidak
mengikuti perilaku umum dari data
– Gangguan atau pengecualian? Tidak!
Berg na dalam deteksi kecurangan,
Berguna
kec rangan analisis
peristiwa yang jarang terjadi
Edward Purba
Pengantar DM
34/52
Fungsionalitas Data Mining
• Analisis trend dan evolusi
– Trend dan deviasi: analisis regresi
– Penggalian pola sekuensial,
analisis periodisitas
• Analisis arah pola lain atau
s s
statistik
Edward Purba
Pengantar DM
35/52
Adakah Seluruh Pola Yang
Ditemukan Menarik?
• Penambangan data bisa membuat ribuan pola:
tidak semua pola tersebut menarik
– Pendekatan yang disarankan: berpusatkan kepada
manusia, berbasis query, penggalian terfokus
• Ukuran ketertarikan
– Suatu pola adalah menarik jika pola tersebut mudah
dipahami
p
oleh manusia,, valid (berlaku)
(
) pada
p
data
baru atau uji dengan suatu derajat kepastian,
potensial berguna, baru atau membenarkan suatu
hipotesa yang dicari user untuk konfirmasi
Edward Purba
Pengantar DM
36/52
Adakah Seluruh Pola Yang
Ditemukan Menarik?
• Ukuran ketertarikan objektif vs. subjektif
– Objektif: berdasarkan statistik dan struktur
pola misal,
pola,
misal dukungan,
dukungan kepercayaan,
kepercayaan dsb.
dsb
– Subjektif: berdasarkan keyakinan user
terhadap data, misal, ketakterdugaan,
pengalaman baru, tindakan yang bisa
diperkarakan, dsb.
Edward Purba
Pengantar DM
37/52
Bisakah Memperoleh Seluruh Atau
Hanya
y Pola Yang
g Menarik?
• Dapatkan seluruh pola yang menarik:
Kelengkapan
– Bisakah suatu sistem data mining
mendapatkan seluruh pola yang menarik?
– Pencarian heuristik vs. exhaustive
(melelahkan)
– Asosiasi vs. klasifikasi vs. clustering
Edward Purba
Pengantar DM
38/52
Bisakah Memperoleh Seluruh Atau
Hanya
y Pola Yang
g Menarik?
• Cari hanya pola yang menarik: suatu
problem optimasi
– Bisakah suatu sistem data mining
mendapatkan hanya pola yang menarik?
– Pendekatan
• Pertama dapatkan
p
seluruh ppola lalu saring
g atau
keluarkan yang tidak diminati
y pola
p yang
y g diminati—optimisasi
p
• Buatlah hanya
query penggalian
Edward Purba
Pengantar DM
39/52
Data Mining: Tempat Pertemuan
Banyak
y Disiplin
p
Sistem
Database
Mesin
Pembelajaran
Statistik
Data Mining
Disiplin
Lainnya
Algoritma
Edward Purba
Visualisasi
Pengantar DM
40/52
Tinjauan Data Mining: Skema
Klasifikasi
• Fungsionalitas umum:
– Uraian data mining:
• Uraikan hal menarik apa yang bisa
ditemukan dalam data ini!
• Terangkan data ini ke saya!
– Peramalan data mining:
• Berdasarkan data ini dan sebelumnya,
y ,
beritahu saya apa yang akan terjadi
kemudian!
• Tunjukkan ke saya trend kedepan!
Edward Purba
Pengantar DM
41/52
Tinjauan Data Mining: Skema
Klasifikasi
• Tinjauan multimulti-dimensi …
– Databases yang akan digali
– Pengetahuan
g
yyang
g akan dicari
– Teknik-teknik yang digunakan
– Aplikasi yang disesuaikan
• Mari kita lihat lebih dekat pada
tinjauan ini ...
Edward Purba
Pengantar DM
42/52
Tinjauan Data Mining
Databases yang akan digali
Databases
Edward Purba
•
•
•
•
•
Relasional
Data warehouse
Transaksional
Object-oriented
Objectrelational
• Aktif
• Spasial
• Time-series
Pengantar DM
•
•
•
•
•
•
•
Teks, XML
Teks
Multi-media
Heterogen
g
Warisan
Induktif
WWW
dsb.
43/52
Tinjauan
j
Data Miningg
Aplikasi yang disesuaikan
Applic.
Edward Purba
• Retail
(supermarkets
etc.))
• Telecom
• Bankingg
• Fraud analysis
• DNA mining
Pengantar DM
• Analisa stock
market
• Web mining
• Analisa data
log
• dsb.
44/52
OLAP Mining: Integrasi Dari Data
Mining dan Data Warehouse
• Sistem data mining,
g, DBMS,, Data warehouse
systems coupling
– No coupling, loose-coupling, semi-tight-coupling,
tight-coupling
• Data on-line analytical mining (OLAM)
– Integrasi
I
i dari
d i penggalian
li ddan teknologi
k l i OLAP
Edward Purba
Pengantar DM
45/52
OLAP Mining: Integrasi Dari Data
Mining dan Data Warehouse
• Penggalian
gg
p
pengetahuan
g
multi-level secara
interaktif
– Kebutuhan penggalian pengetahuan dan pola pada
suatu level berbeda dari abstraksi dengan
drilling/rolling, pivoting, slicing/dicing, dsb.
• Integrasi dari banyak fungsi penggalian
– Klasifikasi berkarakter, pertama clustering dan
kemudian asosiasi
Edward Purba
Pengantar DM
46/52
Isu Utama dalam Data Mining
• Metodologi dan interaksi penambangan
– Penambangan
P
b
bberbagai
b i jjenis
i pengetahuan
h
– Penambangan pengetahuan secara interaktif
– Penggabungan latar belakang pengetahuan
– Bahasa query DM dan DM khusus
– Visualisasi hasil DM
– Penanganan gangguan dan data tak lengkap
– Ketertarikan problem
• Kinerja dan skalabilitas:
g
DM
– Efisiensi dan skalabilitas dari algoritma
– Metoda penambangan paralel, tersebar dan bertumbuh
Edward Purba
Pengantar DM
47/52
Isu Utama dalam Data Miningg
• Aneka ragam tipe data:
– Penanganan tipe data kompleks
– Penambangan informasi dari database heterogen (Web
misalnya)
• Aplikasi
A lik i dan
d integrasi
i t
i pengetahuan
t h
yang didapat:
did
t
– Tool DM khusus domain
– Jawaban query cerdas dan pembuatan keputusan
– Integrasi dari pengetahuan yang didapat dengan
pengetahuan yang ada
• Proteksi
P t k i data
d t …
– Keamanan
– Integritas
g
– Kerahasiaan
Edward Purba
Pengantar DM
48/52
Historis Aktivitas Data Miningg
•
•
•
•
•
•
1989 IJCAI Workshop
1991--1994 KDD Workshops
1991
1995--1998 KDD Conferences
1995
1998 ACM SIGKDD
1999-- SIGKDD Conferences
1999
dan banyak lagi konferensi kecil / baru dari
DM …
– PAKDD, PKDD
– SIAM-Data Mining,
g, (IEEE)
(
) ICDM
– dsb.
Edward Purba
Pengantar DM
49/52
Rujukan Yang Berguna untuk
Data Mining
“Standards”
• DM:
Conferences:
C
f
Journals:
KDD, PKDD,
KDD
PKDD PAKDD,
PAKDD ...
Data Mining and Knowledge
Discovery, CACM
• DM/DB:
Conferences:
ACM-SIGMOD/PODS, VLDB, ...
Journals:
ACM-TODS, J. ACM,
IEEE-TKDE
IEEE
TKDE, JIIS
JIIS, ...
Conferences:
Journals:
Machine Learning, AAAI, IJCAI, ...
Machine Learning, Artific. Intell., ...
• AI/ML:
Edward Purba
Pengantar DM
50/52
Kesimpulan
• Data mining: penemuan pola menarik dari data set yang
besar secara semi
semi--otomatis
• Knowledge discovery adalah suatu proses:
– Preprocessing
– Data mining
– Postprocessing
• Untuk digali, digunakan atau dimanfaatkan …
– Databases (relasional, object-oriented, spasial, WWW,
…))
– Pengetahuan (karakterisasi, pengumpulan, asosiasi, …)
– Teknik (mesin pembelajaran,
pembelajaran statistik,
statistik visualisasi,
visualisasi …))
– Aplikasi (retail, telecom, Web mining, analisa log, …)
Edward Purba
Pengantar DM
51/52
Pengantar
g
Data Mining
g
Edward Purba
Pengantar DM
52/52