artificial intelligence - Teknik Elektro UMK

ARTIFICIAL INTELLIGENCE:
Artificial Neural Network
Konsep, Teknologi,
dan Penerapannya
Arief Sudarmaji, Ph.D
Disampaikan pada Kuliah Perdana
Program Studi Teknik Elektro Fakultas Teknik
Universitas Muria Kudus
Sabtu, 22 Oktober 2016
1
MAIN CONTENTS:
 ARTIFICIAL INTELLIGENCE (AI):
Introduction to AI Technology
 AI Technique: Artificial Neural Network
and its applications
2
ARTIFICIAL INTELLIGENCE (AI):
Introduction to AI Technology
3
Pernahkan mendengar tentang hal-hal
berikut ini:
 ELIZA, 1966, Sistem pakar di masa awal oleh Weizerbaum (MIT),
berupa program komputer terapis (chatterbots).
 PROVERB 1999, mampu memecahkan teka-teki silang lebih baik
dari manusia kebanyakan selain yang ahli.
 DEEP BLUE mengalahkan juara dunia catur GM Garry Kasparov
pada 1997
 DARPA: Robot driving, grand challenge, 2003-2007.
 DARPA (Defence Advanced Research Projects Agency):
 drones, intelligent robot, smart bullet, dll.
 AIBO: robot piaraan, produksi Sony Computer Science Lab.
 SIRI and Google now: intelligent personal assistant.
 Face recognition software mulai 2006 ditanamkan pada kamera
komersial
4
Apa itu AI?
Russel dan Norvig (2010) mendefinisikan AI dengan 4 pendekatan:
Thinking Humanly
Thinking Rationally
“usaha terkait membuat komputer/
mesin berfikir.. machines with minds”
(Haugeland, 1985)
“Studi mengenai cara berfikir manusia
melalui model-model komputasi.”
(Charniak and McDermott, 1985)
“Otomasi yang terkait cara berfikir
manusia, spt pengambilan keputusan,
memecahkan masalah, dan
pembelajaran.” (Bellman, 1978)
“Studi mengenai komputasi yang
memungkinkan untuk merasa, dan
berlogika dan bertindak.”
(Winston, 1992)
Thinking Rationally
“terkait mesin yang mampu melakukan
fungsi kerja yang membutuhkan
kecerdasan saat dilakukan manusia.”
(Kurzweil, 1990)
Studi tentang bagaimana membuat
komputer mengerjakan sesuatu yang
dapat dikerjakan manusia. (Rich and
Knight, 1991)
Acting Rationally
“Komputasi cerdas merupakan studi
tentang desain agen-agen cerdas”
(Poole et al., 1998)
AI...Terkait dengan perilaku cerdas
pada sebuah mesin“ (Nilsson, 1998)
5
Lalu apa itu AI?
⦿
Acting Humanly
⦿
Thinking Humanly
⦿
Thinking Rationally
⦿
Acting Rationally
Ada dua ide dasar:
Pertama, studi kemampuan
proses berfikir dan
bertindak manusia,
Kedua,
merepresentasikannya
melalui mesin (komputer,
robot, dll)
Artificial intelligence (AI) adalah kecerdasan
(perilaku dan/atau cara berfikir) yang ditunjukkan
oleh sebuah piranti (mesin).
6
Kecerdasan?
Lalu, dimanakan letak ^Kecerdasan” nya ??
Kecerdasannya terkait kemampuan pada BAGIAN KOMPUTASI
untuk mencapai tujuan melakukan hal-hal yang menyerupai
manusia.
Arti kecerdasan (Winston dan Pendergast, 1994)
kemampuan untuk …
belajar atau mengerti dari pengalaman,
memahami pesan yang kontradiktif dan ambigu,
menanggapi dengan cepat dan baik atas situasi/perubahan yang
baru,
menggunakan penalaran dalam memecahkan masalah serta
menyelesaikannya dengan efektif
7
Bidang ilmu AI sangat luas yang melingkupi banyak sub area.
• Philosophy
Logic, methods of reasoning, mind as physical
system, foundations of learning, language, rationality.
• Mathematics
Formal representation and proof, algorithms
computation, (un)decidability, (in)tractability
• Probability/
Statistics
modeling uncertainty, learning from data
• Economics
utility, decision theory, rational economic agents
• Neuroscience
neurons as information processing units.
• Psychology/
Cognitive Science
how do people behave, perceive, process cognitive
information, represent knowledge
• Computer
engineering
building fast computers
• Control theory
design systems that maximize an objective function
over time
• Linguistics
knowledge representation, grammars
8
Sejarah Singkat AI

1943: masa permulaan
 McCulloch & Pitts: menerbitkan "Kalkulus Logis Gagasan yang tetap ada
dalam Aktivitas" yang meletakkan pondasi untuk jaringan syaraf Boolean
circuit model of brain

1950s: periode usaha aktif dalam AI,
 Alan Turing memperkenalkan Turing test
 Early AI programs, including Samuel's checkers program and Newell &
Simon's Logic Theorist

1956: kelahiran AI
 Konferensi Dartmouth: Nama "Artificial Intelligence“ dikenalkan oleh John
McCarthy.

1955-69: “masa antusias yang besar”, awal pengembangan
 Newell and Simon  General Problem Solver, menyelesaikan masalah
secara manusiawi.
 Gelertner dari IBM  Geometry Theorem Prover
 McCarthy  bahasa pemrograman LISP
 James Slagle  1963, program integral tertutup untuk MK Kalkulus.
 Tom Evan  1968, program analogi buatan untuk geometri tes IQ.
9
Sejarah Singkat AI

1966—73: masa pengembangan AI melambat
 Program-program AI yang bermunculan hanya mengandung sedikit
pengetahuan pada subjeknya. Hanya berupa manipulasi sintesis
sederhana.
 Banyak realisasi aplikasi AI sangat sulit, misal pada ELIZA.
 Keterbatasan dalam pengembangan metode neural network, .

1969—85: Sistem berbasis Pengetahuan (domain knowledge)
 Pengembangan knowledge-based systems
 Keberhasilan rule-based expert systems,
 Contoh: DENDRAL, MYCIN
 Namun masih belum kuat dan belum berkembang secara praktis

1986-- sekarang Masa kebangkitan machine learning dan NN
 Neural networks kembali popular.
 Banyak pengembangan besar dalam algoritma machine learning.
 1995 – sekarang AI berkembang sebagai ilmu pengetahuan:
 Integrasi learning, reasoning, knowledge representation
 Metode AI dipakai dalam banyak biidang: vision, language, data
mining, dll.
10
Bagian Utama Aplikasi AI
1. Basis pengetahuan (knowledge base): berisi fakta-fakta,
teori, pemikiran & hubungan antara satu dengan lainnya.
2. Motor inferensi (inference engine): kemampuan menarik
kesimpulan berdasarkan pengetahuan
Input, masalah,
pertanyaan, dll
Basis
Pengetahuan
Motor Inferensi
Output,
jawaban,
solusi
11
DASAR PEMIKIRAN dalam AI
Secara garis besar, AI terbagi ke dalam dua dasar pemikiran yaitu
AI Konvensional dan
AI Komputasional (CI, Computational Intelligence), dan
Hybrid
AI konvensional
kebanyakan melibatkan metoda-metoda yang diklasifiksikan sebagai
pembelajaran mesin, yang ditandai dengan rule-based dan analisis statistik.
Dikenal juga sebagai (GOFAI, Good Old Fashioned Artificial Intelligence).
AI simbolis, AI logis, AI murni dan AI cara lama
Metoda-metodanya meliputi:
 Sistem Pakar
 Petimbangan berdasar kasus
 AI berdasar tingkah laku: metoda modular pada pembentukan sistem
AI secara manual.
12
Expert Systems (Sistem Pakar)
 Sistem Pakar (Expert Systemi), yaitu program konsultasi (advisory)
yang mencoba menirukan proses penalaran seorang pakar/ahli dalam
memecahkan masalah yang rumit.
Kunci expert system harus diciptakan dahulu suatu knowledge base
sesuai jenis aplikasinya.
Suatu knowledge base terdiri dari kumpulan data tertentu untuk
permasalahan yang spesifik dan aturan-aturan bagaimana memanipulasi
data yang disimpan tersebut.
Perbedaan dengan database biasa, knowledge base mungkin dapat juga
terdiri dari asumsi, kepercayaan, pendugaan atau metode-metode heuristic.
Untuk membuat knowledge base perencanaan sistem harus bekerja sama
atau meminta nasehat dari ahli di bidangnya. Orang yang menciptakan
expert system disebut dengan knowledge engineer.
13
Contoh Sistem Pakar pertama kali:
1. MACSYMA, yang digunakan untuk tugas-tugas matematika.
2. MYCIN, untuk mendiagnosa penyakit infeksi pada darah.
3. CADUCEUS, untuk mendeteksi penyakit.
4. PUFF, untuk mengukur fungsi dari paru-paru.
5. PROSPECTOR, digunakan perusahaan DEC untuk menggambarkan
konfigurasi dari sistem komputer bagi para langganannya.
6. DENDRAL, untuk mengidentifikasikan struktur molekul suatu
komposisi kimia dan lain sebagainya.
Sistem pakar (expert systems) merupakan suatu pengembangan dari
Decision Support Systems (DSS), yang memiliki fungsi sebagai konsultan.
Sistem pakar banyak dimanfaatkan dalam bidang medis dan bisnis.
14
Perbedaan antara Sistem Pakar dan Decision Support Systems
Karakteristik
DSS
ES
Mencerminkan gaya dan
kemampuan manajer untuk
memecahkan masalah
Membuat keputusan
melebihi kemampuan
manajer
Tidak terperinci
Terperinci dengan jelas
Kemampuan memberikan
alasan
Tidak ada
Ada, terbatas
Kemampuan menjelaskan
Terbatas
Ada
Manusia dan/atau sistem
Sistem
Numerik
Simbolik
Fungsi
Alur Penalaran
Pengambil Keputusan
Metode manipulasi data
15
AI Lomputasional
Pembelajaran ini berdasarkan pada data empiris dan diasosiasikan dengan AI
non-simbolis, AI yang tak teratur dan soft computing.
Soft computing, merupakan inovasi baru dalam membangun sistem cerdas
yaitu sistem yang memiliki keahlian seperti manusia pada domain tertentu,
mampu beradaptasi dan belajar agar dapat bekerja lebih baik jika terjadi
perubahan lingkungan.
Soft computing mengeksploitasi adanya toleransi terhadap ketidaktepatan,
ketidakpastian, dan kebenaran parsial untuk dapat diselesaikan dan
dikendalikan dengan mudah agar sesuai dengan realita.
Metoda-metoda pokoknya meliputi:
1. Sistem Fuzzy (mengakomodasi ketidaktepatan), Logika Fuzzy (fuzzy logic).
2. Jaringan Syaraf Tiruan (Artificial Neural Network).
3. Probabilistic Reasoning (mengakomodasi ketidakpastian).
4. Evolutionary Computing (optimasi) Algoritma Genetika.
Dengan sistem hibrid, percobaan-percobaan dibuat untuk menggabungkan
kedua kelompok ini. Aturan inferensi pakar dapat dibangkitkan melalui
jaringan syaraf atau aturan produksi dari pembelajaran statistik
16
Learning Machine
 Sub bidang AI yang cepat berkembang dan popular.
 Berbasis soft computing
 Biasanya ditujukkan untuk tugas/fungsi tertentu, seperti:
 Clustering
Mengelompokkan items yang sama (sejenis)
Categorization
 mengkategorikan suatu teks gambar, berita, atau intormasi.
Recognition
 Seperti ucapan, suara, tulisan tangan
Game playing
 Misalnya Catur
Autonomous performance
 Misalnya robot yang bermain sepakbola atau menavigasi
dirinya sendiri.





17
Jenis-jenis Klasifikasi Machine Learning berdasarkan jenis aplikasinya berbasis
Multivariate Analysis (Patel 2014)
Multivariate Analysis
Dimensional reduction
Unsupervised
- MDS
- PCA
- SOM
- ICA
- CA
Supervised
- LDA
- PLS
- FSS
Classifiers
Regression
- PCR
- MLR
- CCR
Neural Sets
- MLP
- RBF
- PNN
Clustering
Others
- K-NN
- SVM
- ART
- GA
- FUZZY
- K-means
- HC
- SOM
Kohonen
18
Up to date Jenis Machine learning
19
Bidang Aplikasi AI
Bidang aplikasi AI dikelompokkan ke dalam empat teknik
yang ada di AI, yaitu :
1. Searching,
2. Reasoning,
3. Planning dan
4. Learning and adaptation
20
Pohon AI dan aplikasi utamanya
21
Aplikasi AI
ARTIFICIAL INTELLIGENCE
Aplikasi Ilmu
Falsafah
Aplikasi Ilmu
Komputer
Aplikasi
Robotika
Aplikasi Bahasa
Alami
v Sistem Pakar
v Sistem
Berbasis
Pengetahuan
v Sistem
Belajar
v sistem Logic
Fuzzy
v Generasi
Kelima
Komputer
v Pemrosesan
Pararel
v Pemrosesan
Simbolik
v Jaringan
Neural
v Persepsi
Visual
v Perabaan
v Decterity
v Pengangkuta
n
v Navigasi
v Pengertian
Bahasa
v Pidato
Pengakuan
v Penterjemahan
Bahasa
22
AI Technique:
a brief Introduction to
Artificial Neural Network
(ANN)
23
Apa itu ANN?
Mengadopsi cara kerja jaringan syaraf biologis manusia,
terutama dalam mengingat dan pembelajaran.
Elemen pemroses utama dalam jaringan syaraf biologis adalah Neuron.
1)
Menerima input dari sumber luar,
2)
Menggabungkannya dalam cara tertentu,
3)
Melakukan operasi linier umum pada hasilnya.
4)
Output sebagai hasil akhir.
Otak manusia mempunyai sekitar 100 Juta neuron.
Sedangkan pada seokor semut terdapat sekitar 250 ribu neuron
24
axon
dendrites
synapses
the basis learning and memory
25
Biological inspiration
The spikes travelling along the axon of the pre-synaptic
neuron trigger the release of neurotransmitter
substances at the synapse.
The neurotransmitters cause excitation or inhibition in
the dendrite of the post-synaptic neuron.
The integration of the excitatory and inhibitory signals
may produce spikes in the post-synaptic neuron.
The contribution of the signals depends on the strength
of the synaptic connection.
axon
synapses
dendrites
26
Artificial neurons
Pemodelan neuron dengan Model McCullogh-Pitts.
Kerja Neuron berdasarkan pemrosesan informasi masuk dan keluar,
dalam bentuk spikes.
synaptic strength  synaptic weight
x1
w1
x2
Inputs
.
y
i 1
w3
…. .
xn
z   wi xi ; y  H ( z)
w2
x3
xn-1
Output
n
excitation (+) or
inhibition (-)
wn-1
wn
Model McCullogh-Pitts
27
Arsitektur ANN
1. Perceptron (Single layer)
2. Multi Layer Feedforward Neural Network
3. Recurrent Neural Network
28
Perceptron (single Layer)
Neuron Model
Output perceptron = 1 jika sum fungsi alih dari
input adalah  0, jika tidak maka output neuron
adalah 0. Akitivasi  hard limiter.
Architecture
Decision boundaries
x1-x2= -1
x2
x1-x2=0
x1-x2= 1
x1
29
Bagaimana untuk masalah yang tidak dapat dipisahkan secara linier?
Solution?
30
Mengapa dibutuhkan Multi Layer ?

Untuk contoh masalah yang dapat dipisahkan secara linier:
x y
x y
• Untuk contoh masalah yang tidak dapat dipisahkan secara linier :
x y
Solution?
31
Performa ANN arsitektur dengan jumlah layer yang berbeda
1 layer
Linear boundaries
2 layer
Combine
boundaries
3 layer
arbitrarily
complex
boundaries
32
Multi Layer Feedforward Neural Network
Terdapat Layer tambahan (Hidden Layer) diantara Input dan Output Layer
X1
V11
Z1
W11
V12
Y1
W12
W1k
V1j
W21
V21
X2
V22
Z2
W22
Y2
W2k
V2j
Wj1
Vi1
MLFFNN 2-4-4-1
Vi2
Xi
Input Layer (i)
Vij
Wj2
Zj
Wjk
Hidden Layer (j)
Hidden layer + Output  neurodes
MLFFNN 3-3-3
Yk
Output Layer (k)
33
Fungsi Aktivasi
Yang umum dan
general di gunakan
dalam MLFFNN
adalah Sigmoid.
34
Metode Pembelajaran

Supervised learning
In supervised training, both the inputs and the outputs are provided. The
network then processes the inputs and compares its resulting outputs
against the desired outputs. Errors are then propagated back through the
system, causing the system to adjust the weights which control the
network. This process occurs over and over as the weights are continually
tweaked. The set of data which enables the training is called the training
set. During the training of a network the same set of data is processed
many times as the connection weights are ever refined.
Example: Multilayer NN dengan Algortima BackPropagation

Unsupervised learning
In unsupervised training, the network is provided with inputs but not with
desired outputs. The system itself must then decide what features it will
use to group the input data. This is often referred to as self-organization or
adaption.
Example: Kohonen NN (Self Organising Maps)
35
Aplikasi ANN




classification
in marketing: consumer spending pattern classification
In defence: radar and sonar image classification
In agriculture & fishing: fruit and catch grading
In medicine: ultrasound and electrocardiogram image classification,
EEGs, medical diagnosis
recognition and identification
In general computing and telecommunications: speech, vision and
handwriting recognition
In finance: signature verification and bank note verification
assessment
In engineering: product inspection monitoring and control
In defence: target tracking
In security: motion detection, surveillance image analysis and fingerprint
matching
forecasting and prediction
In finance: foreign exchange rate and stock market forecasting
In agriculture: crop yield forecasting
In marketing: sales forecasting
36
Face Recognition
37
90% accurate learning head pose, and recognizing 1-of-20 faces
Electronic-Nose
Soil type
and
CY8C28445PCA
NN
24PVXI
fertilizer
dose?
Sensing
Interface
Preprocessor Pattern Recognation
(Olfactory Receptor) (Olfactory Nerve) (Olfactory bulb) (Olfactory Cortex)
3 TGSs and
3 FISs
PSoC
38
TERIMA KASIH
39