BAB II DASAR TEORI

BAB II
DASAR TEORI
Sebelum melangkah lebih jauh pada penentuan portfolio optimal maka
terlebih dahulu dibahas mengenai pengertian investasi, pengertian portfolio,
lemma Ito, persamaan diferensial stokastik, gerak Brown baku (proses Wiener),
fungsi utilitas dan teori kontrol optimal stokastik. Hal ini perlu karena tugas akhir
ini membahas mengenai investasi pada aset beresiko dan tidak beresiko dimana
untuk meminimalkan resiko kerugian maka dibentuklah portfolio optimal.
Portfolio optimal dibentuk dengan menentukan proporsi investasi optimal
menggunakan teori kontrol optimal stokastik dimana di dalamnya digunakan
suatu fungsi utilitas. Selain itu juga karena model portfolio investasi akan
berbentuk persamaan diferensial stokastik yang mengandung proses Wiener.
Persamaan diferensial stokastik tersebut akan diselesaikan dengan menggunakan
lemma Ito untuk kemudian digunakan pada simulasi.
2.1 Investasi
Investasi secara umum berarti mengorbankan sejumlah uang saat ini untuk
memperoleh uang di masa datang. Terdapat dua hal yang terlibat yaitu waktu dan
resiko. Sejumlah uang yang dikorbankan (digunakan) saat ini sudah dalam jumlah
yang pasti sementara hasilnya di masa depan belum bisa dipastikan berapa
besarnya.
Investasi terbagi dua yaitu real investments (investasi riil) dan financial
investments (investasi finansial). Investasi riil melibatkan beberapa aset nyata
seperti tanah, mesin atau pabrik. Investasi finansial melibatkan kontrak yang
tertulis di selembar kertas seperti saham, obligasi dan menabung di bank. Dalam
kehidupan ekonomi di masa lalu kebanyakan investasi merupakan investasi riil
dan dalam kehidupan ekonomi modern kebanyakan investasi merupakan investasi
finansial.
5
Kedua jenis investasi ini tidak saling berkompetisi melainkan saling
melengkapi. Contohnya sebuah perusahaan ingin melebarkan usahanya dengan
membuka pabrik baru. Untuk tujuan tersebut tentu saja ia membutuhkan uang
yang tidak sedikit. Uang tersebut dapat diperoleh dengan cara menerbitkan saham
di bursa efek. Jadi investasi finansial dapat membiayai investasi riil.
Dalam berinvestasi seorang investor dimungkinkan berinvestasi bukan hanya
pada satu aset hal ini dilakukan untuk mengurangi resiko investasi. Kombinasi
beberapa aset tersebut disebut portfolio.
2.2 Portfolio
Portfolio adalah serangkaian kombinasi beberapa aset yang dipegang oleh
investor, baik perorangan maupun lembaga. Kombinasi aset tersebut bisa berupa
aset riil, aset finansial ataupun keduanya. Seorang investor yang menginvestasikan
dana biasanya tidak hanya memilih satu aset saja karena dengan melakukan
kombinasi aset investor bisa meraih return yang optimal sekaligus akan
memperkecil resiko melalui diversifikasi. Memilih portfolio yang optimal
bukanlah hal yang mudah, ini disebut dengan masalah pemilihan portfolio.
Pembentukan portfolio berasal dari usaha diversifikasi investasi untuk
mengurangi resiko. Terbukti bahwa semakin banyak jenis aset yang dikumpulkan
maka resiko kerugian sebuah aset dapat dinetralisir oleh keuntungan yang
diperoleh dari aset lain. Walaupun demikian diversifikasi ini bukanlah suatu
jaminan memperoleh resiko yang minimum dengan keuntungan yang maksimum
sekaligus.
Teori pemilihan portfolio pertama kali dikembangkan oleh Harry Max
Markowitz dengan beberapa asumsi sebagai berikut:
•
Seorang investor mempunyai sejumlah uang tertentu
•
Sejumlah uang tersebut diinvestasikan untuk jangka waktu tertentu
yang disebut holding period.
•
Pada akhir holding period investor akan menjual sahamnya
•
Investor akan selalu mencoba menghindari resiko
6
•
Untuk menghindari resiko, investor mencoba melakukan diversifikasi
investasinya.
•
Investor menghadapi beberapa portfolio dimana harga sudah pasti.
Masalahnya bagaimana mengalokasikan uang mereka di antara
berbagai portfolio untuk memaksimalkan hasil yang diharapkan.
•
Investor mampu mengestimasikan hasil yang diharapkan dari masingmasing portfolio.
•
Semua portfolio secara sempurna dapt dibagi
•
Pilihan untuk investasi tidak tergantung pada investor lain
Investor melakukan diversifikasi investasi dalam berbagai portfolio
dikarenakan hasil yang diharapkan dari tiap jenis aset dapat saling menutup. Lebih
lanjut, pemodal mengestimasikan hasil investasi dengan hasil yang tertinggi.
Investor tidak mengetahui sercara pasti return yang diharapkan. Jadi, investor
mencona meramal return yang diharapkan dengan memakai batas kemungkinan
bahwa hasil tidak dapat dicapai. Kemungkinan hasil yang diharapkan tidak dapat
dicapai adalah apa yang disebut resiko. Tujuan pembentukan portfolio adalah
sebagai berikut:
•
Pada
tingkat
resiko
tertentu
berusaha
mencapai
keuntungan
semaksimal mungkin.
•
Pada tingkat keuntungan tertentu berusaha mencapai resiko yang
minimal.
2.3 Lemma Ito
Lemma Ito adalah metode yang digunakan untuk menyelesaikan Integral
Stokastik. Lemma Ito adalah analogi stokastik dari aturan rantai yang ditemui
dalam diferensiasi biasa. Untuk memahami aturan rantai pada fungsi stokastik
akan dibahas terlebih dahulu mengenai aturan rantai untuk fungsi deterministik.
Misalkan f dan g fungsi yang diferensiabel maka aturan rantai untuk
diferensiasinya adalah
[ f ( g (s))]′ =
f ′( g ( s)) g ′( s ).
(2.1)
7
Persamaan (2.1) ditulis dalam bentuk integral pada selang [0, t ] menjadi
t
t
0
0
f ( g (t )) − f ( g (0)) = ∫ f ′( g ( s )) g ′( s ) ds = ∫ f ′( g ( s )) dg ( s ) .
(2.2)
Persamaan (2.1) ditulis dalam bentuk diferensial menjadi df ( g ) = f ′( g ) dg yang
bisa ditulis sebagai uraian Taylor
f ( g (t ) + dg (t )) − f ( g (t )) = f ′( g (t )) dg (t ) +
1
f ′′( g (t ))[dg (t )]2 + ... , (2.3)
2
disini dg(t)=g(t+dt)-g(t) adalah kenaikan dari g di [t,t+dt]. Orde dua dan orde
yang lebih tinggi dari ekspansi Taylor ini dapat diabaikan untuk dt yang kecil.
Uraian Taylor (2.3) bisa diterapkan untuk kasus yang lebih umum. Misalkan
f (t , Bt ) memiliki turunan parsial yang kontinu paling sedikit orde dua maka
uraian Taylor (2.3) menjadi
1
f (t + dt , Bt + dt ) − f (t , Bt ) = f1 (t , Bt )dt + f 2 (t , Bt )dBt + [ f11 (t , Bt )(dt ) 2
2
+ 2 f12 (t , Bt )dt dBt + f 22 (t , Bt )(dBt ) 2 + ... ,
(2.4)
dimana
f i (t , x) =
∂
f ( x1 , x2 )
∂xi
x
, i = 1,2,
1 =t , x2
f ij (t , x) =
∂ ∂
f ( x1 , x2 )
∂xi ∂x j
=x
, i, j = 1,2.
x1 = t , x 2 = x
Seperti pada kalkulus, suku dengan orde lebih tinggi di (2.4) dapat diabaikan,
begitu pula suku dengan dtdBt dan (dt ) 2 sementara (dBt ) 2 ditulis sebagai dt.
Dengan mengintegralkan sisi kanan dan sisi kiri persamaan (2.4) dan
mengumpulkan suku dengan dt dan dBt secara terpisah diperoleh
t
t
1
⎡
⎤
f (t , Bt ) − f ( s, Bs ) = ∫ ⎢ f1 ( x, Bx ) + f 22 ( x, Bx )⎥ dx + ∫ f 22 ( x, Bx ) dBx , s < t . (2.5)
2
⎦
s ⎣
s
Persamaan (2.5) kemudian dikenal sebagai Lemma Ito yang ditulis secara
lengkap seperti lemma berikut
8
Lemma Ito
Misalkan X t adalah proses Ito dimana dX t = udt + vdWt maka f (t , X t ) adalah
juga proses Ito dan
t
t
1
⎡
⎤
f (t , Bt ) − f ( s, Bs ) = ∫ ⎢ f1 ( x, B x ) + f 22 ( x, Bx ) ⎥ dx + ∫ f 2 ( x, B x ) dBx , s < t.
2
⎦
s ⎣
s
2.4 Persamaan Diferensial Stokastik
Persamaan diferensial stokastik (PDS) adalah persamaan diferensial
deterministik yang diberi gangguan acak. Persamaan diferensial stokastik
merupakan persamaan integral stokastik yang melibatkan integral biasa (integral
Riemann) dan integral stokastik Ito.
Persamaan diferensial stokastik secara matematika dituliskan dalam bentuk
sebagai berikut
dX t = a (t , X t ) dt + b(t , X t ) dWt ,
(2.6)
dengan X t proses stokastik dan Wt proses Wiener baku (berdistribusi N(0,1)).
a(t , X t )dt merupakan bagian deterministik dan b(t , X t )dWt merupakan bagian
stokastik dari persamaan (2.6).
2.4.1 Solusi Persamaan Diferensial Stokastik
Persamaan (2.6) dapat dituliskan ke dalam bentuk persamaan integral sebagai
berikut
t
t
X t = X 0 + ∫ a ( s, X s ) ds + ∫ b( s, X s )dWs
0
s<t.
(2.7)
0
t
Integral
∫ a ( s, X
s
)ds
merupakan integral biasa (integral Riemann) dan
0
penyelesaiannya dapat dilakukan dengan metode integral biasa. Masalah akan
t
muncul saat menyelesaikan integral
∫ b( s, X
s
)dWs mengingat Wt merupakan
0
fungsi dengan variasi tak terbatas (unbounded variation) meskipun Wt memiliki
realisasi yang kontinu. Integral tersebut tidak dapat diinterpretasikan sebagai
9
integral Riemann-Stieljes yang berbentuk
∫ f (t )dg (t )
karena integral tersebut ada
jika kondisi-kondisi berikut terpenuhi
•
f,g tidak memiliki diskontinuitas di titik yang sama
•
f memiliki variasi (p) terbatas dan g memiliki variasi (q) terbatas untuk
suatu p,q>0 sedemikian sehingga
1 1
+ >1
p q
Karena proses Wiener ( Wt ) memiliki variasi tak terbatas maka diperlukan metode
lain untuk menyelesaikan integral tersebut. Integral tersebut dikenal juga sebagai
integral stokastik.
Metode yang banyak digunakan untuk menyelesaikan integral stokastik adalah
dengan menggunakan Lemma Ito. Untuk memudahkan memahami metode ini
maka selanjutnya akan diperlihatkan bagaimana Lemma Ito digunakan.
Perhatikan persamaan difterensial stokastik berikut
(2.8)
dX t = cX t dt + σX t dBt .
Persamaan (2.8) dapat dituliskan ke dalam bentuk integral sebagai berikut
t
t
0
0
X t = X 0 + c ∫ X s ds + σ ∫ X s dWs
s<t ,
(2.9)
untuk suatu konstanta c, σ > 0 .
Misalkan X t = f (t ,Wt ) untuk fungsi mulus
f (t , x)
maka menurut Lemma
Ito X t dapat ditulis menjadi
t
X t = X 0 + ∫ [ f1 ( s,Ws ) +
0
t
1
f 22 ( s,Ws )]ds + ∫ f 2 ( s,Ws )dWs , s < t.
2
0
(2.10)
dimana
f i (t , x) =
∂
f ( x1 , x2 )
∂xi
x
, i = 1,2,
1 =t , x2 = x
f ij (t , x) =
∂ ∂
f ( x1 , x2 )
∂xi ∂x j
, i, j = 1,2.
x1 = t , x 2 = x
10
Dengan menyamakan persamaan (2.9) dan (2.10) diperoleh
cf (t , x) = f1 (t , x) +
1
f 22 (t , x).
2
(2.11)
σf (t , x) = f 2 (t , x) .
(2.12)
Dari persamaan (2.12) diperoleh
f 22 (t , x) = σ f 2 (t , x).
= σ (σ f (t , x)) .
(2.13)
= σ 2 f (t , x).
Dengan mensubstitusikan persamaan (2.13) ke persamaan (2.11) diperoleh
(c − 0.5σ 2 ) f (t , x) = f1 (t , x) .
(2.14)
Selanjutnya untuk mempermudah memperoleh solusi f (t , x) akan ditulis sebagai
hasil kali dua buah fungsi dengan variabel terpisah yaitu
f (t , x) = g (t ) h( x) ,
(2.15)
f1 (t , x) = g ′(t ) h( x).
f 2 (t , x) = g (t ) h′( x).
(2.16)
sehingga
Dengan menggunakan (2.16) maka persamaan (2.12) dan persamaan (2.14) ditulis
menjadi
(c − 0.5σ 2 ) g (t ) = g ′(t ) .
(2.17)
σh( x) = h′( x) .
(2.18)
Persamaan (2.17) dan persamaan (2.18) dapat diselesaikan dengan metode
separasi variabel sehingga diperoleh
2
g (t ) = g (0) e( c − 0.5σ ) t .
(2.19)
h( x) = h(0) eσ x .
Dengan mensubtitusikan persamaan (2.19) ke persamaan (2.15) diperoleh
f (t , x) = g (t ) ⋅ h( x) = g (0) ⋅ h(0) e ( c−0.5σ
Diketahui
X 0 = f (0,W0 ) = f (0,0) = g (0) ⋅ h(0)
2
) t +σ x
sehingga
.
persamaan
(2.20)
(2.20)
menjadi
X t = f (t ,Wt ) = X 0 e ( c−0.5σ
2
) t +σWt
,
(2.21)
11
dimana persamaan (2.21) merupakan solusi dari persamaan (2.8).
Persamaan diferensial stokastik yang berbentuk seperti persamaan (2.8) adalah
persamaan harga saham yang persamaan diferensial stokastiknya berbentuk
dX t = µX t dt + σX t dWt ,
dimana dX t adalah perubahan harga saham, dt perubahan waktu, dWt proses
Wiener, µ rata-rata rate of return (RoR) dan σ volatilitas harga saham.
Rate of Return dihitung dengan formula:
RoR =
D1 + P1 − P0
× 100% ,
P0
dimana D1 adalah dividen, P1 adalah harga saham saat penjualan dan P0 harga saham
saat pembelian.
Dengan menggunakan Lemma Ito dan dengan cara pengerjaan yang sama
dengan contoh di atas maka diperoleh persamaan harga saham yang disebut
persamaan harga saham geometrik yaitu
X t = X 0e ( µ − 0.5σ
2
) t + σW t
.
2.5 Gerak Brown Baku (Proses Wiener)
Dalam matematika, Proses Wiener adalah continuous-time stochastic process.
Proses Wiener juga sering disebut Gerak Brown Baku (Standard Brownian
Motion) yang diberi nama dari seorang ahli biologi Robert Brown. Proses Wiener
terdapat dalam matematika murni, matematika terapan, keuangan dan fisika.
Proses Wiener memainkan peran penting di dalam matematika murni maupun
matematika terapan. Pada matematika murni, proses Wiener memainkan peranan
penting seperti pada kalkulus stokastik dan proses difusi. Pada matematika
terapan, proses Wiener memainkan peranan penting pada bidang teknik
elektronika, teori kontrol dan teori filtering (filtering theory). Proses Wiener
Wt memiliki tiga sifat yaitu
12
•
W0 = 0
•
Wt mempunyai realisasi kontinu
•
Wt mempunyai peningkatan yang independen dan stasioner
•
Wt berdistribusi Normal N(0,1)
Gambar 2.1: Proses Wiener
2.6 Fungsi Utilitas
Fungsi utilitas adalah fungsi kekayaan (wealth) U (w) yang dapat diturunkan
dua kali untuk w>0. Fungsi ini memiliki sifat non-satiation (turunan pertama
U ′( w) > 0) dan risk aversion (turunan kedua U ′′( w) < 0 ).
Sifat non-satiation (tidak pernah puas) menyatakan bahwa utilitas meningkat
seiring dengan peningkatan kekayaan. Sifat risk aversion (investor tidak
menyukai resiko) menyatakan bahwa fungsi utilitas berbentuk konkaf dengan kata
lain utilitas marginal menurun saat kekayaan meningkat.
Untuk melihat mengapa fungsi utilitas berbentuk konkaf, perhatikan contoh
berikut. Misalkan utilitas marginal didefinisikan sebagai penambahan seratus ribu
rupiah. Bagi orang yang hanya punya kekayaan seratus ribu rupiah, mendapatkan
lagi seratus ribu rupiah menjadi penting. Bagi orang yang punya kekayaan satu
milyar rupiah penambahan seratus ribu rupiah menjadi tidak berarti. Jadi utilitas
marginal menurun saat kekayaan meningkat.
Secara geometrik fungsi utilitas berbentuk konkaf ini akan terletak di atas
sebuah garis lurus yang melalui dua titik sebagai berikut
13
Gambar 2.2: Fungsi utilitas risk aversion
terdapat berbagai macam fungsi utilitas untuk kasus risk aversion yaitu
•
Utilitas Kuadratik (Quadratic Utility)
•
Utilitas Eksponensial (Exponential Utility)
•
Utilitas pangkat (Power Utility)
dari ketiga fungsi utilitas tersebut fungsi yang paling baik dan mudah digunakan
adalah fungsi utilitas berbentuk fungsi pangkat (power function). Berikut ini
adalah
gambar
fungsi
utilitas
berbentuk
fungsi
pangkat
xa
dengan
a = 0.01, 0.05 dan 0.1 .
Gambar 2.3: Fungsi utilitas berbentuk fungsi pangkat (power function)
2.7 Teori Kontrol Optimal Stokastik
Teori Kontrol Optimal Stokastik tidak lain adalah teori kontrol optimal untuk
sistem yang berbentuk stokastik. Keadaan sistem berbentuk persamaan diferensial
stokastik (PDS) dan melibatkan parameter yang mengatur sistem sehingga sistem
tersebut memenuhi keadaan yang diinginkan yaitu keadaan optimal. Parameter
yang mengatur sistem tersebut disebut kontrol.
14
Secara matematika persamaan keadaan yang berbentuk persamaan diferensial
stokastik tersebut dituliskan sebagai berikut
dX t = a(t , X t u )dt + b(t , X t , u )dWt ,
(2.21)
dengan parameter yang mengatur sistem atau kontrol u yang meminimumkan
atau memaksimumkan suatu indeks performansi
⎛T
⎞
J (t , x, u ) = E ⎜⎜ ∫ F (t , x, u )dt + K (T , x) ⎟⎟.
⎝0
⎠
(2.22)
Indeks performansi berupa ekspektasi sebuah fungsi karena dalam sistem
stokastik yang acak (tidak pasti) maka kita hanya bisa mengambil ekspektasi suatu
nilai. Fungsi K dan F adalah fungsi yang diberikan dimana bentuknya tergantung
dari tujuan yang ingin dicapai.
Nilai
minimum
atau
maksimum
dari
indeks
performansi
tersebut
dilambangkan oleh V (t , x) (value function) yang berbentuk
V (t , x ) = min [ J (t , x, u )] atau V (t , x ) = max [ J (t , x, u )],
(2.23)
dimana value function tersebut harus memenuhi persamaan Hamilton-Jacobi
Bellman (HJB) berikut
min{ F (t , x, u ) + LV (t , x )} = 0 atau
max{ F (t , x, u ) + LV (t , x )} = 0. (2.24)
Keadaan akhir yang diinginkan adalah
V (T , x ) = K (T , x ).
(2.25)
L adalah operator yang mempunyai bentuk
L=
d
∂
∂ 1 d i, j
∂2
+ ∑ a i ( s , x, u )
+ ∑ D ( s , x, u )
,
∂s i=1
∂xi 2 i , j =1
∂xi ∂x j
(2.26)
dimana D = bbT ,
sehingga
LV (t , x) =
∂V d i
∂V 1 d i , j
∂ 2V
+ ∑ a ( s , x, u )
+ ∑ D ( s , x, u )
.
∂s i=1
∂xi 2 i , j =1
∂xi ∂x j
(2.27)
15
Parameter yang mengatur sistem atau kontrol u ditentukan dengan langkahlangkah sebagai berikut
•
Tentukan u yang memenuhi persamaan Hamilton-Jacobi-Bellman (HJB)
(2.24) yaitu dengan cara menurunkan persamaan (2.24) terhadap u sebagai
berikut
∂
( F (t , x, u ) + LV (t , x)) = 0.
∂u
•
(2.28)
u yang didapat dari langkah pertama di atas dimasukkan kembali ke
persamaan (2.24) dan dengan kondisi akhir (2.25) didapat bentuk
V (t , x) yang diinginkan.
•
Bentuk V (t , x) yang diinginkan tersebut dimasukkan kembali ke u yang
didapat dari persamaan (2.28) maka didapat kontrol u yang mengatur
sistem sehingga mencapai kondisi yang diinginkan.
Selanjutnya akan ditunjukkan masalah kontrol optimal untuk sistem
persamaan diferensial stokastik linear berikut.
Perhatikan sistem yang dijelaskan dalam bentuk persamaan diferensial stokastik
berikut
dX t = A(t ) X t dt + B(t )u (t , X t )dt + G (t )dWt , t > t0 ,
(2.29)
dimana A(t ) matriks d × d , B(t ) matriks d × p dan G (t ) matriks d × m .
Misalkan indeks performansi yang akan diminimumkan adalah
⎡T
⎤
J (t , x, u ) = E ⎢ ∫ F (t , x, u )dt + K (T , x)⎥ ,
⎣0
⎦
(2.30)
F (t , x, u ) = xT C (t ) x + u T D(t )u ,
(2.31)
K (T , x) = xT H (T ) x + a(T )T x + b(T ) ,
(2.32)
dengan
dimana C (t ) simetri dan definit non-negatif, D(t ) simetri dan definit positif.
Value function yang diinginkan
V (t , x) = min[ J (t , x, u )] .
(2.33)
16
L=
∂2
∂ 1 d d
∂
, (2.34)
+ ( A(t ) x + B(t )u ) + ∑∑ (G (t )G (t )T )ij
∂xi ∂x j
∂x 2 i =1 j =1
∂t
sehingga
1
LV (t , x) = Vt + ( A(t ) x)T Vx + ( B (t )u )T Vx + tr (G (t )G (t )T Vxx ) ,
2
(2.35)
∂ 2V
∂V
∂V
dimana
= Vx , 2 = Vxx .
= Vt ,
∂x
∂x
∂t
Persamaan Hamilton-Jacobi-Bellman (HJB)
min[ F (t , x, u ) + LV (t , x)] = 0 .
(2.36)
1
min[Vt + ( A(t ) x)T Vx + ( B(t )u )T Vx + tr (G (t )G (t )T Vxx )
2
T
T
+ x C (t ) x + u D(t )u ] = 0.
(2.37)
Akan dicari u yang memenuhi persamaan HJB (2.37),yaitu
∂
1
[Vt + ( A(t ) x)T Vx + ( B(t )u )T Vx + tr (G (t )G (t )T Vxx )
∂u
2
T
T
+ x C (t ) x + u D(t )u ] = 0,
(2.38)
Dari persamaan (2.28) diperoleh
1
u = − D(t ) −1 B(t )T Vx .
2
(2.39)
Dengan mensubtitusikan persamaan (2.39) ke persamaan (2.37) diperoleh
1 T
1
T
Vt + tr (GGTVxx ) + Vx Ax − Vx BD −1BTVx + xT Cx = 0 .
4
2
(2.40)
Dengan kondisi akhir
V (T , x) = K (t , x) = xT H (T ) x + a(T )T x + b(T ) .
(2.41)
Kita coba solusi yang berbentuk
V (t , x) = xT Q(t ) x + q(t )T x + p(t ) ,
(2.42)
dimana Q(t ) simetri dan definit non-negatif. Dengan mensubstitusikan persamaan
(2.42)
ke
persamaan
(2.40)
didapat
persamaan
diferensial
untuk
Q(t ), q(t ) dan p(t ) yang harus diselesaikan secara mundur mulai dari T ke t0 yaitu
17
Q& (t ) + AT Q + QA + C − QBD −1BT Q = 0, Q(T ) = H (T ).
q& (t ) + ( AT − QBD −1BT )q = 0, q(T ) = a(T ).
1
p& (t ) + tr (GG T Q) − qT BD −1BT q = 0, p(T ) = b(T ).
4
(2.43)
Diketahui Vx = 2Qx + q dan dengan mensubtitusikannya ke persamaan (2.39)
diperoleh
1
u = − D(t ) −1 B(t )T (2Q(t ) x + q(t )) .
2
(2.44)
Untuk a(T ) = 0 diperoleh q(t ) ≡ 0 maka
u = − D (t ) −1 B(t )T Q(t ) x .
(2.45)
Jadi u yang memberikan nilai yang diinginkan adalah persamaan (2.45).
2.7.1 Persamaan Hamilton-Jacobi-Bellman (HJB)
Persamaan Hamilton-Jacobi-Bellman (HJB) adalah persamaan diferensial
parsial yang penting dalam teori kontrol optimal. Solusi dari persamaan HJB
adalah value function yang memberikan nilai yang optimal untuk suatu sistem
dinamik dengan fungsi ongkos tertentu.
Persamaan HJB ini diperoleh sebagai hasil dari teori pemrograman dinamik
(theory of dynamic programming) yang dimulai oleh Richard Bellman dan rekanrekannya pada tahun 1950-an. Persamaan HJB yang berbentuk diskrit, biasa
disebut persamaan Bellman (Bellman equation). Dalam bentuk kontinu persamaan
ini disebut HJB sebagai hasil pengembangan oleh William Rowan Hamilton dan
Carl Gustav Jacob Jacobi.
Perhatikan masalah kontrol optimal deterministik berikut
⎡T
⎤
min ⎢ ∫ C ( x(t ), u (t ))dt + D( x(T ))⎥ ,
⎣0
⎦
(2.46)
terhadap
x& (t ) = F [ x(t ), u (t )] ,
(2.47)
18
dimana
x(t ) adalah
state
dari
sistem,
x(0) diberikan
dan
u (t ) untuk
0 ≤ t ≤ T adalah kontrol yang akan dicari. Untuk sistem yang sederhana ini
persamaan HJB-nya adalah
⎡⎛ ∂
⎤
∂
⎞
V ( x, t ) + min ⎢⎜ V ( x, t ), F ( x, u ) ⎟ + C ( x, u )⎥ = 0 ,
u
∂t
⎠
⎣⎝ ∂x
⎦
(2.48)
terhadap kondisi akhir
V ( x, T ) = D ( x ) .
(2.49)
Fungsi V ( x, t ) yang tidak diketahui di atas disebut Bellman Value Function.
Persamaan HJB diselesaikan secara mundur yaitu dimulai dari t=T hingga t=0.
Persamaan HJB adalah syarat cukup (Sufficient Condition) untuk keoptimalan.
Jika kita dapat menemukan V maka kita dapat menemukan kontrol u yang
memberikan hasil optimal. Persamaan HJB ini dapat diperluas untuk sistem
berbentuk stokastik.
19