BAB II DASAR TEORI
Sebelum melangkah lebih jauh pada penentuan portfolio optimal maka terlebih dahulu dibahas mengenai pengertian investasi, pengertian portfolio, lemma Ito, persamaan diferensial stokastik, gerak Brown baku (proses Wiener), fungsi utilitas dan teori kontrol optimal stokastik. Hal ini perlu karena tugas akhir ini membahas mengenai investasi pada aset beresiko dan tidak beresiko dimana untuk meminimalkan resiko kerugian maka dibentuklah portfolio optimal. Portfolio optimal dibentuk dengan menentukan proporsi investasi optimal menggunakan teori kontrol optimal stokastik dimana di dalamnya digunakan suatu fungsi utilitas. Selain itu juga karena model portfolio investasi akan berbentuk persamaan diferensial stokastik yang mengandung proses Wiener. Persamaan diferensial stokastik tersebut akan diselesaikan dengan menggunakan lemma Ito untuk kemudian digunakan pada simulasi. 2.1 Investasi Investasi secara umum berarti mengorbankan sejumlah uang saat ini untuk memperoleh uang di masa datang. Terdapat dua hal yang terlibat yaitu waktu dan resiko. Sejumlah uang yang dikorbankan (digunakan) saat ini sudah dalam jumlah yang pasti sementara hasilnya di masa depan belum bisa dipastikan berapa besarnya. Investasi terbagi dua yaitu real investments (investasi riil) dan financial investments (investasi finansial). Investasi riil melibatkan beberapa aset nyata seperti tanah, mesin atau pabrik. Investasi finansial melibatkan kontrak yang tertulis di selembar kertas seperti saham, obligasi dan menabung di bank. Dalam kehidupan ekonomi di masa lalu kebanyakan investasi merupakan investasi riil dan dalam kehidupan ekonomi modern kebanyakan investasi merupakan investasi finansial.
5
Kedua jenis investasi ini tidak saling berkompetisi melainkan saling melengkapi. Contohnya sebuah perusahaan ingin melebarkan usahanya dengan membuka pabrik baru. Untuk tujuan tersebut tentu saja ia membutuhkan uang yang tidak sedikit. Uang tersebut dapat diperoleh dengan cara menerbitkan saham di bursa efek. Jadi investasi finansial dapat membiayai investasi riil. Dalam berinvestasi seorang investor dimungkinkan berinvestasi bukan hanya pada satu aset hal ini dilakukan untuk mengurangi resiko investasi. Kombinasi beberapa aset tersebut disebut portfolio. 2.2 Portfolio Portfolio adalah serangkaian kombinasi beberapa aset yang dipegang oleh investor, baik perorangan maupun lembaga. Kombinasi aset tersebut bisa berupa aset riil, aset finansial ataupun keduanya. Seorang investor yang menginvestasikan dana biasanya tidak hanya memilih satu aset saja karena dengan melakukan kombinasi aset investor bisa meraih return yang optimal sekaligus akan memperkecil resiko melalui diversifikasi. Memilih portfolio yang optimal bukanlah hal yang mudah, ini disebut dengan masalah pemilihan portfolio. Pembentukan portfolio berasal dari usaha diversifikasi investasi untuk mengurangi resiko. Terbukti bahwa semakin banyak jenis aset yang dikumpulkan maka resiko kerugian sebuah aset dapat dinetralisir oleh keuntungan yang diperoleh dari aset lain. Walaupun demikian diversifikasi ini bukanlah suatu jaminan memperoleh resiko yang minimum dengan keuntungan yang maksimum sekaligus. Teori pemilihan portfolio pertama kali dikembangkan oleh Harry Max Markowitz dengan beberapa asumsi sebagai berikut: •
Seorang investor mempunyai sejumlah uang tertentu
•
Sejumlah uang tersebut diinvestasikan untuk jangka waktu tertentu yang disebut holding period.
•
Pada akhir holding period investor akan menjual sahamnya
•
Investor akan selalu mencoba menghindari resiko
6
•
Untuk menghindari resiko, investor mencoba melakukan diversifikasi investasinya.
•
Investor menghadapi beberapa portfolio dimana harga sudah pasti. Masalahnya bagaimana mengalokasikan uang mereka di antara berbagai portfolio untuk memaksimalkan hasil yang diharapkan.
•
Investor mampu mengestimasikan hasil yang diharapkan dari masingmasing portfolio.
•
Semua portfolio secara sempurna dapt dibagi
•
Pilihan untuk investasi tidak tergantung pada investor lain
Investor melakukan diversifikasi investasi dalam berbagai portfolio dikarenakan hasil yang diharapkan dari tiap jenis aset dapat saling menutup. Lebih lanjut, pemodal mengestimasikan hasil investasi dengan hasil yang tertinggi. Investor tidak mengetahui sercara pasti return yang diharapkan. Jadi, investor mencona meramal return yang diharapkan dengan memakai batas kemungkinan bahwa hasil tidak dapat dicapai. Kemungkinan hasil yang diharapkan tidak dapat dicapai adalah apa yang disebut resiko. Tujuan pembentukan portfolio adalah sebagai berikut: •
Pada
tingkat
resiko
tertentu
berusaha
mencapai
keuntungan
semaksimal mungkin. •
Pada tingkat keuntungan tertentu berusaha mencapai resiko yang minimal.
2.3 Lemma Ito Lemma Ito adalah metode yang digunakan untuk menyelesaikan Integral Stokastik. Lemma Ito adalah analogi stokastik dari aturan rantai yang ditemui dalam diferensiasi biasa. Untuk memahami aturan rantai pada fungsi stokastik akan dibahas terlebih dahulu mengenai aturan rantai untuk fungsi deterministik. Misalkan f dan g fungsi yang diferensiabel maka aturan rantai untuk diferensiasinya adalah
[ f ( g (s))]′ =
f ′( g ( s)) g ′( s ).
(2.1) 7
Persamaan (2.1) ditulis dalam bentuk integral pada selang [0, t ] menjadi t
t
0
0
f ( g (t )) − f ( g (0)) = ∫ f ′( g ( s )) g ′( s ) ds = ∫ f ′( g ( s )) dg ( s ) .
(2.2)
Persamaan (2.1) ditulis dalam bentuk diferensial menjadi df ( g ) = f ′( g ) dg yang bisa ditulis sebagai uraian Taylor
f ( g (t ) + dg (t )) − f ( g (t )) = f ′( g (t )) dg (t ) +
1 f ′′( g (t ))[dg (t )]2 + ... , (2.3) 2
disini dg(t)=g(t+dt)-g(t) adalah kenaikan dari g di [t,t+dt]. Orde dua dan orde yang lebih tinggi dari ekspansi Taylor ini dapat diabaikan untuk dt yang kecil. Uraian Taylor (2.3) bisa diterapkan untuk kasus yang lebih umum. Misalkan f (t , Bt ) memiliki turunan parsial yang kontinu paling sedikit orde dua maka uraian Taylor (2.3) menjadi 1 f (t + dt , Bt + dt ) − f (t , Bt ) = f1 (t , Bt )dt + f 2 (t , Bt )dBt + [ f11 (t , Bt )(dt ) 2 2 + 2 f12 (t , Bt )dt dBt + f 22 (t , Bt )(dBt ) 2 + ... ,
(2.4)
dimana f i (t , x) =
∂ f ( x1 , x2 ) ∂xi x
, i = 1,2,
1 =t , x2
f ij (t , x) =
∂ ∂ f ( x1 , x2 ) ∂xi ∂x j
=x
, i, j = 1,2. x1 = t , x 2 = x
Seperti pada kalkulus, suku dengan orde lebih tinggi di (2.4) dapat diabaikan, begitu pula suku dengan dtdBt dan (dt ) 2 sementara (dBt ) 2 ditulis sebagai dt.
Dengan mengintegralkan sisi kanan dan sisi kiri persamaan (2.4) dan mengumpulkan suku dengan dt dan dBt secara terpisah diperoleh t
t
1 ⎡ ⎤ f (t , Bt ) − f ( s, Bs ) = ∫ ⎢ f1 ( x, Bx ) + f 22 ( x, Bx )⎥ dx + ∫ f 22 ( x, Bx ) dBx , s < t . (2.5) 2 ⎦ s ⎣ s
Persamaan (2.5) kemudian dikenal sebagai Lemma Ito yang ditulis secara lengkap seperti lemma berikut
8
Lemma Ito
Misalkan X t adalah proses Ito dimana dX t = udt + vdWt maka f (t , X t ) adalah juga proses Ito dan t
t
1 ⎡ ⎤ f (t , Bt ) − f ( s, Bs ) = ∫ ⎢ f1 ( x, B x ) + f 22 ( x, Bx ) ⎥ dx + ∫ f 2 ( x, B x ) dBx , s < t. 2 ⎦ s ⎣ s
2.4 Persamaan Diferensial Stokastik
Persamaan diferensial stokastik (PDS) adalah persamaan diferensial deterministik yang diberi gangguan acak. Persamaan diferensial stokastik merupakan persamaan integral stokastik yang melibatkan integral biasa (integral Riemann) dan integral stokastik Ito. Persamaan diferensial stokastik secara matematika dituliskan dalam bentuk sebagai berikut dX t = a (t , X t ) dt + b(t , X t ) dWt ,
(2.6)
dengan X t proses stokastik dan Wt proses Wiener baku (berdistribusi N(0,1)). a(t , X t )dt merupakan bagian deterministik dan b(t , X t )dWt merupakan bagian stokastik dari persamaan (2.6). 2.4.1 Solusi Persamaan Diferensial Stokastik
Persamaan (2.6) dapat dituliskan ke dalam bentuk persamaan integral sebagai berikut t
t
X t = X 0 + ∫ a ( s, X s ) ds + ∫ b( s, X s )dWs 0
s0 sedemikian sehingga
1 1 + >1 p q
Karena proses Wiener ( Wt ) memiliki variasi tak terbatas maka diperlukan metode lain untuk menyelesaikan integral tersebut. Integral tersebut dikenal juga sebagai integral stokastik. Metode yang banyak digunakan untuk menyelesaikan integral stokastik adalah dengan menggunakan Lemma Ito. Untuk memudahkan memahami metode ini maka selanjutnya akan diperlihatkan bagaimana Lemma Ito digunakan. Perhatikan persamaan difterensial stokastik berikut (2.8)
dX t = cX t dt + σX t dBt . Persamaan (2.8) dapat dituliskan ke dalam bentuk integral sebagai berikut t
t
0
0
X t = X 0 + c ∫ X s ds + σ ∫ X s dWs
s 0 . Misalkan X t = f (t ,Wt ) untuk fungsi mulus
f (t , x)
maka menurut Lemma
Ito X t dapat ditulis menjadi t
X t = X 0 + ∫ [ f1 ( s,Ws ) + 0
t
1 f 22 ( s,Ws )]ds + ∫ f 2 ( s,Ws )dWs , s < t. 2 0
(2.10)
dimana f i (t , x) =
∂ f ( x1 , x2 ) ∂xi x
, i = 1,2,
1 =t , x2 = x
f ij (t , x) =
∂ ∂ f ( x1 , x2 ) ∂xi ∂x j
, i, j = 1,2. x1 = t , x 2 = x
10
Dengan menyamakan persamaan (2.9) dan (2.10) diperoleh cf (t , x) = f1 (t , x) +
1 f 22 (t , x). 2
(2.11)
σf (t , x) = f 2 (t , x) .
(2.12)
Dari persamaan (2.12) diperoleh f 22 (t , x) = σ f 2 (t , x). = σ (σ f (t , x)) .
(2.13)
= σ 2 f (t , x). Dengan mensubstitusikan persamaan (2.13) ke persamaan (2.11) diperoleh (c − 0.5σ 2 ) f (t , x) = f1 (t , x) .
(2.14)
Selanjutnya untuk mempermudah memperoleh solusi f (t , x) akan ditulis sebagai hasil kali dua buah fungsi dengan variabel terpisah yaitu f (t , x) = g (t ) h( x) ,
(2.15)
f1 (t , x) = g ′(t ) h( x). f 2 (t , x) = g (t ) h′( x).
(2.16)
sehingga
Dengan menggunakan (2.16) maka persamaan (2.12) dan persamaan (2.14) ditulis menjadi (c − 0.5σ 2 ) g (t ) = g ′(t ) .
(2.17)
σh( x) = h′( x) .
(2.18)
Persamaan (2.17) dan persamaan (2.18) dapat diselesaikan dengan metode separasi variabel sehingga diperoleh 2
g (t ) = g (0) e( c − 0.5σ ) t .
(2.19)
h( x) = h(0) eσ x . Dengan mensubtitusikan persamaan (2.19) ke persamaan (2.15) diperoleh f (t , x) = g (t ) ⋅ h( x) = g (0) ⋅ h(0) e ( c−0.5σ
Diketahui
X 0 = f (0,W0 ) = f (0,0) = g (0) ⋅ h(0)
2
) t +σ x
sehingga
.
persamaan
(2.20) (2.20)
menjadi X t = f (t ,Wt ) = X 0 e ( c−0.5σ
2
) t +σWt
,
(2.21)
11
dimana persamaan (2.21) merupakan solusi dari persamaan (2.8). Persamaan diferensial stokastik yang berbentuk seperti persamaan (2.8) adalah persamaan harga saham yang persamaan diferensial stokastiknya berbentuk
dX t = µX t dt + σX t dWt , dimana dX t adalah perubahan harga saham, dt perubahan waktu, dWt proses Wiener, µ rata-rata rate of return (RoR) dan σ volatilitas harga saham.
Rate of Return dihitung dengan formula:
RoR =
D1 + P1 − P0 × 100% , P0
dimana D1 adalah dividen, P1 adalah harga saham saat penjualan dan P0 harga saham saat pembelian. Dengan menggunakan Lemma Ito dan dengan cara pengerjaan yang sama dengan contoh di atas maka diperoleh persamaan harga saham yang disebut persamaan harga saham geometrik yaitu X t = X 0e ( µ − 0.5σ
2
) t + σW t
.
2.5 Gerak Brown Baku (Proses Wiener)
Dalam matematika, Proses Wiener adalah continuous-time stochastic process. Proses Wiener juga sering disebut Gerak Brown Baku (Standard Brownian Motion) yang diberi nama dari seorang ahli biologi Robert Brown. Proses Wiener terdapat dalam matematika murni, matematika terapan, keuangan dan fisika. Proses Wiener memainkan peran penting di dalam matematika murni maupun matematika terapan. Pada matematika murni, proses Wiener memainkan peranan penting seperti pada kalkulus stokastik dan proses difusi. Pada matematika terapan, proses Wiener memainkan peranan penting pada bidang teknik elektronika, teori kontrol dan teori filtering (filtering theory). Proses Wiener Wt memiliki tiga sifat yaitu
12
•
W0 = 0
•
Wt mempunyai realisasi kontinu
•
Wt mempunyai peningkatan yang independen dan stasioner
•
Wt berdistribusi Normal N(0,1)
Gambar 2.1: Proses Wiener 2.6 Fungsi Utilitas
Fungsi utilitas adalah fungsi kekayaan (wealth) U (w) yang dapat diturunkan dua kali untuk w>0. Fungsi ini memiliki sifat non-satiation (turunan pertama
U ′( w) > 0) dan risk aversion (turunan kedua U ′′( w) < 0 ). Sifat non-satiation (tidak pernah puas) menyatakan bahwa utilitas meningkat seiring dengan peningkatan kekayaan. Sifat risk aversion (investor tidak menyukai resiko) menyatakan bahwa fungsi utilitas berbentuk konkaf dengan kata lain utilitas marginal menurun saat kekayaan meningkat. Untuk melihat mengapa fungsi utilitas berbentuk konkaf, perhatikan contoh berikut. Misalkan utilitas marginal didefinisikan sebagai penambahan seratus ribu rupiah. Bagi orang yang hanya punya kekayaan seratus ribu rupiah, mendapatkan lagi seratus ribu rupiah menjadi penting. Bagi orang yang punya kekayaan satu milyar rupiah penambahan seratus ribu rupiah menjadi tidak berarti. Jadi utilitas marginal menurun saat kekayaan meningkat. Secara geometrik fungsi utilitas berbentuk konkaf ini akan terletak di atas sebuah garis lurus yang melalui dua titik sebagai berikut
13
Gambar 2.2: Fungsi utilitas risk aversion terdapat berbagai macam fungsi utilitas untuk kasus risk aversion yaitu •
Utilitas Kuadratik (Quadratic Utility)
•
Utilitas Eksponensial (Exponential Utility)
•
Utilitas pangkat (Power Utility)
dari ketiga fungsi utilitas tersebut fungsi yang paling baik dan mudah digunakan adalah fungsi utilitas berbentuk fungsi pangkat (power function). Berikut ini adalah
gambar
fungsi
utilitas
berbentuk
fungsi
pangkat
xa
dengan
a = 0.01, 0.05 dan 0.1 .
Gambar 2.3: Fungsi utilitas berbentuk fungsi pangkat (power function) 2.7 Teori Kontrol Optimal Stokastik
Teori Kontrol Optimal Stokastik tidak lain adalah teori kontrol optimal untuk sistem yang berbentuk stokastik. Keadaan sistem berbentuk persamaan diferensial stokastik (PDS) dan melibatkan parameter yang mengatur sistem sehingga sistem tersebut memenuhi keadaan yang diinginkan yaitu keadaan optimal. Parameter yang mengatur sistem tersebut disebut kontrol. 14
Secara matematika persamaan keadaan yang berbentuk persamaan diferensial stokastik tersebut dituliskan sebagai berikut
dX t = a(t , X t u )dt + b(t , X t , u )dWt ,
(2.21)
dengan parameter yang mengatur sistem atau kontrol u yang meminimumkan atau memaksimumkan suatu indeks performansi
⎛T ⎞ J (t , x, u ) = E ⎜⎜ ∫ F (t , x, u )dt + K (T , x) ⎟⎟. ⎝0 ⎠
(2.22)
Indeks performansi berupa ekspektasi sebuah fungsi karena dalam sistem stokastik yang acak (tidak pasti) maka kita hanya bisa mengambil ekspektasi suatu nilai. Fungsi K dan F adalah fungsi yang diberikan dimana bentuknya tergantung dari tujuan yang ingin dicapai. Nilai
minimum
atau
maksimum
dari
indeks
performansi
tersebut
dilambangkan oleh V (t , x) (value function) yang berbentuk V (t , x ) = min [ J (t , x, u )] atau V (t , x ) = max [ J (t , x, u )],
(2.23)
dimana value function tersebut harus memenuhi persamaan Hamilton-Jacobi Bellman (HJB) berikut min{ F (t , x, u ) + LV (t , x )} = 0 atau
max{ F (t , x, u ) + LV (t , x )} = 0. (2.24)
Keadaan akhir yang diinginkan adalah V (T , x ) = K (T , x ).
(2.25)
L adalah operator yang mempunyai bentuk L=
d ∂ ∂ 1 d i, j ∂2 + ∑ a i ( s , x, u ) + ∑ D ( s , x, u ) , ∂s i=1 ∂xi 2 i , j =1 ∂xi ∂x j
(2.26)
dimana D = bbT , sehingga LV (t , x) =
∂V d i ∂V 1 d i , j ∂ 2V + ∑ a ( s , x, u ) + ∑ D ( s , x, u ) . ∂s i=1 ∂xi 2 i , j =1 ∂xi ∂x j
(2.27)
15
Parameter yang mengatur sistem atau kontrol u ditentukan dengan langkahlangkah sebagai berikut •
Tentukan u yang memenuhi persamaan Hamilton-Jacobi-Bellman (HJB) (2.24) yaitu dengan cara menurunkan persamaan (2.24) terhadap u sebagai berikut ∂ ( F (t , x, u ) + LV (t , x)) = 0. ∂u
•
(2.28)
u yang didapat dari langkah pertama di atas dimasukkan kembali ke persamaan (2.24) dan dengan kondisi akhir (2.25) didapat bentuk
V (t , x) yang diinginkan. •
Bentuk V (t , x) yang diinginkan tersebut dimasukkan kembali ke u yang didapat dari persamaan (2.28) maka didapat kontrol u yang mengatur sistem sehingga mencapai kondisi yang diinginkan.
Selanjutnya akan ditunjukkan masalah kontrol optimal untuk sistem persamaan diferensial stokastik linear berikut. Perhatikan sistem yang dijelaskan dalam bentuk persamaan diferensial stokastik berikut dX t = A(t ) X t dt + B(t )u (t , X t )dt + G (t )dWt , t > t0 ,
(2.29)
dimana A(t ) matriks d × d , B(t ) matriks d × p dan G (t ) matriks d × m . Misalkan indeks performansi yang akan diminimumkan adalah
⎡T ⎤ J (t , x, u ) = E ⎢ ∫ F (t , x, u )dt + K (T , x)⎥ , ⎣0 ⎦
(2.30)
F (t , x, u ) = xT C (t ) x + u T D(t )u ,
(2.31)
K (T , x) = xT H (T ) x + a(T )T x + b(T ) ,
(2.32)
dengan
dimana C (t ) simetri dan definit non-negatif, D(t ) simetri dan definit positif. Value function yang diinginkan
V (t , x) = min[ J (t , x, u )] .
(2.33) 16
L=
∂2 ∂ 1 d d ∂ , (2.34) + ( A(t ) x + B(t )u ) + ∑∑ (G (t )G (t )T )ij ∂xi ∂x j ∂x 2 i =1 j =1 ∂t
sehingga 1 LV (t , x) = Vt + ( A(t ) x)T Vx + ( B (t )u )T Vx + tr (G (t )G (t )T Vxx ) , 2
(2.35)
∂ 2V ∂V ∂V dimana = Vx , 2 = Vxx . = Vt , ∂x ∂x ∂t Persamaan Hamilton-Jacobi-Bellman (HJB)
min[ F (t , x, u ) + LV (t , x)] = 0 .
(2.36)
1 min[Vt + ( A(t ) x)T Vx + ( B(t )u )T Vx + tr (G (t )G (t )T Vxx ) 2 T T + x C (t ) x + u D(t )u ] = 0.
(2.37)
Akan dicari u yang memenuhi persamaan HJB (2.37),yaitu ∂ 1 [Vt + ( A(t ) x)T Vx + ( B(t )u )T Vx + tr (G (t )G (t )T Vxx ) ∂u 2 T T + x C (t ) x + u D(t )u ] = 0,
(2.38)
Dari persamaan (2.28) diperoleh 1 u = − D(t ) −1 B(t )T Vx . 2
(2.39)
Dengan mensubtitusikan persamaan (2.39) ke persamaan (2.37) diperoleh 1 T 1 T Vt + tr (GGTVxx ) + Vx Ax − Vx BD −1BTVx + xT Cx = 0 . 4 2
(2.40)
Dengan kondisi akhir V (T , x) = K (t , x) = xT H (T ) x + a(T )T x + b(T ) .
(2.41)
Kita coba solusi yang berbentuk V (t , x) = xT Q(t ) x + q(t )T x + p(t ) ,
(2.42)
dimana Q(t ) simetri dan definit non-negatif. Dengan mensubstitusikan persamaan (2.42)
ke
persamaan
(2.40)
didapat
persamaan
diferensial
untuk
Q(t ), q(t ) dan p(t ) yang harus diselesaikan secara mundur mulai dari T ke t0 yaitu
17
Q& (t ) + AT Q + QA + C − QBD −1BT Q = 0, Q(T ) = H (T ). q& (t ) + ( AT − QBD −1BT )q = 0, q(T ) = a(T ). 1 p& (t ) + tr (GG T Q) − qT BD −1BT q = 0, p(T ) = b(T ). 4
(2.43)
Diketahui Vx = 2Qx + q dan dengan mensubtitusikannya ke persamaan (2.39) diperoleh 1 u = − D(t ) −1 B(t )T (2Q(t ) x + q(t )) . 2
(2.44)
Untuk a(T ) = 0 diperoleh q(t ) ≡ 0 maka u = − D (t ) −1 B(t )T Q(t ) x .
(2.45)
Jadi u yang memberikan nilai yang diinginkan adalah persamaan (2.45). 2.7.1 Persamaan Hamilton-Jacobi-Bellman (HJB)
Persamaan Hamilton-Jacobi-Bellman (HJB) adalah persamaan diferensial parsial yang penting dalam teori kontrol optimal. Solusi dari persamaan HJB adalah value function yang memberikan nilai yang optimal untuk suatu sistem dinamik dengan fungsi ongkos tertentu. Persamaan HJB ini diperoleh sebagai hasil dari teori pemrograman dinamik (theory of dynamic programming) yang dimulai oleh Richard Bellman dan rekanrekannya pada tahun 1950-an. Persamaan HJB yang berbentuk diskrit, biasa disebut persamaan Bellman (Bellman equation). Dalam bentuk kontinu persamaan ini disebut HJB sebagai hasil pengembangan oleh William Rowan Hamilton dan Carl Gustav Jacob Jacobi. Perhatikan masalah kontrol optimal deterministik berikut ⎡T ⎤ min ⎢ ∫ C ( x(t ), u (t ))dt + D( x(T ))⎥ , ⎣0 ⎦
(2.46)
terhadap
x& (t ) = F [ x(t ), u (t )] ,
(2.47)
18
dimana
x(t ) adalah
state
dari
sistem,
x(0) diberikan
dan
u (t ) untuk
0 ≤ t ≤ T adalah kontrol yang akan dicari. Untuk sistem yang sederhana ini
persamaan HJB-nya adalah ⎡⎛ ∂ ⎤ ∂ ⎞ V ( x, t ) + min ⎢⎜ V ( x, t ), F ( x, u ) ⎟ + C ( x, u )⎥ = 0 , u ∂t ⎠ ⎣⎝ ∂x ⎦
(2.48)
terhadap kondisi akhir V ( x, T ) = D ( x ) .
(2.49)
Fungsi V ( x, t ) yang tidak diketahui di atas disebut Bellman Value Function. Persamaan HJB diselesaikan secara mundur yaitu dimulai dari t=T hingga t=0. Persamaan HJB adalah syarat cukup (Sufficient Condition) untuk keoptimalan. Jika kita dapat menemukan V maka kita dapat menemukan kontrol u yang memberikan hasil optimal. Persamaan HJB ini dapat diperluas untuk sistem berbentuk stokastik.
19
