Discretisation of continuous time stochastic optimal control problems with delay [Elektronische Ressource] / vorgelegt von Markus Fischer

Sujets

• Mathematics

Informations

• Publié par: ruprecht-karls-universitat_heidelberg
• Publié le: 01 janvier 2008
• Nombre de lectures: 26
• Langue: English

Extrait

Inaugural - Dissertation
zur
Erlangung der Doktorwürde
der
Naturwissenschaftlich-Mathematischen Gesamtfakultät
der
Ruprecht-Karls-Universität
Heidelberg
vorgelegt von
Diplom-Mathematiker
Markus Fischer
aus Berlin
Datum (Tag der mündlichen Prüfung): 20. November 2007Discretisation of continuous-time stochastic
optimal control problems with delay
Prof. Dr. Markus ReißGutachter:
Universität Heidelberg
Prof. Salah-Eldin A. Mohammed
Southern Illinois University, Carbondalei
Abstract
Inthepresentwork,westudydiscretisationschemesforcontinuous-timestochasticoptimal
controlproblemswithtimedelay.Thedynamicsofthecontrolproblemstobeapproximated
aredescribedbycontrolledstochasticdelay(orfunctional)differentialequations.Thevalue
functions associated with such control problems are defined on an infinite-dimensional
function space.
The discretisation schemes studied are obtained by replacing the original control pro-
blem by a sequence of approximating discrete-time Markovian control problems with finite
or finite-dimensional state space. Such a scheme is convergent if the value functions as-
sociated with the approximating control problems converge to the value function of the
original problem.
Following a general method for the discretisation of continuous-time control problems,
sufficient conditions for the convergence of discretisation schemes for a class of stochastic
optimal control problems with delay are derived. The general method itself is cast in a
formal framework.
A semi-discretisation scheme for a second class of stochastic optimal control problems
with delay is proposed. Under standard assumptions, convergence of the scheme as well
as uniform upper bounds on the discretisation error are obtained. The question of how
to numerically solve the resulting discrete-time finite-dimensional control problems is also
addressed.ii
Zusammenfassung
In der vorliegenden Arbeit untersuchen wir Schemata zur Diskretisierung von zeitsteti-
genstochastischenKontrollproblemenmitZeitverzögerung.DieDynamiksolcherProbleme
wird von gesteuerten stochastischen Differentialgleichungen mit Gedächtnis beschrieben.
Die zugehörigen Wertfunktionen sind auf einem unendlich-dimensionenalen Funktionen-
raum definiert.
ManerhältdieDiskretisierungsschemata,diewirbetrachten,indemmandasAusgangs-
problem durch eine Folge approximierender zeitdiskreter Markovscher Kontrollprobleme
ersetzt, deren Zustandsraum endlich-dimensional oder endlich ist. Ein solches Schema ist
konvergent, wenn die Wertfunktionen der approximierenden Steurungsprobleme gegen die
Wertfunktion des ursprünglichen Problems streben.
Indem wir eine allgemeine Methode zur Diskretisierung zeitstetiger Kontrollprobleme
anwenden,erhaltenwirhinreichendeBedingungenfürdieKonvergenzvonDiskretisierungs-
schematafüreineKlassevonstochastischenSteuerungsproblemenmitZeitverzögerung.Die
Methode zur Konvergenzanalyse selbst wird in einen formalen Rahmen gefasst.
Wir führen dann ein Semidiskretisierungsschema für eine zweite Klasse von stochasti-
schen Steuerungsproblemen mit Zeitverzögerung ein. Unter üblichen Annahmen werden
die Konvergenz des Schemas, aber auch gleichmäßige obere Schranken für den Diskreti-
sierungsfehler hergeleitet. Schließlich widmen wir uns der Frage, wie die resultierenden
endlich-dimensionalen Steuerungsprobleme numerisch gelöst werden können.iii
Danksagung
Für den Vorschlag des Gebietes, in das die vorliegende Arbeit fällt, und die Betreuung und
ununterbrochene Unterstützung in allen fachlichen und auch außerfachlichen Fragen danke
ich Prof. Markus Reiß. Mein Dank gebührt Prof.ssa Giovanna Nappo von der Universi-
tät “La Sapienza” für die fruchtbare Zusammenarbeit und ihre Gastfeundschaft während
meines Aufenthalts in Rom von April bis September 2006. Für die Unterstützung bei der
Organisation dieses Aufenthalts danke ich Prof. Peter Imkeller.
Den Mitgliedern der Forschungsgruppe “Stochastische Algorithmen und Nichtparame-
trische Statistik” am Weierstraß Institut (WIAS) in Berlin und den Mitgliedern der Sta-
tistikgruppe an der Universität Heidelberg danke ich für die angenehme gemeinsam ver-
brachte Zeit.
Für wertvolle Hinweise zur Theorie deterministischer Kontrollprobleme danke ich Prof.
Maurizio Falcone. Für fachliche Gespräche, Anregungen und Unterstützung danke ich
Stefan Ankirchner, Christian Bender, Christine Grün, Jan Johannes, Alexander Linke,
Jan Neddermeyer, Eva Saskia Rohrbach und Karsten Tabelow.
Finanzielle Unterstützung von Seiten der Deutschen Forschungsgemeinschaft (DFG)
und des ESF-Programms “Advanced Methods in Mathematical Finance” erkenne ich dan-
kend an.
Schließlich und endlich danke ich Stella für ihre Geduld und ihr Verständnis.ivContents
Notation and abbreviations vii
1 Introduction 1
1.1 Stochastic optimal control problems with delay . . . . . . . . . . . . . . . . 1
1.1.1 Stochastic delay differential equations . . . . . . . . . . . . . . . . . 2
1.1.2 Optimal control problems with delay . . . . . . . . . . . . . . . . . . 5
1.2 Examples of optimal control problems with delay . . . . . . . . . . . . . . . 8
1.2.1 Linear quadratic control problems . . . . . . . . . . . . . . . . . . . 8
1.2.2 A simple model of resource allocation . . . . . . . . . . . . . . . . . 10
1.2.3 Pricing of weather derivatives . . . . . . . . . . . . . . . . . . . . . . 12
1.2.4 Delay problems reducible to finite dimension . . . . . . . . . . . . . 13
1.3 Approximation of continuous-time control problems . . . . . . . . . . . . . . 15
1.4 Aim and scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 The Markov chain method 21
2.1 Kushner’s approximation method . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 An abstract framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.1 Optimisation and control problems . . . . . . . . . . . . . . . . . . . 26
2.2.2 Approximation and convergence . . . . . . . . . . . . . . . . . . . . . 31
2.3 Application to stochastic control problems with delay . . . . . . . . . . . . . 33
2.3.1 The original control problem . . . . . . . . . . . . . . . . . . . . . . 34
2.3.2 Existence of optimal strategies . . . . . . . . . . . . . . . . . . . . . 36
2.3.3 Approximating chains . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.3.4 Convergence of the minimal costs . . . . . . . . . . . . . . . . . . . . 45
2.3.5 An auxiliary result . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3 Two-step time discretisation and error bounds 51
3.1 The original control problem. . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2 First discretisation step: Euler-Maruyama scheme . . . . . . . . . . . . . . . 58
3.3 Second discretisation step: piecewise constant strategies . . . . . . . . . . . 63
3.4 Bounds on the total error . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
3.5 Solving the control problems of degree (N,M) . . . . . . . . . . . . . . . . . 72
3.6 Conclusions and open questions . . . . . . . . . . . . . . . . . . . . . . . . . 77
vvi CONTENTS
A Appendix 79
A.1 On the Principle of Dynamic Programming . . . . . . . . . . . . . . . . . . 79
A.2 On the modulus of continuity of Itô diffusions . . . . . . . . . . . . . . . . . 81
A.3 Proofs of “constant coefficients” error bounds . . . . . . . . . . . . . . . . . 85
Bibliography 95