Grey-box modelling for nonlinear systems [Elektronische Ressource] / Jan Hauth

Sujets

• Mathematics

Informations

• Publié par: technische_universitat_kaiserslautern
• Publié le: 01 janvier 2008
• Nombre de lectures: 26
• Langue: English
• Poids de l'ouvrage: 3 Mo

Extrait

i
i
i
i
i
i
i
i
Dissertation im Fachbereich Mathematik der Technischen
Universität Kaiserslautern
Grey-Box Modelling for Nonlinear
Systems
Jan Hauth
Dezember 2008
1. Gutachter: Prof. Dr. Dieter Prätzel-Wolters, Technische Universität Kaiserslautern
2. Gutachter: Prof. Dr. Jürgen Franke, Technische Universität Kaiserslautern
Datum der Disputation: 5. Juni 2008
Vom
Fachbereich Mathematik der Universität Kaiserslautern
zur Verleihung des akademischen Grades
Doktor der Naturwissenschaften
(Doctor rerum naturalium, Dr. rer. nat.)
genehmigte Dissertation
D 386i
i
i
i
i
i
i
ii
i
i
i
i
i
i
i
To my parents Irma born Scholtes and Kurt Hauth
In memoriam Prof. Walter Blankenheimi
i
i
i
i
i
i
ii
i
i
i
i
i
i
i
Abstract
Grey-box modelling deals with models which are able to integrate the following two kinds
of information: qualitative (expert) knowledge and quantitative (data) knowledge, with equal
importance. The doctoral thesis has two aims: the improvement of an existing neuro-fuzzy ap-
proach (LOLIMOT algorithm), and the development of a new model class with corresponding
identification algorithm, based on multiresolution analysis (wavelets) and statistical methods.
The identification algorithm is able to identify both hidden differential dynamics and hysteretic
components.
After the presentation of some improvements of the LOLIMOT algorithm based on readily
normalized weight functions derived from decision trees, we investigate several mathematical
theories, i.e. the theory of nonlinear dynamical systems and hysteresis, statistical decision the-
ory, and approximation theory, in view of their applicability for grey-box modelling. These
theories show us directly the way onto a new model class and its identification algorithm.
The new model class will be derived from the local model networks through the following
modifications: Inclusion of non-Gaussian noise sources; allowance of internal nonlinear dif-
ferential dynamics represented by multi-dimensional real functions; introduction of internal
hysteresis models through two-dimensional “primitive functions”; replacement respectively
approximation of the weight functions and of the mentioned multi-dimensional functions by
wavelets; usage of the sparseness of the matrix of the wavelet coefficients; and identification of
the wavelet coefficients with Sequential Monte Carlo methods. We also apply this modelling
scheme to the identification of a shock absorber.
vi
i
i
i
i
i
i
i
vii
i
i
i
i
i
i
i
Abstrakt
Grey-Box-Modellierung beschäftigt sich mit Modellen, die in der Lage sind folgende zwei
Arten von Information über ein reales System gleichbedeutend einzubeziehen: qualitatives
(Experten-)Wissen, und quantitatives (Daten-)Wissen. Die Dissertation hat zwei Ziele: die
Verbesserung eines existierenden Neuro-Fuzzy-Ansatzes (LOLIMOT-Algorithmus); und die
Entwicklung einer neuen Modellklasse mit zugehörigem Identifikations-Algorithmus, basie-
rend auf Multiskalenanalyse (Wavelets) und statistischen Methoden. Der resultierende Iden-
tifikationsalgorithmus ist in der Lage, sowohl verborgene Differentialdynamik als auch hyste-
retische Komponenten zu identifizieren.
Nach der Vorstellung einiger Verbesserungen des LOLIMOT-Algorithmus basierend auf
von vorneherein normalisierten Gewichtsfunktionen, die auf einer Konstruktion mit Entschei-
dungsbäumen beruhen, untersuchen wir einige mathematische Theorien, das sind die Theorie
nichtlinearer Systeme und Hysterese, statistische Entscheidungstheorie and Approximations-
theorie, im Hinblick auf deren Anwendbarkeit für Grey-Box-Modellierung. Diese Theorien
führen dann auf direktem Wege zu einer neuen Modellklasse und deren Identifikationsalgo-
rithmus. Die neue Modellklasse wird von Lokalmodellnetzwerken durch folgende Modifika-
tionen abgeleitet: Einbeziehung von nicht-Gaußschen Rauschquellen; Zulassung von inter-
ner nichtlinearer Differentialdynamik repräsentiert durch mehrdimensionale reelle Funktio-
nen; Einführung interner Hysterese-Modelle mittels zweidimensionaler „Stammfunktionen“;
Ersetzung bzw. Approximation der Gewichtsfunktionen und der erwähnten mehrdimensiona-
len Funktionen durch Wavelet-Koeffizienten; Ausnutzung der Dünnbesetztheit der Wavelet-
Koeffizienten-Matrix; und Identifikation der Wavelet-Koeffizienten mit Sequentiellen Monte
Carlo-Methoden. Wir wenden dieses Modellierungsschema dann auf die Identifikation eines
Stoßdämpfers an.
viii
i
i
i
i
i
i
i
viiii
i
i
i
i
i
i
i
Contents
Thanks xv
Overview xvii
Notations xxv
1 Introduction: Grey-box models and the LOLIMOT algorithm 1
1.1 Systems and models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.1 Nonlinear dynamical systems and model schemes . . . . . . . . . . . 2
1.1.2 Properties of systems and models . . . . . . . . . . . . . . . . . . . 6
1.1.3 Separation of dynamics . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.4 Linear combinations of basis functions and networks . . . . . . . . . 11
1.2 Local model networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 The LOLIMOT algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4 Problems and possible improvements . . . . . . . . . . . . . . . . . . . . . . 25
1.4.1 Decision trees und weight functions . . . . . . . . . . . . . . . . . . 30
1.4.2 Gradient based optimization . . . . . . . . . . . . . . . . . . . . . . 44
1.4.3 Applications of the gradient based optimization to the improvement
of the LOLIMOT algorithm . . . . . . . . . . . . . . . . . . . . . . 57
2 Dealing with time: Dynamics 63
2.1 Deterministic models for dynamical systems . . . . . . . . . . . . . . . . . . 64
2.2 Preisach hysteresis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
2.2.1 Definition and properties . . . . . . . . . . . . . . . . . . . . . . . . 75
2.2.2 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
2.2.3 Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
2.3 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
3 Stochastic decision theory: Bridge between theory and reality 117
3.1 Models for reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
3.2 Bayesian statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.2.1 Bayes’ theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.2.2 Foundations of decision theory . . . . . . . . . . . . . . . . . . . . . 126
3.2.3 Justifications for Bayesian inference . . . . . . . . . . . . . . . . . . 135
3.3 Priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
3.3.1 Strategies for prior determination . . . . . . . . . . . . . . . . . . . 140
3.3.2 Hierarchical Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
ixi
i
i
i
i
i
i
i
Contents
3.4 Stochastic models and Bayesian estimation . . . . . . . . . . . . . . . . . . 150
3.4.1 Static normal models . . . . . . . . . . . . . . . . . . . . . . . . . . 150
3.4.2 Dynamic models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
3.4.3 Markov chains . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
3.4.4 Graphical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
3.5 Computational issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
3.5.1 Bayesian calculations . . . . . . . . . . . . . . . . . . . . . . . . . . 170
3.6 State space systems and recursive computations . . . . . . . . . . . . . . . . 183
3.6.1 General state space models . . . . . . . . . . . . . . . . . . . . . . . 183
3.6.2 Filtering and smoothing . . . . . . . . . . . . . . . . . . . . . . . . 186
3.6.3 Exact algorithms for filtering and smoothing . . . . . . . . . . . . . 192
3.6.4 Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
4 Signal processing, representation and approximation: Wavelets 209
4.1 Wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
4.1.1 Signal analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
4.1.2 Time-scale wavelets . . . . . . . . . . . . . . . . . . . . . . . . . . 215
4.1.3 The continuous wavelet transform . . . . . . . . . . . . . . . . . . . 217
4.1.4 The discrete wavelet transform . . . . . . . . . . . . . . . . . . . . . 219
4.1.5 Multiresolution analysis and Fast Wavelet Transform (FWT) . . . . . 221
4.1.6 Wavelet packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
4.2 Nonlinear approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
4.2.1 Approximation theory . . . . . . . . . . . . . . . . . . . . . . . . . 236
4.2.2 Approximation and wavelets . . . . . . . . . . . . . . . . . . . . . . 248
4.2.3 Highly nonlinear approximation . . . . . . . . . . . . . . . . . . . . 254
4.3 Wavelets and Bayesian techniques: Denoising . . . . . . . . . . . . . . . . . 262
4.4 Wavelets a