Information-theoretic approach for the characterization of interactions in nonlinear dynamical systems [Elektronische Ressource] / Anton Chernihovskyi

Anton Chernihovskyi

Sujets

• Physik

Informations

• Publié par: rheinische_friedrich-wilhelms-universitat_bonn
• Publié le: 01 janvier 2011
• Nombre de lectures: 18
• Langue: Deutsch
• Poids de l'ouvrage: 2 Mo

Extrait

Information-theoretic approach for the
characterization of interactions in
nonlinear dynamical systems
Dissertation zur
Erlangung des Doktorgrades (Dr. rer. nat.)
der
mathematisch-naturwissenschaftlichen Fakult¨at
der
Universit¨at Bonn
vorgelegt von
Anton Chernihovskyi
aus Aschgabat
Bonn, 2010ii
Angefertigt mit Genehmigung der Mathematisch-Naturwissenschaftlichen Fakult¨at der
Rheinischen Friedrich-Wilhelms-Universitat Bonn¨
1. Gutachter: Prof. Dr. K. Lehnertz
2. Gutachter: Prof. Dr. K. Maier
Tag der mu¨ndlichen Pru¨fung: 15. April 2011
Diese Dissertation ist auf dem Hochschulschriftenserver der ULB Bonn
http://hss.ulb.uni-bonn.de/diss_online elektronisch publiziert.
Erschienen 2011
In dieser Dissertation eingebunden:
• Zusammenfassungiii
Zusammenfassung
Mit Hilfe der Zeitreihenanalyse konnen Interaktionen zwischen naturlichen dynamischen¨ ¨
SystemenanhandexperimentellerDatencharakterisiertwerden.IndenletztenJahrenwur-
de eine Reihe von Maßen vorgestellt, die darauf abzielen, neben der Interaktionsrichtung
auch die Interaktionsst¨arke zu bestimmen. Die zur Charakterisierung von Interaktions-
richtungen konzipierte Transferentropie zeichnet sich gerade durch eine besonders hohe
Rauschtoleranz gegenu¨ber anderen Maßen aus.
Ziel der vorliegenden Arbeit ist es, zwei Limitationen, die die Interpretierbarkeit der Cha-
rakterisierungen mit der bisher vorgeschlagenen Transferentropie einschranken, zu unter-¨
suchen und auszura¨umen. Zum einen wird ein Verfahren entwickelt und implementiert,
mit dem langreichweitige Korrelationen besser beobachtet werden konnen, zum anderen¨
werden Korrekturen vorgeschlagen, die den Einfluss so genannter statischer Korrelationen
berucksichtigen.¨
Bei Charakterisierungen von Interaktionsrichtungen mit Hilfe der Transferentropiekonnten
langreichweitige Korrelationen nur durch die Abschatzung von hochdimensionalen Wahr-¨
scheinlichkeitsra¨umen beru¨cksichtigt werden. Fu¨r diese Absch¨atzung sind sehr viele Daten-
punkte innerhalb des Beobachtungsintervalls notwendig, was bei Felddaten, gemessen an
unbekanntenSystemen,mitderAnnahmederStationaritatineinemBeobachtungsintervall¨
konkurriert. Um diese Beschr¨ankung zu umgehen, wird in dieser Dissertation eine Verallge-
meinerungdesKonzeptsderEntropieimSinnevonLempel-ZivaufdasMaßderTransferen-
tropie u¨bertragen. Hierdurch k¨onnen langreichweitige Korrelationen ohne die Absch¨atzung
eines hochdimensionalen Wahrscheinlichkeitsraums bestimmt werden.
ZeitgleicheKorrelationenderzugrundeliegendenSignale-sogenanntestatischeKorrelatio-
nen-konnendieInterpretierbarkeitderCharakterisierungeinschranken.ZurBerucksichtigung¨ ¨ ¨
statistischerKorrelationenmitdenbishervorgestelltenMaßenwarebenfallseinemiteinem
großen Rechenaufwand verbundene Abscha¨tzung hochdimensionaler Wahrscheinlichkeiten
notwendig. In der vorliegenden Dissertation wird eine Korrektur der Transferentropie zur
Abscha¨tzung der statischen Korrelationen vorgeschlagen, ohne h¨oherdimensionale Terme
berechnen zu mussen.¨
Durch die in dieser Arbeit vorgestellten Maße und Korrekturen kann die Charakterisierung
der Interaktionsrichtung verbessert werden. Dabei wird anhand prototypischer Modellsys-
teme mit chaotischen Dynamiken demonstriert, dass die Charakterisierungen mit Hilfe der
vorgeschlagenen Maße und Korrekturen gerade bei Systemen, die ohne Zeitversatz inter-
agieren, besser interpretierbar sind. Weiterhin wurden Interaktionssta¨rke und Interakti-
onsrichtung an Zeitreihen hirnelektrischer Aktivitat von Epilepsiepatienten bestimmt und¨
mit Charakterisierungen der Transferentropie verglichen. Hierbei lasst sich zusammenfas-¨
sen, dass sich mit den in dieser Arbeit vorgestellten Maßen Kontraste unterschiedlicher
Interaktionsrichtungen besser auflosen lassen.¨ivContents
1. Introduction 1
2. Theoretical foundations 7
2.1. Deterministic approach to dynamical systems . . . . . . . . . . . . . . . . . 7
2.1.1. Continuous and discrete dynamical systems . . . . . . . . . . . . . . 7
2.1.2. Stability of dynamical systems . . . . . . . . . . . . . . . . . . . . . . 8
2.1.3. State space reconstruction and nonlinear time series analysis . . . . . 9
2.1.4. Characterizing chaotic behavior in nonlinear dynamical systems . . . 10
2.2. Stochastic approach to dynamical systems . . . . . . . . . . . . . . . . . . . 11
2.2.1. Random variables and stochastic processes . . . . . . . . . . . . . . . 12
2.2.2. Random variables in the state space of dynamical systems . . . . . . 17
2.2.3. Characterization of dynamical systems with Kolmogorov-Sinai entropy 18
2.3. Symbolic representation of dynamical systems . . . . . . . . . . . . . . . . . 19
2.3.1. Application of symbolic dynamics to time series analysis . . . . . . . 20
2.4. Kolmogorov complexity and data compression . . . . . . . . . . . . . . . . . 22
2.4.1. Lempel-Ziv complexity . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4.2. Lempel-Ziv complexity for multivariate data analysis . . . . . . . . . 24
3. Estimating Kolmogorov-Sinai entropy of chaotic dynamical system 27
3.1. Symbolic representation of tent map . . . . . . . . . . . . . . . . . . . . . . 28
3.1.1. Symbolic representation with permutation partition . . . . . . . . . . 29
3.1.2. Symbolic representation with threshold-crossing partition . . . . . . . 33
4. Characterization of interactions in dynamical systems 39
4.1. Characterizing strength of interactions with symbolic mutual information . 40
4.2. Characterizing directionality of interactions with symbolic transfer entropy . 45
4.2.1. Corrected symbolic transfer entropy . . . . . . . . . . . . . . . . . . . 46
4.2.2. Entropy transfer between time series of dynamical model systems . . 51
4.2.3. Entropy transfer between noise-contaminated time series . . . . . . . 58
4.3. Directional interactions in multivariate time series . . . . . . . . . . . . . . 63
5. Characterizing interactions in electroencephalograms of epilepsy patients 73
5.1. Epilepsy and electrical activity of the epileptic brain. . . . . . . . . . . . . . 73
5.2. Characterizing strength of interactions in electroencephalographic recordings 76
5.3. Characterizing directions of interactions in electroencephalographic recordings 80
6. Estimating entropy transfer between dynamical systems exhibiting long-term memories 93Contents vi
6.1. Directional interactions between R¨ossler oscillators . . . . . . . . . . . . . . 93
6.2. Conditional LZ-complexity and algorithmic transfer entropy . . . . . . . . . 98
6.3. Estimating algorithmic transfer entropy between model dynamical systems . 101
7. Summary and outlook 113
A. Appendix 117
A.1. Deterministic dynamical model systems . . . . . . . . . . . . . . . . . . . . . 117
A.2. Mean phase coherence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
A.3. Entropy of random variables and stochastic processes . . . . . . . . . . . . . 122
A.4. Measuring symbolic transfer entropy . . . . . . . . . . . . . . . . . . . . . . 1251. Introduction
In experiments, one is often interested in testing some hypothesis or making inferences
on the basis of temporal and/or spatial patterns observed in experimental data. Linear
methods of time series analysis provide us a solid toolkit for the characterization of various
important properties of experimental data such as dominant frequencies, linear correla-
tions, etc [Ste75, OS09]. All these methods are based on the assumption that the intrinsic
dynamics of the investigated system is governed by a linear equation. Since periodic oscil-
lations and an exponential growth/decay are the only possiblesolutions of linear equations,
all irregular behavior in such time series is usually associated with random external input.
However, developments in nonlinear dynamical systems theory provided evidence that the
irregular behavior may also arise as a result of a chaotic evolution of nonlinear dynamical
systems with purely deterministic equations of motion (see e.g. [ER85, EFS98]). This the-
oretical finding stimulated the development of the quickly growing field of nonlinear time
series analysis [KS03]. A group of nonlinear time series analysis methods associated with
the symbolization of experimental time series is often referred to the symbolic time series
analysis [Bl89, EFS98]. One of the main steps of the symbolic analysis includes the con-
struction of coarse-grained or symbolic representation of raw data. In this representation a
real-valued time series is transformed into a sequence of positive integers which are usually
called symbols. The resulting symbol sequence is then treated as a representation of the
original time series which retains much of the important temporal information. In gen-
eral, there are several practical advantages of using such a symbolic representation of data.
Fromanexperimentalpointofviewsucharepresentationcanprovideusacomputationally
efficient and robust against noise way to deal with experimental data. From a theoretical
point of view a symbolic representation of data allows us to directly apply a plethora of
information-theoretic methods to characterize interactions between underlying dynamical
systems.
It is known that the