Blind source separation based on joint diagonalization of matrices with applications in biomedical signal processing [Elektronische Ressource] / von Andreas Ziehe

Informations

• Publié par: universitat_potsdam
• Publié le: 01 janvier 2005
• Nombre de lectures: 34
• Langue: English
• Poids de l'ouvrage: 2 Mo

Extrait

Blind Source Separation
based on
Joint Diagonalization of Matrices
with Applications in
Biomedical Signal Processing
Dissertation
zur Erlangung des akademischen Grades
doctor rerum naturalium
{ Dr. rer. nat. {
eingereicht an der
Mathematisch-Naturwissenschaftlichen Fakult at
der Universit at Potsdam
von
Andreas Ziehe
Potsdam, im April 2005Contents
Abstract vii
Zusammenfassung ix
Acknowledgements xi
1 Introduction 1
1.1 The Biomedical Signal Processing Challenge . . . . . . . . . . 2
1.2 Algorithmical Solutions . . . . . . . . . . . . . . . . . . . . . 3
1.3 Outline of the Thesis . . . . . . . . . . . . . . . . . . . . . . . 4
2 Blind Source Separation 5
2.1 Problem Statement . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 ICA Approach . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 Statistical Independence . . . . . . . . . . . . . . . . . 8
2.2.2 Characteristic Function . . . . . . . . . . . . . . . . . 8
2.2.3 Mutual Information . . . . . . . . . . . . . . . . . . . 9
2.2.4 Maximum-Likelihood Estimation . . . . . . . . . . . . 9
2.3 Joint Diagonalization Approach . . . . . . . . . . . . . . . . . 10
2.3.1 From BSS to AJD . . . . . . . . . . . . . . . . . . . . 11
2.3.2 Symmetrizing . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.3 A Two-Stage Algorithm . . . . . . . . . . . . . . . . . 12
2.3.4 Generic Algorithm for BSS . . . . . . . . . . . . . . . 13
2.3.5 Possible Target Matrices . . . . . . . . . . . . . . . . . 14
Non-Gaussianity . . . . . . . . . . . . . . . . . . . . . 14
Non-Stationarity . . . . . . . . . . . . . . . . . . . . . 16
Non-Flatness . . . . . . . . . . . . . . . . . . . . . . . 16
2.4 Summary and Conclusion . . . . . . . . . . . . . . . . . . . . 17
3 Approximate Joint Diagonalization of Matrices 19
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Eigenvalues, Eigenvectors, Diagonalization . . . . . . . 20
Generalized Eigenvalue Problem . . . . . . . . . . . . 20
Approximate Joint Diagonalization . . . . . . . . . . 20iv CONTENTS
3.2 Solving the Joint Diagonalization Problem . . . . . . . . . . . 21
3.2.1 Three Cost Functions . . . . . . . . . . . . . . . . . . 21
3.2.2 Our Approach . . . . . . . . . . . . . . . . . . . . . . 23
3.2.3 General Structure of Our Algorithm . . . . . . . . . . 23
3.2.4 Structure Preserving Updates . . . . . . . . . . . . . . 25
The Exponential Map . . . . . . . . . . . . . . . . . . 25
Orthogonal case . . . . . . . . . . . . . . . . . . . . . 26
Non-Orthogonal case . . . . . . . . . . . . . . . . . . . 28
3.2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Computation of the Update Matrix . . . . . . . . . . . . . . . 30
3.3.1 Relative Gradient Algorithm: DOMUNG . . . . . . . 30
3.3.2e Newton-like FFDiag . . . . . . . 31
Discussion . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4 Numerical Simulations 37
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 Performance Measures . . . . . . . . . . . . . . . . . . . . . . 38
4.3 FFDiag in Practice . . . . . . . . . . . . . . . . . . . . . . . 38
4.3.1 \Sanity check" Experiment . . . . . . . . . . . . . . . 38
4.3.2 Diagonalizable vs Non-Diagonalizable Case . . . . . . 39
4.4 Comparison with other Algorithms . . . . . . . . . . . . . . . 40
4.4.1 Gradient vs Newton-like Updates . . . . . . . . . . . . 42
4.5 Computational E ciency . . . . . . . . . . . . . . . . . . . . 43
4.6 Blind Source Separation . . . . . . . . . . . . . . . . . . . . . 44
4.6.1 Blind of Audio Signals . . . . . . . . . . . 44
4.6.2 Noisy mixtures . . . . . . . . . . . . . . . . . . . . . . 45
4.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5 Applications 49
5.1 Biomedical signal processing . . . . . . . . . . . . . . . . . . . 49
5.1.1 Artifact Reduction by Adaptive Spatial Filtering . . . 50
Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
Artifact Reduction Procedure . . . . . . . . . . . . . . 51
Performance Evaluation . . . . . . . . . . . . . . . . . 52
Results . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.1.2 DC Magnetometry . . . . . . . . . . . . . . . . . . . . 56
Medical Background . . . . . . . . . . . . . . . . . . . 56
Technical bac . . . . . . . . . . . . . . . . . . 56
Experimental Setup . . . . . . . . . . . . . . . . . . . 57
Data Acquisition and Validation . . . . . . . . . . . . 57
Matrices to be Diagonalized . . . . . . . . . . . . . . . 59
Results . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . 60CONTENTS v
5.2 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6 Conclusions 65
6.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.2.1 Algorithms . . . . . . . . . . . . . . . . . . . . . . . . 66
6.2.2 Biomedical Applications . . . . . . . . . . . . . . . . . 67
6.2.3 Other . . . . . . . . . . . . . . . . . . . . 67
A Notation 69
A.1 Abbreviations . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
A.2 Mathematical Notation . . . . . . . . . . . . . . . . . . . . . 71
B Some basic group theory 73
B.1 Matrix Lie Groups . . . . . . . . . . . . . . . . . . . . . . . . 73
Examples of Lie Groups and Lie Algebras . . . . . . . 75Abstract
This thesis is concerned with the solution of the blind source separation
problem (BSS). The BSS problem occurs frequently in various scienti c
and technical applications. In essence, it consists in separating meaning-
ful underlying components out of a mixture of a multitude of superimposed
signals.
In the recent research literature there are two related approaches to
the BSS problem: The rst is known as Independent Component Analysis
(ICA), where the goal is to transform the data such that the components
become as independent as possible. The second is based on the notion of
diagonality of certain characteristic matrices derived from the data. Here
the goal is to transform the matrices such that they become as diagonal
as possible. In this thesis we study the latter method of approximate joint
diagonalization (AJD) to achieve a solution of the BSS problem. After
an introduction to the general setting, the thesis provides an overview on
particular choices for the set of target matrices that can be used for BSS by
joint diagonalization.
As the main contribution of the thesis, new algorithms for approximate
joint diagonalization of several matrices with non-orthogonal transforma-
tions are developed.
These newly developed algorithms will be tested on synthetic benchmark
datasets and compared to other previous diagonalization algorithms.
Applications of the BSS methods to biomedical signal processing are dis-
cussed and exempli ed with real-life data sets of multi-channel biomagnetic
recordings.
viiZusammenfassung
Diese Arbeit befasst sich mit der L osung des Problems der blinden Sig-
nalquellentrennung (BSS). Das BSS Problem tritt h au g in vielen wissen-
schaftlichen und technischen Anwendungen auf. Im Kern besteht das Prob-
lem darin, aus einem Gemisch von ub erlagerten Signalen die zugrundeliegen-
den Quellsignale zu extrahieren.
In wissenschaftlichen Publikationen zu diesem Thema werden haupts ach-
lich zwei L osungsans atze verfolgt:
Ein Ansatz ist die sogenannte \Analyse der unabh angigen Komponen-
ten", die zum Ziel hat, eine lineare Transformation V der Daten X zu
nden, sodass die Komponenten U der transformierten Daten U = VX (dien
sogenannten \independent components") so unabh angig wie m oglich sind.
Ein anderer Ansatz beruht auf einer simultanen Diagonalisierung mehrerer
spezieller Matrizen, die aus den Daten gebildet werden. Diese M oglichkeit
der L osung des Problems der blinden Signalquellentrennung bildet den Schw-
erpunkt dieser Arbeit.
Als Hauptbeitrag der vorliegenden Arbeit pr asentieren wir neue Algo-
rithmen zur simultanen Diagonalisierung mehrerer Matrizen mit Hilfe einer
nicht-orthogonalen Transformation.
Die neu entwickelten Algorithmen werden anhand von numerischen Sim-
ulationen getestet und mit bereits bestehenden Diagonalisierungsalgorith-
men verglichen. Es zeigt sich, dass unser neues Verfahren sehr e zien t und
leistungsf ahig ist. Schlie lic h werden Anwendungen der BSS Methoden auf
Probleme der biomedizinischen Signalverarbeitung erl autert und anhand von
realistischen biomagnetischen Messdaten wird die Nutzlic hkeit in der explo-
rativen Datenanalyse unter Beweis gestellt.
ix