Independent component analysis and slow feature analysis [Elektronische Ressource] : relations and combination / von Tobias Blaschke

Tobias Blaschke

Sujets

• Mathematics
• Physik

Informations

• Publié par: humboldt-universitat_zu_berlin
• Publié le: 01 janvier 2005
• Nombre de lectures: 30
• Langue: English
• Poids de l'ouvrage: 24 Mo

Extrait

IndependentComponentAnalysisandSlowFeature
Analysis: RelationsandCombination
DISSERTATION
zurErlangungdesakademischenGrades
doctorrerumnaturalium
(Dr. rer. nat.)
imFachPhysik
eingereichtander
Mathematisch NaturwissenschaftlichenFakultätI
derHumboldt UniversitätzuBerlin
von
HerrnDipl. Phys. TobiasBlaschke
geborenam02.10.1972inRüsselsheim
PräsidentderHumboldt UniversitätzuBerlin:
Prof. Dr. JürgenMlynek
DekanderMathematisch NaturwissenschaftlichenFakultätI:
Prof. ThomasBuckhout,PhD
Gutachter:
1. Dr. LaurenzWiskott
2. Prof. Dr. KlausObermayer
3. Prof. Dr. LutzSchimansky Geier
eingereichtam: 25. August2004
TagdermündlichenPrüfung: 02. Februar2005IndependentComponentAnalysisandSlowFeatureAnalysis:
RelationsandCombination
TobiasBlaschkeAbstract
Withinthisthesis,wefocusontherelationbetweenindependentcomponentanalysis(ICA)andslowfeature
analysis (SFA). To allow a comparison both methods we introduce CuBICA2, an ICA algorithm
basedonsecond orderstatisticsonly,i.e.cross correlations. Incontrasttoalgorithmsbasedonhigher order
statistics not only instantaneous cross correlations but also time delayed cross correlations are considered
for minimization. CuBICA2 requires signal components with auto correlation like in SFA, and has the
ability to separate source signal components that have a Gaussian distribution. Furthermore, we derive an
alternativeformulationoftheSFAobjectivefunctionandcompareitwiththatofCuBICA2. Inthecaseofa
linear mixture the two methods are equivalent if a single time delay is taken into account. The comparison
cannotbeextendedtothecaseofseveraltimedelays. ForICAastraightforwardextensioncanbederived,
but a similar extension to SFA yields an objective function that can not be interpreted in the sense of SFA.
However,ausefulextensioninthesenseofSFAtomorethanonetimedelaycanbederived. Thisextended
SFArevealsthecloseconnectionbetweentheslownessobjectiveofSFAandtemporalpredictability.
Furthermore, we combine CuBICA2 and SFA. The result can be interpreted from two perspectives.
From the ICA point of view the combination leads to an algorithm that solves the nonlinear blind source
separation problem. From the SFA point of view the combination of ICA and SFA is an extension to SFA
in terms of statistical independence. Standard SFA extracts slowly varying signal components that are un
correlated meaning they are statistically independent up to second order. The integration of ICA leads to
signalcomponentsthataremoreorlessstatisticallyindependent.
Keywords:
IndependentComponentAnalysis,SlowFeatureAnalysis,NonlinearBlindSourceSeparation,SlownessZusammenfassung
Der Fokus dieser Dissertation liegt auf den Verbindungen zwischen ICA (Independent Component Ana
lysis - Unabhängige Komponenten Analyse) und SFA (Slow Feature Analysis - Langsame Eigenschaften
Analyse). Um einen Vergleich zwischen beiden Methoden zu ermöglichen wird CuBICA2, ein ICA Algo
rithmus basierend nur auf Statistik zweiter Ordnung, d.h. Kreuzkorrelationen, vorgestellt. Dieses Verfah
renminimiertzeitverzögerteKorrelationenzwischenSignalkomponenten,umdiestatistischeAbhängigkeit
zwischen denselben zu reduzieren. Zusätzlich wird eine alternative SFA Formulierung vorgestellt, die mit
CuBICA2 verglichen werden kann. Im Falle linearer Gemische sind beide Methoden äquivalent falls nur
eineeinzigeZeitverzögerungberücksichtigtwird.DieserVergleichkannallerdingsnichtaufmehrereZeit
verzögerungen erweitert werden. Für ICA lässt sich zwar eine einfache Erweiterung herleiten, aber ein
ähnliche SFA Erweiterung kann nicht im originären SFA Sinne (SFA extrahiert die am langsamsten vari
ierenden Signalkomponenten aus einem gegebenen Eingangssignal) interpretiert werden. Allerdings kann
eine im SFA Sinne sinnvolle Erweiterung hergeleitet werden, welche die enge Verbindung zwischen der
LangsamkeiteinesSignales(SFA)undderzeitlichenVorhersehbarkeitdesselbenverdeutlich.
Im Weiteren wird CuBICA2 und SFA kombiniert. Das Resultat kann aus zwei Perspektiven interpre
tiert werden. Vom ICA Standpunkt aus führt die Kombination von CuBICA2 und SFA zu einem Algo
rithmus, der das Problem der nichtlinearen blinden Signalquellentrennung löst. Vom SFA Standpunkt aus
ist die Kombination eine Erweiterung der standard SFA. Die standard SFA extrahiert langsam variierende
Signalkomponenten die untereinander unkorreliert sind, dass heißt statistisch unabhängig bis zur zweiten
Ordnung. Die Integration von ICA führt nun zu Signalkomponenten die mehr oder weniger statistisch un
abhängigsind.
Schlagwörter:
Unabhängige Komponenten Analyse, Langsame Komponenten Analyse, Nicthlineare Blinde Signalquel
lentrennung,LangsamkeitAcknowledgements
TherearelotsofpeopleIwouldliketothankforahugevarietyofreasons. Firstandforemost,Iwishto
thank my advisor, Laurenz Wiskott for his constant support and guidance throughout these years. Without
hisprecisecommentsandquestionsthisworkwouldnothavebecomelikeitispresentedhere. Iwillalways
remember: A(good)picturesaysmorethan1000formulas. IamalsogreatlyindebtedtoAndreasHerzfor
creating an exciting research environment at the ITB, where I had the opportunity to benefit from the rich
scientificlife.
I am also grateful to Pietro Berkes for many fruitful discussions on SFA and ICA. He always listened
to whatever mathematical issue I came up with. Furthermore I want to thank Tiziano Zito and Mathias
Franzius my other room mates. There was always time for questions, discussion and for some espressi. I
havealsobeeninspiredbyChristianMichaelisandThomasVoegtlin.
Special thanks go to Irina Erchova for relaxing coffee breaks, interesting discussions, and Russian
music. Special thanks also to Susanne Schreiber for ice cream and help in various occasions. Of the
other people at the ITB, I would especially like to thank Roberto Fernández Galán, Richard Kempter, Tim
Gollisch, and Raphael Ritz for his helpful comments on my first manuscript. Thanks also to Jan Benda,
JürgenNeubauer,andChristianZemlin: itwasapleasuretosingwithyouintheITBchoir. Furthermore,I
wouldliketothankallotherpeopleattheITBwhohelpedcreatinganinspiringatmosphereattheinstitute.
IamalsoindebtedtotheVolkswagenFoundationwhosupportedthiswork.
I would like to thank Maren Gerhardt, for being there and for her support and patience in many situa
tions;andofcourseJaromirandFrida,thetwomostlovelykids,whosometimesremindedmeofthereally
important things in live. I am grateful to Dana Berg, Bö Yehoash, an Karoline Körber for babysitting and
beyond. IalwaysenjoyedourweekendsintheUckermark.
Last not least, I want to thank my parents for their support throughout all these years. They helped me
duringmystudiesinmanywaysandwherealwaystheretogivemeadvice.
VIIContents
1 Introduction 1
I BasicConcepts 5
2 Statistics 7
2.1 CharacteristicFunctions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 MomentsandCumulants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.1 Moments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2.2 Cumulants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.3 RelationsbetweenMomentsandCumulants . . . . . . . . . . . . . . . . . . . . . 10
2.2.4 PropertiesofMomentsandCumulants . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.5 EstimatingMomentsandCumulants . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3 Gram Charlier/EdgeworthExpansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.4 CumulantsandProbabilityDensityFunctions . . . . . . . . . . . . . . . . . . . . . . . . 14
2.4.1 ExamplesofProbabilityDensityFunctionsandtheirHigher OrderCumulants . . 15
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3 MeasuresofIndependenceandtheirApproximations 19
3.1 Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 KullbackLeiblerDivergenceandMutualInformation . . . . . . . . . . . . . . . . . . . . 20
3.3 NegentropyandMutualInformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.4 ApproximationoftheNegentropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4 BlindSourceSeparationandIndependentComponentAnalysis 25
4.1 PrincipalComponentAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
4.2 LinearBlindSourceSeparationandIndependentComponentAnalysis . . . . . . . . . . . 26
4.3IndependentComponentAnalysis . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.3.1 Atwo stageApproach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.3.2 ContrastFunction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.4 IndependentComponentAnalysisBasedonSecond OrderStatistics . . . . . . . . . . . . 30
4.5 NonlinearBlindSourceSeparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.6 DiagonalizationScheme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.6.1 GivensRotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4.6.2 JacobiMethod . . . . .