Solving regularized total least squares problems based on Eigenproblems [Elektronische Ressource] / von Jörg Lampe

Xpmuser

Sujets

• Mathematics

Informations

• Publié par: technische_universitat_hamburg-harburg
• Publié le: 01 janvier 2010
• Nombre de lectures: 24
• Langue: Deutsch
• Poids de l'ouvrage: 1 Mo

Extrait

Solving Regularized Total Least
Squares Problems Based on
Eigenproblems
Vom Promotionsausschuss der
Technischen Universität Hamburg-Harburg
zur Erlangung des akademischen Grades
Doktor der Naturwissenschaften
genehmigte Dissertation
von
Jörg Lampe
aus
Hamburg
2010Lampe, Jörg:
Solving Regularized Total Least Squares Problems Based on
Eigenproblems / Jörg Lampe. –
Als Ms. gedr.. – Berlin : dissertation.de – Verlag im Internet GmbH, 2010
Zugl.: Hamburg-Harburg, Techn. Univ., Diss., 2010
ISBN 978-3-86624-504-4



1. Gutachter: Prof. Dr. Heinrich Voß
2. Gutachter: Prof. Dr. Zdeněk Strakoš
3. Gutachter: Prof. Dr. Lothar Reichel
Tag der mündlichen Prüfung: 13.05.2010


Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der
Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im
Internet über http://dnb.d-nb.de abrufbar.



dissertation.de – Verlag im Internet GmbH 2010



Alle Rechte, auch das des auszugsweisen Nachdruckes, der auszugsweisen
oder vollständigen Wiedergabe, der Speicherung in
Datenverarbeitungsanlagen, auf Datenträgern oder im Internet und der Übersetzung,
vorbehalten.




Es wird ausschließlich chlorfrei gebleichtes
Papier (TCF) nach DIN-ISO 9706 verwendet.
Printed in Germany.





dissertation.de - Verlag im Internet GmbH

URL: http://www.dissertation.de
Ich möchte mich bei den Mitarbeitern des Instituts für Numerische Simulation an
der TUHH für die schönen letzten Jahre bedanken. In zahlreichen Diskussionen,
Vorträgen, Übungsgruppen und Vorlesungen habe ich jede Menge dazugelernt, in
erster Linie natürlich fachlich, und manches Mal auch nicht ganz so fachlich. Die
Arbeit am Institut sowie die Fertigstellung dieses Buches haben mir stets sehr viel
Freude bereitet.
Ein besonderer Dank gilt Prof. Heinrich Voß, der mich stets unterstützt hat und
immer ein offenes Ohr für mich hatte.
Das größte Dankeschön geht an meine Frau Katrin, die mir besonders in dieser Zeit
seelisch eine starke Stütze war – sowie an unseren Sohnemann Nils, der mir auch an
stressigen Tagen ein Lächeln auf das Gesicht zaubern kann.Contents
1 Introduction 1
2 Regularized Least Squares Problems 3
2.1 LeastSquaresProblems . . ........... .......... . . 4
2.2 Ill-conditionedLSProblems .. 6
2.2.1 Rank-DeficientProblems ......... .. 6
2.2.2 DiscreteIll-PosedProblems ....... .......... .. 6
2.3 RLSwithoutRegularizationMatrix .. 9
2.3.1 TruncatedSVD ... ........... .. 9
2.3.2 IterativeMethods . . .......... .. 10
2.4 RegularizationMatrixL .. .. 12
2.5 RLSwithRegularizationMatrix......... .. 21
2.5.1 TruncatedGeneralizedSVD ....... .......... .. 21
2.5.2 TikhonovRegularizationforLSProblems ......... .. 23
2.5.3 HybridMethods... ........... .. 25
2.6 QuadraticallyConstrainedLS .......... .......... .. 26
2.6.1 Trust-RegionProblems . . 27
2.6.2 Solution by one Quadratic Eigenvalue Problem . . . . . . . . . 32
2.6.3 LSTRSMethod ... ........... .......... . . 35
2.7 DetermineHyperparameterforLS........ .. 49
2.7.1 DiscrepancyPrinciple .. 51
2.7.2 InformationCriteria .......... .. 52
2.7.3 GeneralizedCrossValidation....... .. 52
2.7.4 L-curve ....... ........... .. 52
2.8 Summary .......... .......... .. 57
3 Regularized Total Least Squares Problems 59
3.1 TotalLeastSquares..... ........... .. 60
3.1.1 TLSProblem .... .......... .. 60
3.1.2 CoreProblem .. 63
3.1.3 ExtensionsofTLS . .. 67
3.2 RTLSwithoutRegularizationMatrix ...... .......... .. 68
3.2.1 TruncatedTotalLeastSquares . . 68
3.2.2 KrylovMethodsforTLS ......... .. 69
iContents
3.3 RTLSwithRegularizationMatrix .... ........... ..... 70
3.3.1 TikhonovRegularizationforTLS 71
3.3.2 AboutHybridMethodsinRTLS ..... 75
3.3.3 DualRTLS . . .......... 76
3.4 QuadraticallyConstrainedTLS ..... ........... ..... 77
3.4.1 RTLSFixedPointIteration ... 80
3.4.2 RTLSQEP... .......... ..... 89
3.4.3 RTLSEVP ... 115
3.5 DetermineHyperparameterforTLS... ........... ..... 136
3.5.1 L-curveforRTLS ......... 137
3.5.2 SequenceofRTLSProblems ... ..... 138
3.5.3 NumericalExamples ....... 139
3.6 Summary ....... .......... ........... . .... 145
4 Conclusions and Outlook 147
A Appendix 149
iiList of Figures
2.1 Contourplot of Ψ(x) with H ≥ 0 and g⊥S .. .......... .. 291
2.2 Con of Ψ(x) with indefinite H and g⊥S ......... .. 291
2.3 Secularequation ...... ........... .. 38
∗3.1 Contourplot of f(x) – hard case with ∆ >Lx ........ .. 87min
∗3.2 Con of f(x) – potential hard case g⊥S ......... .. 871
3.3 Behavior of QEP(f(x)) and W(f(x))–hardcase .. 94
3.4 Behavior of QEP(f(x)) and W(f(x)) – potential hard case . . . . . . 94
3.5 OccurrenceofnegativeLagrangemultipliers .. .......... .. 100
3.6 Convergence history solving QEPs by Li&Ye algorithm . . . . . . . . 110
3.7 ConvergencehistorysolvingQEPsbySOAR .. .. 110
3.8 Convergence history solving QEPs by Nonlinear Arnoldi (exact) . . . 111
3.9 Convergence history solving QEPs byar A (early) . . . 111
3.10 Convergence history solving QEPs by Nonlinear Arnoldi (very early) 112
3.11 Jump below zero of g(θ)inthehardcase .... .......... .. 125
3.12 Continuous function g˜(θ)inthehardcase ... .. 126
3.13 Plot of a typical function g(θ) .......... . . 131
3.14 ConvergencehistorysolvingEVPsbyNonlinearArnoldi ..... .. 134
3.15 ConvergencehistoryofRTLSQEPL-curve ... .......... .. 144
iiiList of Figures
ivList of Algorithms
2.1 LSTRSmethod ....... ........... .......... .. 40
2.2 Adjustmentstep .. 41
2.3 NonlinearArnoldiforEVPs . . 42
2.4 NonlinearArnoldiforQEPs .......... .. 56
3.1 RTLSwithquadraticequalityconstraint .... . . 81
3.2 RTLSwithquadraticinequalityconstraint ... .. 84
3.3 RTLSQEP .......... ........... .......... .. 90
3.4 NonlinearArnoldi...... .. 106
3.5 RTLSEVP .. 117
4.1 InverseIteration....... ........... .......... .. 151
4.2 ResidualInverseIteration . .. 152
vList of Algorithms
vi