Extensions of non-negative matrix factorization and their application to the analysis of wafer test data [Elektronische Ressource] / vorgelegt von Reinhard Schachtner

Sujets

• Physik

Informations

• Publié par: universitat_regensburg
• Publié le: 01 janvier 2010
• Nombre de lectures: 8
• Langue: English
• Poids de l'ouvrage: 7 Mo

Extrait

Extensions of Non-negative Matrix
Factorization and their Application
to the Analysis of Wafer Test Data
Dissertation
zur Erlangung des Doktorgrades
der Naturwissenschaften (Dr.rer.nat.)
derhaftlichen Fakult at II { Physik
der Universit at Regensburg
vorgelegt von
Reinhard Schachtner
aus Reischach
Februar 2010Die vorliegende Dissertationsschrift entstand w ahrend einer dreij ahrigen Zusammenarbeit mit der
Firma In neon Technologies AG Regensburg.
Wissenschaftliche Betreuer:
Prof. Dr. Elmar W. Lang
Naturwissenschaftliche Fakult at III
Institut fur Biophysik und physikalische Biochemie
Computational Intelligence and Machine Learning Group
Universit at Regensburg
und
Dr. Gerhard P oppel
Principal, Data Analysis
Methods Group PTE 4
In neon Technologies AG Regensburg
Kolloquium: 23.04.2010
Vorsitzender: Prof. Dr. Josef Zweck
1. Gutachter: Prof. Dr. Elmar Lang
2.hter: Prof. Dr. Ingo Morgenstern
weiterer Prufer: Prof. Dr. Klaus RichterContents
1 Introduction 1
1.1 Blind Source Separation and Matrix Factorization . . . . . . . . . . . . . . . . . . . . 1
1.1.1 Blind Source Separation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.2 Matrix Factorization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Industrial data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Wafer fabrication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 Knowledge discovery by machine learning techniques . . . . . . . . . . . . . . . 4
1.3 This thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Introduction to NMF 9
2.1 Non-negative superposition: an example . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Applications for NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 The NMF problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3.1 Cost functions for NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.2 Optimization strategy for NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.4 Algorithms for NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.4.1 Gradient approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.4.2 Alternating Least Squares algorithms . . . . . . . . . . . . . . . . . . . . . . . 17
2.4.3 Stopping criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.5 Extensions and variants of NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.1 Additional Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.5.2 NMF extensions and related techniques . . . . . . . . . . . . . . . . . . . . . . 21
2.5.3 Related techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3 Uniqueness of NMF and the Determinant Criterion 27
3.1 of NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.1 Why is uniqueness important? . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.2 Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Geometrical Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.1 Problem illustration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2.2 The Determinant Criterion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2.3 Limitations of the determinant criterion . . . . . . . . . . . . . . . . . . . . . . 31
3.2.4 The Algorithm detNMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.2.5 The choice of . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3 Illustrative example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.1 Unconstrained NMF versus detNMF . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.2 Determinant Criterion versus Sparseness Constraints . . . . . . . . . . . . . . . 35
iii CONTENTS
3.4 The multilayer technique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5.1 Endmember extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.5.2 Non-negative ICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4 NMF application to BIN data 43
4.1 Data aggregation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.2 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.1 Examples for NMF decompositions . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.2 Number of components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5 NMF extension for Binary Test Data 51
5.1 Binary Data Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.1.1 Defect patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.1.2 Data generating process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5.2 NMF for Binary Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2.1 The superposition approximation . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2.2 The Poisson yield model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.2.3 Bernoulli Likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.3 Optimization strategies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3.1 Alternating Gradient Ascent . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.3.2 Multiplicative updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
5.3.3 The noisy case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.3.4 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.3.5 Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.4 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.5 Real world application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.5.1 Real World Example I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.5.2 Real World II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.6 Distinction from existing models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.6.1 Logistic PCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.6.2 Aspect Bernoulli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
5.6.3 Noisy-OR models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.6.4 Probabilistic latent semantic analysis . . . . . . . . . . . . . . . . . . . . . . . . 69
5.6.5 Other approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
6 Bayesian learning 73
6.1 Bayesian inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
6.1.1 Statistical physics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
6.1.2 Graphical models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6.1.3 Bayesian parameter estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
6.1.4 Bayesian model selection and Occam’s razor . . . . . . . . . . . . . . . . . . . . 77
6.1.5 Examples for the evidence framework . . . . . . . . . . . . . . . . . . . . . . . 78
6.2 Variational Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
6.2.1 A lower bound for the log evidence . . . . . . . . . . . . . . . . . . . . . . . . . 78
6.2.2 The VBEM algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
6.2.3 Applications of variational inference . . . . . . . . . . . . . . . . . . . . . . . . 81CONTENTS iii
7 Bayesian approaches to NMF 83
7.1 The statistical perspective of NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7.1.1 NMF as Maximum likelihood estimation . . . . . . . . . . . . . . . . . . . . . . 83
7.1.2 Regularized NMF as MAP . . . . . . . . . . . . . . . . . . . . . . . 84
7.2 Bayesian Nonnegative Matrix Factorization . . . . . . . . . . . . . . . . . . . . . . . . 87
7.2.1 Bayesian NMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
7.2.2 Automatic Relevance Determination . . . . . . . . . . . . . . . . . . . . . . . . 88
7.2.3 Bayesian Inference for Nonnegative Matrix factorization models . . . . . . . . . 89
8 Bayesian extensions to NMF 91
8.1 The Bayesian approach to Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
8.