Robust learning in safety related domains [Elektronische Ressource] : machine learning methods for solving safety related application problems / von Sebastian Nusser

Sebastian Nusser

Sujets

• Informatik

Informations

• Publié par: otto-von-guericke-universitat_magdeburg
• Publié le: 01 janvier 2009
• Nombre de lectures: 17
• Langue: English
• Poids de l'ouvrage: 2 Mo

Extrait

Robust Learning in Safety-Related
Domains
Machine Learning Methods for Solving
Safety-Related Application Problems
Dissertation
zur Erlangung des akademischen Grades
Doktoringenieur (Dr.-Ing.)
angenommen durch die Fakultat¨ fur¨ Informatik
der Otto-von-Guericke-Universitat¨ Magdeburg
von Dipl.-Inform. Sebastian Nusser,
geboren am 9. Oktober 1980 in Burg (Magdeburg)
Gutachter:
Prof. Dr. Rudolf Kruse
PD Dr. Christian Borgelt
PD Dr. Thomas Runkler
Magdeburg, 10. Juli 2009Sebastian Nusser
Robust Learning in Safety-Related Domains – Machine Learning Methods for
Solving Safety-Related Application Problems
Dissertation, Otto-von-Guericke-Universitat¨ Magdeburg
Magdeburg, 10. Juli 2009Abstract
Today, machine learning methods are successfully deployed in a wide range of ap-
plications. A multitude of different learning algorithms has been developed in order
to solve classification and regression problems. These common machine learning
approaches are regarded with suspicion by domain experts in safety-related appli-
cation fields because it is often infeasible to sufficiently interpret and validate the
learned solutions. Especially for safety-related applications, it is imperative to guar-
antee that the learned solution is correct and fulfills all given requirements. The ba-
sic idea of the approaches proposed within this thesis is to solve high-dimensional
application problems by an ensemble of simple submodels, each of which is allowed
to only use two or three dimensions of the complete input space. The restriction of
the dimensionality of the submodels allows the visualization of the learned models.
Thus a visual interpretation and validation according to the existing domain know-
ledge becomes feasible. Due to the visualization, an unintended and possibly unde-
sired extra- and interpolation behavior can be discovered and avoided by changing
the model parameters or selecting other submodels. Since the learned submodels
are interpretable the correctness of the learned solution can therefore be guaranteed.
The ensemble of the submodels compensates for the limited dimensionality of the
individual submodels. The proposed ensemble methods are successfully applied on
common benchmark problems as well as on real-world application problems with
very high requirements on the functional safety of the learned solution.
Zusammenfassung
Methoden des Maschinellen Lernens werden heutzutage erfolgreich in vielen An-
wendungsgebieten eingesetzt. Eine Vielzahl verschiedener Lernverfahren zur Lo-¨
sung von Klassifikations- und Regressionsaufgaben existieren bereits. Diese gang-¨
igen Methoden des maschinellen Lernens werden von den Domanenexperten¨ im
Bereich sicherheitskritischer Systeme mit Skepsis betrachtet, da es oftmals sehr auf-
wendig ist, die so erzeugten Modelle hinreichend zu interpretieren und zu vali-
dieren. Speziell fur¨ sicherheitskritische Anwendungen ist es absolut notwendig,
dass die Korrektheit und funktionelle Vollstandigkeit¨ der gefundenen Losung¨ ga-
rantiert werden kann. Die in dieser Arbeit vorgestellten Lernverfahren erlauben
die Interpretation und damit die Validierung der gelernten Modelle durch die Ex-
perten. Die Grundidee dieser Methoden besteht darin, hochdimensionale Anwen-
dungsprobleme durch ein Ensemble von einfachen Teilmodellen zu losen,¨ wobei
jedes Teilmodell auf einen nur zwei- oder dreidimensionalen Teilraum des Eingabe-
raumes beschrankt¨ ist. Diese Beschrankung¨ der Dimensionalitat¨ der Teilmodelle
ermoglicht¨ die Darstellung der gelernten Modelle. Dadurch wird es moglich,¨ eine
visuelle Interpretation und Validierung basierend auf dem existierenden Experten-
wissen durchzufuhr¨ en. Die Visualisierung erlaubt es, ein unerwartetes und mog-¨
licherweise unerwunschtes¨ Interpolations- bzw. Extrapolationsverhalten der Teil-¨modelle zu entdecken, um dann durch eine entsprechende Anderung der Lern-
parameter oder eine geanderte¨ Modellauswahl ein solches Verhalten zu vermeiden.
Durch diese Vorgehensweise kann die Korrektheit der gelernten Losung¨ garantiert
¨werden. Das Ensemble der Teilmodelle ermoglicht eine verbesserte Vorhersage-
leistung im Vergleich zu der eingeschrankten¨ Vorhersageleistung der einzelnen Teil-
modelle. Die vorgestellten Lernverfahren liefern sowohl fur¨ bekannte Benchmark-
datensatze¨ als auch bei realen Anwendungsproblemen mit sehr hohen Sicherheits-
anforderungen gute Ergebnisse.Contents
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 General Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Safe Learning for Airbag Control . . . . . . . . . . . . . . . . . . . . . 2
1.3 Objective of this Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 Publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2. Machine Learning and Safety-Related Domains . . . . . . . . . . . . . . . . 9
2.1 Learning From Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 Fundamentals of Machine Learning . . . . . . . . . . . . . . . . 9
2.1.2 Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.3 Classification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.1.4 Support Vector Machines . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.5 Multi-Class Extensions of Binary Classifiers . . . . . . . . . . . . 15
2.1.6 Classification and Regression Trees . . . . . . . . . . . . . . . . . 17
2.1.7 Model Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.2 Safety-Related Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1 Safety Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.2.2 Assessing Solutions for Safety-Related Problems . . . . . . . . . 23
2.2.3 Machine Learning Approaches for Safety-Related Applications 25
2.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27ii
3. Ensembles of Submodels for Safety-Related Classification Problems . . . 29
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 The Binary Ensemble Framework . . . . . . . . . . . . . . . . . . . . . 30
3.2.1 DecisionTree-like Ensemble Model . . . . . . . . . . . . . . . . . 31
3.2.2 Non-hierarchical Model . . . . . . . . . . . . . . . . . 32
3.2.3 An Illustrative Example . . . . . . . . . . . . . . . . . . . . . . . 33
3.3 The Multi-Class Ensemble Framework . . . . . . . . . . . . . . . . . . 36
3.3.1 Ensemble of Multi-Class Submodels . . . . . . . . . . . . . . . . 37
3.3.2 Hierarchical Separate-and-Conquer Ensemble . . . . . . . . . . 38
3.3.3 One-versus-Rest Ensemble . . . . . . . . . . . . . . . . . . . . . . 39
3.3.4 An Illustrative Example (Cont’d) . . . . . . . . . . . . . . . . . . 39
3.4 Real-World Application Problems . . . . . . . . . . . . . . . . . . . . . 42
3.4.1 The Deployment of an Airbag . . . . . . . . . . . . . . . . . . . . 42
3.4.2 A Medical Diagnosis Example . . . . . . . . . . . . . . . . . . . . 46
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4. Interpretable Regression Models Based on EM-based Piecewise Linear Re-
gression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.2 Expectation Maximization . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.3 The LinEM-Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.4 Two Illustrative Examples . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.5 A Real-World Application Example . . . . . . . . . . . . . . . . . . . . 63
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5. Feature Extraction and Data Filtering . . . . . . . . . . . . . . . . . . . . . . 67
5.1 Feature Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.1.1 Feature Selection Based on Univariate Statistical Tests . . . . . . 69
5.1.2 Feature Based on Classification and Regression Trees . 71
5.1.3 Wrapper for Feature Selection . . . . . . . . . . . . . . . . . . . . 71
5.1.4 Further Feature Selection Methods . . . . . . . . . . . . . . . . . 72iii
5.1.5 Comparison of Different Feature Selection Methods . . . . . . . 73
5.2 Feature Construction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.2.1 Principal Component Analysis . . . . . . . . . . . . . . . . . . . 75
5.2.2 MLP-Based Feature Construction . . . . . . . . . . . . . . . . . . 75
5.3 Data Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.3.1 Convex Hull Filtering . . . . . . . . . . . . . . . . . . . . . . . . . 77
5.3.2 Upper Envelope Filtering . . . . . . . . . . . . . . . . . . . . . . 79
5.4 A Naval Risk Detection Example . . . . . . . . . . . . . . . . . . . . . 79
5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6. Conclusions and Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1 Contributions of this Thesis . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.2 Open Pr