Stepwise evolutionary training strategies for hardware neural networks [Elektronische Ressource] / presented by Steffen Gunther Hohmann

Sujets

• Informatik

Informations

• Publié par: ruprecht-karls-universitat_heidelberg
• Publié le: 01 janvier 2005
• Nombre de lectures: 14
• Langue: Deutsch
• Poids de l'ouvrage: 7 Mo

Extrait

DISSERTATION
submitted to the
Combined Faculties for the Natural Sciences and for Mathematics
of the
Ruperto-Carola-University of Heidelberg, Germany
for the degree of
Doctor of Natural Sciences
presented by
Dipl.-Phys. Stefien Gunther Hohmann
born in Braunschweig, Germany
Date of oral examination: 18.05.2005Stepwise Evolutionary
Training Strategies
for
Hardware Neural Networks
Referees: Prof. Dr. K. Meier
Prof. Dr. F. A. HamprechtSchrittweise evolution˜are Trainingsstrategien fur˜ neuronale Netzwerke in Hardware
Rein analoge und gemischt analog-digitale Realisierungen kunstlic˜ her neuronaler Netzwerke in Hard-
ware entziehen sich fur˜ gew˜ ohnlich einer exakten quantitativen Beschreibung. Die Grunde˜ dafur˜ sind
die bei der Halbleiterherstellung unvermeidlichen Schwankungen der Bauteilparameter sowie zeitliche
Fluktuationen der internen analogen Signale. Evolution˜ are Algorithmen eignen sich besonders gut fur˜
das Training solcher Systeme, da sie keinerlei detaillierte Informationen ub˜ er das zu optimierende Sys-
tem ben˜ otigen. Um die hohe Arbeitsgeschwindigkeit der neuronalen Netzwerke voll auszunutzen, wer-
den einfache und schnelle Trainingsverfahren ben˜ otigt. Im Rahmen dieser Arbeit wurde eine spezielle
schrittweise Trainingsmethode entwickelt, die es erlaubt, die synaptischen Gewichte eines gemischt
analog-digitalen neuronalen Netzwerkchips unter Zuhilfenahme einfacher evolution˜ arer Algorithmen
auf e–ziente Weise zu optimieren. Die vorgestellte Trainingsstrategie wurde an neun verbreiteten
standardisierten Aufgabenstellungen fur˜ Klassiflkationsprobleme getestet: den breast cancer, diabetes,
heart disease, liver disorder, iris plant, wine, glass, E.coli und yeast Datens˜ atzen. Es zeigt sich, dass
die erreichten Klassiflkationsgenauigkeiten sehr gut mit denen von in Software realisierten neuronalen
Netzwerken konkurrieren k˜ onnen. Weiterhin sind sie mit den besten Resultaten vergleichbar, die fur˜
andere Klassiflkationsverfahren in der Literatur recherchiert werden konnten. Die vorgestellte Trai-
ningsmethode begunstigt˜ eine parallele Realisierung und eignet sich darub˜ erhinaus gut zur Verwen-
dung in Kombination mit einem speziell entwickelten Koprozessor, der die zeitaufwendigen genetischen
Operationen in einer konflgurierbaren Logik realisiert und damit eine beschleunigte Ausfuhrung˜ evo-
lution˜ arer Algorithmen erm˜ oglicht. Auf diese Weise kann das entwickelte Trainingsverfahren optimal
von der Geschwindigkeit neuronaler Hardware profltieren und stellt daher eine e–ziente Methode
dar, gro…e neuronale Netzwerke auf dem verwendeten gemischt analog-digitalen Netzwerkchip fur˜
anspruchsvolle, praxisrelevante Klassiflkationsprobleme zu trainieren.
Stepwise evolutionary training strategies for hardware neural networks
Analog and mixed-signal implementations of artiflcial neural networks usually lack an exact numerical
model due to the unavoidable device variations introduced during manufacturing and the temporal
uctuations in the internal analog signals. Evolutionary algorithms are particularly well suited for the
training of such networks since they do not require detailed knowledge of the system to be optimized.
In order to make best use of the high network speed, fast and simple training approaches are required.
Within the scope of this thesis, a stepwise training approach has been devised that allows for the use of
simple evolutionary algorithms to e–ciently optimize the synaptic weights of a fast mixed-signal neural
network chip. The training strategy is tested on a set of nine well-known classiflcation benchmarks:
the breast cancer, diabetes, heart disease, liver disorder, iris plant, wine, glass, E.coli, and yeast
data sets. The obtained classiflcation accuracies are shown to be more than competitive to those
achieved by software-implemented neural networks and are comparable to the best reported results of
other classiflcation algorithms that could be found in literature for these benchmarks. The presented
training method is readily suited for a parallel implementation and is flt for use in conjunction with a
specialized coprocessor architecture that speeds up evolutionary algorithms by performing the time-
consuming genetic operations within a conflgurable logic. This way, the proposed strategy can fully
beneflt from the speed of the neural hardware and thus provides e–cient means for the training of
large networks on the used mixed-signal chip for demanding real-world classiflcation tasks.Meinen lieben ElternContents
Introduction 1
I Foundations 5
1 Artiflcial Neural Networks 7
1.1 The Human Brain . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.1 The Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.2 The Synapse . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.1.3 Neural Encoding . . . . . . . . . . . . . . . . . . . . . . . . 10
1.1.4 Learning in the Human Brain . . . . . . . . . . . . . . . . . 10
1.2 Neural Network Models . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 A General Neuron Model . . . . . . . . . . . . . . . . . . . 12
1.2.2 Networks of Artiflcial Neurons . . . . . . . . . . . . . . . . 12
1.2.3 Important Neuron Models . . . . . . . . . . . . . . . . . . . 15
1.2.4 Modeling Adaptation . . . . . . . . . . . . . . . . . . . . . 22
2 Feedforward Neural Networks 27
2.1 Single-Layer Feedforward Networks . . . . . . . . . . . . . . . . . . 27
2.1.1 Capability of the Simple Perceptron . . . . . . . . . . . . . 28
2.1.2 Training the Simple Perceptron . . . . . . . . . . . . . . . . 33
2.1.3 Continuous Outputs and Gradient Descent . . . . . . . . . 35
2.1.4 Generalization to Multiple Outputs . . . . . . . . . . . . . . 39
2.2 Multi-Layer Feedforward Networks . . . . . . . . . . . . . . . . . . 42
2.2.1 Computational Capabilities . . . . . . . . . . . . . . . . . . 43
2.2.2 Training Multi-Layer Networks . . . . . . . . . . . . . . . . 46
2.3 A Short Overview of Alternative Network Models . . . . . . . . . . 51
2.3.1 The Feature Space Revisited: Support Vector Machines . . 51
2.3.2 Hierarchical Approaches and the Neocognitron . . . . . . . 52
2.3.3 The Hopfleld Network . . . . . . . . . . . . . . . . . . . . . 52
2.3.4 Computing Without Stable States . . . . . . . . . . . . . . 54
2.4 Hardware Neural Networks . . . . . . . . . . . . . . . . . . . . . . 54
2.4.1 Historical Overview . . . . . . . . . . . . . . . . . . . . . . 55
2.4.2 A Categorization of Neural Hardware . . . . . . . . . . . . 56
2.4.3 Performance Criteria . . . . . . . . . . . . . . . . . . . . . . 56
2.4.4 Challenges and Present Trends . . . . . . . . . . . . . . . . 57
IContents
2.4.5 Training Hardware Neural Networks . . . . . . . . . . . . . 58
3 Evolutionary Algorithms 61
3.1 Natural Evolution . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.1.1 The Principles of Darwinian Evolution . . . . . . . . . . . . 62
3.1.2 Evolution on the Genetic Level . . . . . . . . . . . . . . . . 63
3.1.3 Speciation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.2 Evolutionary Algorithms: An Overview . . . . . . . . . . . . . . . 65
3.2.1 The Main Constituents of an Evolutionary Algorithm . . . 67
3.3 General Features of Evolutionary Algorithms . . . . . . . . . . . . 71
3.3.1 Evolutionary Algorithms as Global optimizers . . . . . . . . 71
3.3.2 A Modular View of Evolutionary Algorithms . . . . . . . . 72
3.3.3 Evolutionary Algorithms as Model-Free Heuristics . . . . . 72
3.3.4 Extensions to the Basic Concept . . . . . . . . . . . . . . . 74
3.4 Evolutionary Algorithm Implementations . . . . . . . . . . . . . . 76
3.4.1 Selection Schemes . . . . . . . . . . . . . . . . . . . . . . . 77
3.4.2 Genetic Representations . . . . . . . . . . . . . . . . . . . . 80
3.4.3 Mutation Operators . . . . . . . . . . . . . . . . . . . . . . 81
3.4.4 Recombination Operators . . . . . . . . . . . . . . . . . . . 83
3.5 Theoretical Analysis: The Schema Theorem . . . . . . . . . . . . . 86
3.5.1 Schemata . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.5.2 The Processing of Schemata . . . . . . . . . . . . . . . . . . 87
3.5.3 Building Blocks, Deception and Challenges to the Schema
Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4 Evolving Artiflcial Neural Networks 91
4.1 Evolving Synaptic Weights . . . . . . . . . . . . . . . . . . . . . . 92
4.1.1 Performance Evaluation and Fitness Function . . . . . . . . 92
4.1.2 Representations and the Permutation Problem . . . . . . . 93
4.1.3 Comparison with Gradient Based Training . . . . . . . . . 96
4.2 Evolving Network Architectures . . . . . . . . . . . . . . . . . . . . 97
4.2.1 Performance Evaluation - Architectures and Weights . . . . 97
4.2.2 Genetic Representations . . . . . . . . . . . . . . . . . . . . 98
4.2.3 Fixed vs. Evolved Architectures . . . . . . . . . . . . . . . 103
4.3 Alternative Black-Box Approaches . . . . . . . . . . . . . . . . . . 104
4.3.1 Simulated Annealing . . . . . . . . . . . . . . . . . . . . . . 104
4.3.2 Weight Perturbation . . . . . . . . . . . . . . . . . . . . . . 106
4.3.3 Comparison to Evolutionary Algorithms . . . . . . . . . . . 108
II Hardware Neural Network Framework 109
5 The HAGEN Chip 111
5.1 Design Considerations . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.1.1 Speed and E–ciency . . . . . . . . . . . . . . . . . . . . . . 112