Exploring liquid computing in a hardware adaptation [Elektronische Ressource] : construction and operation of a neural network experiment / presented by Felix Schürmann

Sujets

• Informatik

Informations

• Publié par: ruprecht-karls-universitat_heidelberg
• Publié le: 01 janvier 2005
• Nombre de lectures: 19
• Langue: Deutsch
• Poids de l'ouvrage: 10 Mo

Extrait

DISSERTATION
submitted to
the
Joint Faculties for Natural Sciences and Mathematics
of the
Ruprecht-Karls-Universit t
Heidelberg, Germany
for the degree of
Doctor of Natural Sciences
presented by
M.S. Felix Sch rmann
born in Kassel, Germany
Date of oral examination: 8.6.2005Exploring Liquid Computing in a Hardware Adaptation:
Construction and Operation of a Neural Network Experiment
Referees: Prof. Dr. Karlheinz Meier
Prof. Dr. Norbert HerrmannErkundung von Liquid Computing in einer Hardwareadaptierung : Konstruktion und Be-
trieb eines neuronalen Netzwerkexperiments - Die zuk nftige Steigerung von Rechenleistung
basiert auf Miniaturisierung, hoher Integration und Parallelisierung. Allerdings entstehen bei der
Ann herung an Nanometerstrukturen neue Herausforderungen bez glich der Verl lichkeit der
Bauelemente, der Leistungsaufnahme und der Konnektivit t. Diese Aspekte nden in den mo-
mentan vorherrschenden Mikroprozessorimplementierungen noch nicht gen gend Ber cksichti-
gung. Um so wichtiger ist es, die Erforschung alternativer Rechenarchitekturen und -strategien
voranzutreiben, die gro e Anzahlen unzuverl iger Bauelemente nutzen k nnen und dennoch
nur eine moderate Leistungsaufnahme haben. Diese Doktorarbeit beschreibt die Konstruktion
eines Experiments, welches es erm glicht, Adaptierungen von k nstlichen neuronalen Netzw-
erkparadigmen in Silizium bez glich ihrer Anwendbarkeit, ef zienten Leistungsaufnahme und
Fehlertoleranz zu untersuchen. Der hier vorgestellte Aufbau besteht aus peripherer Elektronik,
programmierbarer Logik und Software, um einen gemischt digital-analogen CMOS Mikrochip zu
betreiben, auf dem ein exibeles Perceptron mit 256 McCulloch-Pitts Neuronen implementiert ist.
Mit Hilfe dieses neuronalen Netzwerkexperiments wird eine k rzlich ver ffentlichte Strategie un-
tersucht, mittels derer rekurrente Netzwerktopologien nutzbar gemacht werden k nnen. Die hier
pr sentierte erstmalige Adaptierung von Liquid Computing an ein neuronales Netwerk auf CMOS-
Basis best tigt dessen vermutete Eignung f r eine Hardwareadaptierung. Dabei wird nicht nur die
Machbarkeit demonstriert, sondern auch die Toleranz gegen ber Substratvariationen und die Ro-
bustheit gegen ber Fehlern, die w hrend des Betriebs auftauchen.
Exploring Liquid Computing in a Hardware Adaptation: Construction and Operation of a
Neural Network Experiment - Future increases in computing power strongly rely on miniatur-
ization, large scale integration, and parallelization. Yet, approaching the nanometer realm poses
new challenges in terms of device reliability, power dissipation, and connectivity issues that
have been of lesser concern in today’s prevailing microprocessor implementations. It is therefore
necessary to pursue the research on alternative computing architectures and strategies that can
make use of large numbers of unreliable devices and only have a moderate power consumption.
This thesis describes the construction of an experiment dedicated to exploring silicon adaptations
of arti cial neural network paradigms for their general applicability, power ef ciency, and fault-
tolerance. The presented setup comprises peripheral electronics, programmable logic, and soft-
ware to accommodate a mixed-signal CMOS microchip implementing a exible perceptron with
256 McCulloch-Pitts neurons. This neural network experiment is used to explore a recent strategy
that allows to access the power of recurrent network topologies. While it has been conjectured that
this liquid computing is suited for hardware implementations, this rst time adaptation to a CMOS
neural network af rms this claim. Not only feasibility but also tolerance to substrate variations
and robustness to faults during operation are demonstrated.Contents
Introduction 1
1 Hardware Neural Network Concepts 5
1.1 Foundations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Historical Origins of ANNs ? A Hardware’s Perspective . . . . . . . . . 5
1.1.2 VLSI Variety . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.3 Present Trends and Future . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Design Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1 General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Network Model Implications . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 VLSI Implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3 Realization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.1 A Neural Network Experiment . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.2 ANN ASICs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3.3 Experimental Framework . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.4 Suitable Training Approaches . . . . . . . . . . . . . . . . . . . . . . . 21
2 Computing without Stable States 23
2.1 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.1 Finite Automata and Neural Networks . . . . . . . . . . . . . . . . . . . 23
2.1.2 The Liquid State Machine Approach . . . . . . . . . . . . . . . . . . . . 24
2.2 Exploring Liquid Computing in Hardware . . . . . . . . . . . . . . . . . . . . . 27
2.2.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.2 liquidHAGEN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.3 Liquid Dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.1 Input Driven Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.2 The Edge of Chaos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.3 Performance Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3 The HAGEN Prototype Implementation 39
3.1 Learning from the Predecessor ASIC . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 HAGEN Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3 Network Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1 A Network Cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.3.2 Elementary Synapse . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.3.3 Neuron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.3.4 Weight Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
3.4 Digital-to-Analog Converters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
III CONTENTS
3.5 Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.5.1 Physical Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.5.2 Logical Layer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.6 Power Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.6.1 Power Consumption of a Network Block . . . . . . . . . . . . . . . . . 70
3.6.2 The HAGEN Prototype . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.7 Beyond the HAGEN . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.7.1 Minor Modi cations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.7.2 Scaling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
3.7.3 Outlook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4 Experimental Framework 77
4.1 Substrates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.1.1 ANN ASICs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.1.2 Dedicated Peripheral Electronics . . . . . . . . . . . . . . . . . . . . . . 78
4.1.3 PCI-based Mixed-Signal FPGA Adapter . . . . . . . . . . . . . . . . . . 83
4.1.4 General Purpose Computer . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.1.5 Advancing the Framework . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.2 Programmable Logic Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.2 HAGEN State Machine . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.2.3 Extensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.3 Control Software (HANNEE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.3.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.3.2 Hardware Abstraction Layer . . . . . . . . . . . . . . . . . . . . . . . . 98
4.3.3 Input/Output Pattern Management and Operation Modes . . . . . . . . . 99
4.4 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.4.1 Hardware-in-the-loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.4.2 Precalculated Weights . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.4.3 Liquid Computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5 Experimental Results 111
5.1 General . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.2 Exploring a Hardware Liquid . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.2.1 Initial Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.2.2 Observing the Edge of Chaos . . . . . . . . . . . . . . . . . . . . . . . 115
5.