Neuroscientific modeling with a mixed signal VLSI hardware system [Elektronische Ressource] / presented by Daniel Brüderle

Daniel Brüderle

Sujets

• Informatik

Informations

• Publié par: ruprecht-karls-universitat_heidelberg
• Publié le: 01 janvier 2009
• Nombre de lectures: 15
• Langue: English
• Poids de l'ouvrage: 8 Mo

Extrait

Dissertation
submitted to the
Combined Faculties for the Natural Sciences and for Mathematics
of the Ruperto-Carola University of Heidelberg, Germany
for the degree of
Doctor of Natural Sciences
presented by
Dipl.-Phys. Daniel Bruderle¨
born in Offenburg, Germany
Date of oral examination: July 8, 2009Neuroscientific Modeling
with a Mixed-Signal VLSI Hardware System
Referees: Prof. Dr. Karlheinz Meier
Prof. Dr. Alain DestexheAbstract
Neuroscientific Modeling with a Mixed-Signal VLSI Hardware System
Modeling networks of spiking neurons is a common scientific method that helps to understand how
biological neural systems represent, process and store information. But the simulation of large-scale
models on machines based on the Turing paradigm is subject to performance limitations, since it
suffers from an intrinsic discrepancy to the massive parallelism of neural processing in the brain.
Following an alternative approach, neuromorphic engineering implements the structure and function
of biological neural systems in analog or analog-digital VLSI devices. Neuron and synapse circuits
represent physical models that evolve in parallel and in continuous time. Therefore, neuromorphic
systems can overcome limitations of pure software approaches in terms of speed and scalability. Re-
cent developments aimattherealization oflarge-scale, massively accelerated andhighlyconfigurable
neuromorphicarchitectures. Thisthesispresentsanovelmethodologicalframeworkthatrenderspos-
sible the beneficial utilization of such devices as neuroscientific modeling tools. In a comprehensive
study, it describes, tests and characterizes an existing prototype in detail. It presents policies for the
biological interpretation of the hardware output and techniques for the calibration of the chip. The
thesis introduces a dedicated software framework that implements these methods and integrates the
hardware interface into a simulator-independent modeling language, which is also supported by var-
ious established software simulators. This allows to port experiment descriptions between hardware
and software simulators, to compare generated output data and consequently to verify the hardware
model. The functionality of the translation methods, the calibration techniques and the verification
framework are shown in various experiments both on the single cell and on the network level.
Neurowissenschafliches Modellieren mit einer Analog-Digitalen VLSI Hardware
Die Modellierung pulsgekoppelter neuronaler Netzwerke ist eine u¨bliche wissenschaftliche Methode
um die Kodierung, die Verarbeitung und die Speicherung von Information in biologischen neu-
ronalen Systemen zu verstehen. Bei der Simulation großskaliger Modelle auf Computern, die nach
dem Turingprinzip arbeiten, ergeben sich jedoch Performanzeinbußen aufgrund der Diskrepanz zur
intrinsisch hochparallelen Verarbeitungsweise im Gehirn. Einen alternativen Ansatz dazu stellen
neuromorphe Hardwaresysteme dar, die die Struktur und Funktion biologischer neuronaler Sys-
teme in analoger oder gemischt analog-digitaler hochintegrierter Schaltungstechnik emulieren. Die
Neuronen- und Synapsenschaltungen sind dabei physikalische Modelle, die sich parallel und zeitlich
kontinuierlich entwickeln. Daher sind neuromorphe Systeme in der Lage, die Geschwindigkeits-
undSkalierungsbeschra¨nkungenreiner Softwarelo¨sungen zu u¨berwinden.Derzeit werden großskalige,
massive beschleunigte und hoch konfigurierbare neuromorphe Architekturen entwickelt. Diese Dok-
torarbeit pra¨sentiert ein neuartiges methodisches Konzept, das die Verwendung solcher Systeme
fur neurowissenschaftliches Modellieren ermoglicht. Ein bereits verfugbarer Prototyp wird detail-¨ ¨ ¨
liert beschrieben und umfassend getestet. Es werden Techniken eingefu¨hrt, die es erlauben, die
Ausgabe der Hardware biologisch zu interpretieren und den Chip zu kalibrieren. Software, die im
Rahmen dieser Arbeit vorgestellt wird, implementiert diese Methoden. Sie wurde in eine simulator-
unabhangigeModellierungsspracheeingebettet,dieauchvonetabliertenSoftware-Simulatorenunter-¨
stutztwird.DadurchkonnenExperimentbeschreibungenzwischenHardwareundSoftware-Simulatoren¨ ¨
ausgetauscht, erzeugteErgebnisdatenverglichen unddamitauchdasHardwaremodellverifiziertwer-
den.EswerdenExperimenteaneinzelnenNeuronenundganzenNetzwerkenprasentiert,diedieFunk-¨
¨tionalit¨at der Ubersetzungs- und Kalibrierungsmethoden sowie des Verifikationsprinzips besta¨tigen.IIContents
Introduction 1
1 Neuroscience and Neuromorphic Engineering 7
1.1 The World in the Mind . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Modern Neuroscience – Methods and Models . . . . . . . . . . . . . . . . . . 8
1.2.1 Studying the Brain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 Insights through Modeling . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.3 Software Simulators vs. Neuromorphic Hardware . . . . . . . . . . . . 11
1.2.4 Requirements for the Establishment of Neuromorphic Modeling . . . . 13
1.3 Utilized Neuroscientific Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.1 High-Conductance States . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3.2 Models of Synapse Response Dynamics . . . . . . . . . . . . . . . . . 15
1.3.3 Synaptic Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.4 The FACETS Research Project . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2 Neuromorphic Substrate 19
2.1 Chip-Based Neural Network Model . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.1 Technology and Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1.2 Implemented Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.3 Synaptic Plasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.1.4 Configurability, Ranges and Precision . . . . . . . . . . . . . . . . . . 27
2.1.5 Stack of Hardware Communication Layers . . . . . . . . . . . . . . . . 31
2.2 Wafer-Scale Neural Network Model . . . . . . . . . . . . . . . . . . . . . . . . 34
2.2.1 Technology and Dimensions . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.2 Implemented Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.2.3 Configurability of the System . . . . . . . . . . . . . . . . . . . . . . . 37
2.2.4 Stack of Hardware Communication Layers . . . . . . . . . . . . . . . . 38
3 Software and Techniques 41
3.1 Operation Paradigms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1.1 Intended Scenarios of Usage . . . . . . . . . . . . . . . . . . . . . . . . 42
3.1.2 Existing Hardware Interfaces . . . . . . . . . . . . . . . . . . . . . . . 43
3.1.3 Back-End Agnostic Description and Analysis . . . . . . . . . . . . . . 44
3.1.4 Reference Software Simulators . . . . . . . . . . . . . . . . . . . . . . 48
3.1.5 Neuron and Synapse Model Mapping . . . . . . . . . . . . . . . . . . . 49
3.1.6 Network Topology Mapping . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2 Software Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2.1 Utilized Technologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2.2 Software Layer Stack . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.3 High-Level Software Tools . . . . . . . . . . . . . . . . . . . . . . . . . 64
III3.2.4 Management of Multiple Users and Systems . . . . . . . . . . . . . . . 66
3.2.5 Analog Unit Test Framework . . . . . . . . . . . . . . . . . . . . . . . 67
3.2.6 3D Visualization of Network Mapping . . . . . . . . . . . . . . . . . . 68
4 Gaining Control of Chip Functionality and Imperfections 73
4.1 Methods for Indirect Access . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.1.1 Spike-Triggered Averaging on Neuromorphic Hardware . . . . . . . . . 74
4.1.2 High-Conductance State Test . . . . . . . . . . . . . . . . . . . . . . . 76
4.1.3 Long-Term Plasticity . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.1.4 Membrane Time Constants . . . . . . . . . . . . . . . . . . . . . . . . 88
4.2 Process-Inherent Imperfections . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.1 Hardware Production . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.2.2 Electronic Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.3 Prototype-Specific Malfunctions and Design-Related Interferences . . . . . . . 96
4.3.1 Spike Recording Deadlocks . . . . . . . . . . . . . . . . . . . . . . . . 96
4.3.2 Firing Threshold vs. Reset Potential . . . . . . . . . . . . . . . . . . . 99
4.3.3 Parasitic Resting Potential Offsets . . . . . . . . . . . . . . . . . . . . 102
4.3.4 Synapse Driver Efficacies and Time Constants . . . . . . . . . . . . . 104
4.3.5 Dis-Proportionality of Intrinsic Time Constants . . . . . . . . . . . . . 109
4.3.6 Multi-Spikes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.3.7 Limited Spike Input and Output Bandwidth . . . . . . . . . . . . . . 110
4.3.8 Crosstalk of Digital Activity . . . . . . . . . . . . . . . . . . . . . . . 111
4.3.9 Clock Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
4.3.10 Insufficient Parameter Range for Synaptic Facilitation and Depression 113
4.3.11 STDP Control Problems . . . . . . . . . . . . . . . . . . . . . . .