VLSI implementation of a spiking neural network [Elektronische Ressource] / presented by Andreas Grübl

DISSERTATIONsubmittedtotheJointFacultiesforNaturalSciencesandMathematicsoftheRuprecht Karls UniversitätHeidelberg,GermanyforthedegreeofDoctorofNaturalSciencespresentedbyDipl. Phys. AndreasGrüblborninErlangen,GermanyDateoforalexamination: July4,2007VLSIImplementationofaSpikingNeuralNetworkReferees: Prof.Dr.KarlheinzMeierProf.Dr.RenéSchüffnyVLSIImplementierungeinespulsgekoppeltenneuronalenNetzwerksIm Rahmen der vorliegenden Arbeit wurden Konzepte und dedizierte Hardware entwickelt, die es er-lauben,großskaligepulsgekoppelteneuronaleNetzeinHardwarezurealisieren. DieArbeitbasiertaufdem analogen VLSI Modell eines pulsgekoppelten neuronalen Netzes, welches synaptische Plastizi tät (STPD) in jeder einzelnen Synapse beinhaltet. Das Modell arbeitet analog mit einem Geschwin 5digkeitszuwachs von bis zu 10 im Vergleich zur biologischen Echtzeit. Aktionspotentiale werdenals digitale Ereignisse übertragen. Inhalt dieser Arbeit sind vornehmlich die digitale Hardware unddie Übertragung dieser Ereignisse. Das analoge VLSI Modell wurde in Verbindung mit Digitallogik,welchezurVerarbeitungneuronalerEreignisseundzuKonfigurationszweckendient,ineinengemischtanalog digitalenASICintegriert,wobeizudiesemZweckeinautomatisierterArbeitsablaufentwickeltwurde. AußerdemwurdeeineentsprechendeKontrolleinheitinprogrammierbarerLogikimplementiertund eine Hardware Plattform zum parallelen Betrieb mehrerer neuronaler Netzwerkchips vorgestellt.
Publié le : lundi 1 janvier 2007
Lecture(s) : 16
Tags :
Source : ARCHIV.UB.UNI-HEIDELBERG.DE/VOLLTEXTSERVER/VOLLTEXTE/2007/7457/PDF/DISSERTATION_AGRUEBL_DEKANAT.PDF
Nombre de pages : 229
Voir plus Voir moins

DISSERTATION
submittedto
the
JointFacultiesforNaturalSciencesandMathematics
ofthe
Ruprecht Karls Universität
Heidelberg,Germany
forthedegreeof
DoctorofNaturalSciences
presentedby
Dipl. Phys. AndreasGrübl
borninErlangen,Germany
Dateoforalexamination: July4,2007VLSIImplementationofa
SpikingNeuralNetwork
Referees: Prof.Dr.KarlheinzMeier
Prof.Dr.RenéSchüffnyVLSIImplementierungeinespulsgekoppeltenneuronalenNetzwerks
Im Rahmen der vorliegenden Arbeit wurden Konzepte und dedizierte Hardware entwickelt, die es er-
lauben,großskaligepulsgekoppelteneuronaleNetzeinHardwarezurealisieren. DieArbeitbasiertauf
dem analogen VLSI Modell eines pulsgekoppelten neuronalen Netzes, welches synaptische Plastizi
tät (STPD) in jeder einzelnen Synapse beinhaltet. Das Modell arbeitet analog mit einem Geschwin
5digkeitszuwachs von bis zu 10 im Vergleich zur biologischen Echtzeit. Aktionspotentiale werden
als digitale Ereignisse übertragen. Inhalt dieser Arbeit sind vornehmlich die digitale Hardware und
die Übertragung dieser Ereignisse. Das analoge VLSI Modell wurde in Verbindung mit Digitallogik,
welchezurVerarbeitungneuronalerEreignisseundzuKonfigurationszweckendient,ineinengemischt
analog digitalenASICintegriert,wobeizudiesemZweckeinautomatisierterArbeitsablaufentwickelt
wurde. AußerdemwurdeeineentsprechendeKontrolleinheitinprogrammierbarerLogikimplementiert
und eine Hardware Plattform zum parallelen Betrieb mehrerer neuronaler Netzwerkchips vorgestellt.
UmdasVLSI ModellaufmehrereneuronaleNetzwerkchipsausdehnenzukönnen,wurdeeinRouting
Algorithmus entwickelt, welcher die Übertragung von Ereignissen zwischen Neuronen und Synapsen
aufunterschiedlichenChipsermöglicht. DiezeitlichkorrekteÜbertragungderEreignisse,welcheeine
zwingendeBedingungfürdasFunktionierenvonPlastizitätsmechanismenist,wirddurchdiesenAlgo
rithmus sichergestellt. Die Funktionalität des Algorithmus wird mittels Simulationen verifiziert. Wei
terhinwirddiekorrekteRealisierungdesgemischtanalog digitalenASICinVerbindungmitdemzuge
hörigenHardware SystemdemonstriertunddieDurchführbarkeitbiologischrealistischerExperimente
gezeigt. DasvorgestelltegroßskaligephysikalischeModelleinesneuronalenNetzwerkswirdaufgrund
seiner schnellen und parallelen Arbeitsweise für Experimentierzwecke in den Neurowissenschaften
einsetzbar sein. Als Ergänzung zu numerischen Simulationen bietet es vor allem die Möglichkeit der
intuitivenundumfangreichenSuchenachgeeignetenModellparametern.
VLSIImplementationofaSpikingNeuralNetwork
Within the scope of this thesis concepts and dedicated hardware have been developed that allow for
buildinglargescalehardwarespikingneuralnetworks. TheworkisbaseduponananalogVLSImodel
of a spiking neural network featuring an implementation of spike timing dependent plasticity (STDP)
5locally in each synapse. Analog network operation is carried out up to 10 times faster than real time
and spikes are communicated as digital events. This work focuses on the digital hardware and the
event transport. Along with digital logic for event processing and configuration purposes, the analog
VLSI model has been integrated into a mixed signal ASIC by means of an automated design flow.
Furthermore, the accompanying controller has been realized in programmable logic, and a hardware
platform capable of hosting multiple chips is presented. To extend the operation of the VLSI model to
multiplechips,aneventroutingalgorithmhasbeendevelopedthatenablesthecommunicationbetween
neurons and synapses located on different chips, thereby providing correct temporal processing of
events which is a basic requirement for investigating temporal plasticity. The functional performance
of the event routing algorithm is shown in simulations. Furthermore, the functionality of the mixed
signalASICalongwiththehardwaresystemandthefeasibilityofbiologicallyrealisticexperimentsis
demonstrated . Due to its inherent fast and parallel operation the presented large scale physical model
of a spiking neural network will serve as an experimentation tool for neuroscientists to complement
numericalsimulationsofplasticitymechanismswithinthevisualcortexwhilefacilitatingintuitiveand
extensiveparametersearches.Contents
Introduction 1
1 ArtificialNeuralNetworks 5
1.1 BiologicalBackground . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 ModelingBiology . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 TheUtilizedIntegrate and FireModel . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 NeuronandSynapseModel . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.3 ExpectedNeuralNetworkDynamics . . . . . . . . . . . . . . . . . . 10
1.3 VLSIImplementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.1 NeuronFunctionality . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.3.2 SynapseandConnectivity . . . . . . . . . . . . . . . . 13
1.3.3 OperatingSpeedandPowerConsumption . . . . . . . . . . . . . . . 14
1.3.4 NetworkModelandPotentialTopologies . . . . . . . . . . . . . . . 15
1.3.5 OverviewoftheImplementation . . . . . . . . . . . . . . . . . . . . 15
2 SystemonChipDesignMethodology 19
2.1 Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.1.1 DigitalDesignFundamentals . . . . . . . . . . . . . . . . . . . . . . 20
2.1.2 RequiredTechnologyData . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 DesignDataPreparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3 LogicSynthesisandDigitalFrontEnd . . . . . . . . . . . . . . . . . . . . . 26
2.4 DigitalBackEndandSystemIntegration . . . . . . . . . . . . . . . . . . . 27
2.4.1 DesignImportandPartitioning . . . . . . . . . . . . . . . . . . . . . 27
2.4.2 AnalogRouting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4.3 Top LevelPlacementandRouting . . . . . . . . . . . . . . . . . . . 31
2.4.4 Intermezzo: SourceSynchronousInterfaceImplementation . . . . . . 32
2.5 Verification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5.1 TimingClosure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.5.2 PhysicalVerification . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.6 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3 LargeScaleArtificialNeuralNetworks 37
3.1 ExistingHardwarePlatform . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1.1 TheNathanPCB . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.1.2 TheBackplane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1.3 TransportNetwork . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2 PrinciplesofNeuralEventProcessing . . . . . . . . . . . . . . . . . . . . . 43
I3.2.1 CommunicationwiththeNeuralNetworkChip . . . . . . . . . . . . 44
3.2.2 Inter ChipEventTransport . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.3 EventProcessingAlgorithm . . . . . . . . . . . . . . . . . . . . . . 47
3.2.4 LayersofEventProcessing . . . . . . . . . . . . . . . . . . . . . . . 49
3.3 NeuralEventProcessorforInter ChipCommunication . . . . . . . . . . . . 51
3.3.1 EventQueues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.3.2 EventPacketGenerator . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.3.3 ImplementationConsiderations . . . . . . . . . . . . . . . . . . . . 56
3.3.4 EstimatedResourceConsumption . . . . . . . . . . . . . . . . . . . 59
3.4 SimulationEnvironment . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4.1 OperationPrincipleoftheSimulationEnvironment . . . . . . . . . . 61
3.4.2 NeuralNetworkSetup . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.5 SimulationResults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.1 StaticLoad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.5.2 SynchronizedActivity . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.5.3 DropRatesandConnectionDelay . . . . . . . . . . . . . . . . . . . 68
3.6 ConcludingRemarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4 ImplementationoftheChip 71
4.1 ChipArchitecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.2 AnalogPart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.2.1 ModelParameterGeneration . . . . . . . . . . . . . . . . . . . . . . 73
4.2.2 TheNetworkBlock . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2.3 EventGenerationandDigitization . . . . . . . . . . . . . . . . . . . 78
4.2.4 MonitoringFeatures . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.2.5 SpecificationsfortheDigitalPart . . . . . . . . . . . . . . . . . . . 81
4.3 DigitalPart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.3.1 Interface: PhysicalandLinkLayer . . . . . . . . . . . . . . . . . . . 83
4.3.2 TheApplicationLayer . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.3.3 ClockGenerationandSystemTime . . . . . . . . . . . . . . . . . . 91
4.3.4 TheSynchronizationProcess . . . . . . . . . . . . . . . . . . . . . . 93
4.3.5 EventProcessingintheChip . . . . . . . . . . . . . . . . . . . . . . 94
4.3.6 DigitalCoreModules . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.3.7 RelevantFiguresforEventTransport . . . . . . . . . . . . . . . . . 102
4.4 Mixed SignalSystemImplementation . . . . . . . . . . . . . . . . . . . . . 104
4.4.1 TimingConstraintsSpecification . . . . . . . . . . . . . . . . . . . . 104
4.4.2 TopLevelFloorplan . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.4.3 EstimatedPowerConsumptionandPowerPlan . . . . . . . . . . . . 107
4.4.4 TimingClosure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.5 ImprovementsoftheSecondVersion . . . . . . . . . . . . . . . . . . . . . . 111
5 OperatingEnvironment 113
5.1 HardwarePlatform . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.1.1 SystemOverview . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.1.2 TheRechaPCB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.2 ProgrammableLogicDesign . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.2 TransferModelsandOrganizationoftheDataPaths . . . . . . . . . 121
II5.2.3 TheControlleroftheChip . . . . . . . . . . . . . . . . . . . . . . . 123
5.2.4 SynchronizationandEventProcessing . . . . . . . . . . . . . . . . . 127
5.2.5 CommunicationwiththeControllerandthePlaybackMemory . . . . 129
5.3 ControlSoftware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.3.1 BasicConcepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.3.2 EventProcessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.3.3 HigherLevelSoftware . . . . . . . . . . . . . . . . . . . . . . . . . 134
6 ExperimentalResults 137
6.1 TestProcedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.2 PerformanceofthePhysicalLayer . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.1 ClockGeneration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
6.2.2 SignalIntegrity: EyeDiagramMeasurements . . . . . . . . . . . . . 140
6.2.3 AccuracyoftheDelayElementsandEstimationoftheProcessCorner 142
6.3 VerificationoftheLinkLayerandMaximumDataRate . . . . . . . . . . . . 145
6.4 VoftheApplicationLayer . . . . . . . . . . . . . . . . . . . . . . 148
6.4.1 BasicFunctionality . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
6.4.2 TheDifferentCoreModules . . . . . . . . . . . . . . . . . . . . . . 149
6.4.3 MaximumOperatingFrequency . . . . . . . . . . . . . . . . . . . . 150
6.5 VerificationoftheEventProcessing . . . . . . . . . . . . . . . . . . . . . . 150
6.5.1 SynchronizationoftheChip . . . . . . . . . . . . . . . . . . . . . . 151
6.5.2 VerificationoftheDigitalEventTransport . . . . . . . . . . . . . . . 152
6.5.3 MaximumEventRateUsingthePlaybackMemory . . . . . . . . . . 153
6.5.4 EventGeneration: Digital To Time . . . . . . . . . . . . . . . . . . 154
6.5.5 EventDigitization: Time To Digital . . . . . . . . . . . . . . . . . . 157
6.6 ProcessVariationandYield . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.7 PowerConsumption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
6.8 AnInitialBiologicallyRealisticExperiment . . . . . . . . . . . . . . . . . . 162
SummaryandOutlook 165
Acronyms 171
A ModelParameters 175
B CommunicationProtocolandDataFormat 179
C ImplementationSupplements 183
C.1 SpikeyPinout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
C.2 PinMappingNathan Spikey . . . . . . . . . . . . . . . . . . . . . . . . . . 187
C.3 Synchronization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
C.4 SimulatedSpreadonDelaylines . . . . . . . . . . . . . . . . . . . . . . . . 191
C.5 TheoreticalOptimumDelayvaluesfortheSpikeychip . . . . . . . . . . . . 193
C.6 Mixed SignalSimulationoftheDTCOutput . . . . . . . . . . . . . . . . . 195
D Mixed SignalDesignFlowSupplements 196
D.1 ListofRoutingOptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
D.2 AppliedTimingConstraints . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
IIIIV CONTENTS
E BondingDiagramandPackaging 200
F RechaPCB 203
F.1 ModificationstotheNathanPCB . . . . . . . . . . . . . . . . . . . . . . . . 203
F.2 Schematics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
F.3 Layouts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
Bibliography 208

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.