Synchronization and pattern separation in spiking associative memories and visual cortical areas [Elektronische Ressource] / Andreas Knoblauch

Publié par

AbteilungNeuroinformatik¨UniversitatUlmSynchronizationandpatternseparationinspikingassociativememoriesandvisualcorticalareas.DissertationzurErlangungdesDoktorgradesDr.rer.nat. derFakultat¨ fur¨ InformatikderUniversitat¨ UlmvonAndreasKnoblauchausGeislingenanderSteige2003iiAmtierenderDekan: Prof. Dr. FriedrichvonHenke1. Gutachter: Prof. Dr. Gunther¨ Palm2.: Priv. Doz. Dr. FriedrichSommer3. Gutachter: Prof. Dr. UlrichRuckert¨TagderPromotion: 29. Oktober2003iiimeinerFamilieivDanksagungAn dieser Stelle mochte¨ ich allen jenen danken, die zum Entstehen dieser Arbeit beigetragenhaben.Besonders verbunden fuhle¨ ich mich hierbei meinem Betreuer und langjahrigen¨ Lehrer Pro fessor Dr. Gunther¨ Palm. Ihm danke ich fur¨ das Vertrauen und die freie Hand, die ich bei derAuswahl und Bearbeitung der behandelten Themen hatte, sowie fur¨ das große Interesse, daser meiner Arbeit entgegengebracht hat. Seine Kompetenz, sein hintergrundiger¨ Humor, seineFreundschaftunddiestetigeBereitschaftzuanregendenDiskussionenwareneinereicheQuelleausderichWissenundMotivationschopfen¨ konnte.Dannmochte¨ ichganzherzlichPriv. Doz. Dr. FritzSommerdankenf ur¨ dieFreundschaft,pro duktive Zusammenarbeit und die vielen hintergrundigen¨ Ratschlage¨ und Diskussionen welchemirdenEinstiegindenWissenschaftsbetriebenormerleichterthaben. Außerdemdankeichihmfur¨ vielekonstruktiveKritikunddieBereitschaftmeineArbeitzubegutachten.
Publié le : jeudi 1 janvier 2004
Lecture(s) : 25
Source : VTS.UNI-ULM.DE/DOCS/2004/3762/VTS_3762.PDF
Nombre de pages : 189
Voir plus Voir moins

AbteilungNeuroinformatik
¨UniversitatUlm
Synchronizationandpatternseparationin
spikingassociativememoriesand
visualcorticalareas.
DissertationzurErlangungdesDoktorgrades
Dr.rer.nat. derFakultat¨ fur¨ InformatikderUniversitat¨ Ulm
von
AndreasKnoblauch
ausGeislingenanderSteige
2003ii
AmtierenderDekan: Prof. Dr. FriedrichvonHenke
1. Gutachter: Prof. Dr. Gunther¨ Palm
2.: Priv. Doz. Dr. FriedrichSommer
3. Gutachter: Prof. Dr. UlrichRuckert¨
TagderPromotion: 29. Oktober2003iii
meinerFamilieivDanksagung
An dieser Stelle mochte¨ ich allen jenen danken, die zum Entstehen dieser Arbeit beigetragen
haben.
Besonders verbunden fuhle¨ ich mich hierbei meinem Betreuer und langjahrigen¨ Lehrer Pro
fessor Dr. Gunther¨ Palm. Ihm danke ich fur¨ das Vertrauen und die freie Hand, die ich bei der
Auswahl und Bearbeitung der behandelten Themen hatte, sowie fur¨ das große Interesse, das
er meiner Arbeit entgegengebracht hat. Seine Kompetenz, sein hintergrundiger¨ Humor, seine
FreundschaftunddiestetigeBereitschaftzuanregendenDiskussionenwareneinereicheQuelle
ausderichWissenundMotivationschopfen¨ konnte.
Dannmochte¨ ichganzherzlichPriv. Doz. Dr. FritzSommerdankenf ur¨ dieFreundschaft,pro
duktive Zusammenarbeit und die vielen hintergrundigen¨ Ratschlage¨ und Diskussionen welche
mirdenEinstiegindenWissenschaftsbetriebenormerleichterthaben. Außerdemdankeichihm
fur¨ vielekonstruktiveKritikunddieBereitschaftmeineArbeitzubegutachten.
EinherzlichesDankeschon¨ fur¨ diejahrelangeZusammenarbeitundFreundschaftmochte¨ ich
auch Professor Dr. Thomas Wennekers aussprechen. Ein wesentlicher Anteil der dieser Arbeit
zugrundeliegenden Verof¨ fentlichungen profitierte von seiner scharfsinnigen und kompetenten
Kritik. Tatsachlich¨ formtenseineVorarbeitenundseineEigenschaftalsBetreuermeinerDiplom
arbeit wesentlich die Thematik der vorliegenden Dissertation. Insbesondere danke ich ihm fur¨
das von ihm entwickelte und mir zur Verfugung¨ gestellte Simulationswerkzeug Felix welches
dieGrundlagederindieserArbeitdurchgefuhrten¨ Simulationenwar. Besondersdankenmochte¨
ich ihm auch fur¨ das akribische Korrekturlesen dieser Arbeit und die konstruktive Kritik an Stil
undeinigenspekulativenBehauptungen. DieeventuelleNicht BeseitigungdieserM angel¨ gehen
naturlich¨ weiterhinzuLastenderSturheitdesAutors.
Den Professoren Dr. Ulrich Ruckert,¨ Dr. Heiko Neumann, Dr. Friedrich von Henke und Dr.
Enno Ohlebusch danke ich fur¨ ihre Bereitschaft zur Begutachtung meiner Arbeit und/oder fur¨
ihreMitwirkungalsPrufer¨ inmeinemPromotionskolloquium. IhresehrpositivenUrteilehaben
mireinegroßeFreudebereitet.
Fur¨ das Zustandekommen dieser Arbeit hat auch die freundliche und konstruktive Atmo
sphar¨ e an der Abteilung Neuroinformatik beigetragen. Allen Kolleginnen und Kollegen wah ¨
rend dieser Zeit sei herzlich fur¨ ihren Anteil daran gedankt, besonders meinen Mit Doktorand
Innen Marcus Borst, Michael Borth, Christian Dietrich und Rebecca Fay, den Assistenten und
ehemaligen MitarbeiterInnen Pierre Bayerl, Dr. Andrea Bibbig, Dr. Friedhelm Schwenker, Priv.
Doz. Dr. AlfredStreyundDr. AndreasWichert,sowieunsererSekretarin¨ BirgitLonsinger Miller.
Die vorliegende Arbeit enstand im Rahmen verschiedener Gemeinschaftsprojekte zwischen
¨ ¨der Abteilung Neuroinformatik der Universitat Ulm unter Leitung von Professor Dr. Gunther
Palm, dem Centre for Hybrid Intelligent Systems der University of Sunderland unter Leitung
vonProfessorDr. StefanWermter,derSpeechandLanguageGroupamMedicalResearchCoun
cil Cambridge unter Leitung von Professor Dr. Friedemann Pulvermuller¨ , dem Dipartimento di
Neurofisiologia der Universita degli Studi di Parma unter Leitung von Professor Dr. Giacomo
Rizzolatti,demCORTEX TeamamINRIALorraine/LORIA CNRSNancyunterLeitungvonDr.
Frederic Alexandre, der Arbeitsgruppe Neuroakustik der Technischen Universitat¨ Darmstadt
unter der Leitung von Professor Dr. Gerald Langner, dem Speziallabor Nicht Invasive Bildge
bung am Leibniz Institut f ur¨ Neurobiologie in Magdeburg unter der Leitung von Professor Dr.
vvi
HenningScheich,Dr. BirgitGaschler MarkefskiundPriv. Doz. Dr. PeterHeil,undderAbteilung
Akustik,Lernen,SpracheamLeibniz Institutf ur¨ NeurobiologieinMagdeburgunterderLeitung
von Dr. Holger Schulze. Ich danke den jeweiligen Leitern fur¨ die Initiierung der Projekte und
die einmalige Gelegenheit an den Projekten mitwirken zu durfen.¨ Insbesondere danke ich Pro
fessor Dr. Friedemann Pulvermuller¨ , Dr. Olaf Hauck, Dr. Vittorio Gallese, Dr. Cornelius We
ber, Dr. Christo Panchev, Wolfgang Schmidle, Mark Elshaw, Professor Dr. Gerald Langner und
Michael Ochse fur¨ viele anregenden Debatten uber¨ neurobiologische und linguistische Sachver-
halte sowie ihre Modellierung. Der Europaischen¨ Union, der Stiftung Volkswagenwerk, sowie
der DFG und dem Land Baden W urttember¨ g danke ich fur¨ die Finanzierung der Projekte und
meinerArbeit.
Zuletztmochte¨ ichmeinerFamilieundallenmeinenFreundenfur¨ ihreemotionaleUnterstut ¨
zungdanken. BesondersdankeichmeinerFrauKattiafur¨ ihreLiebeundGeduldtrotzdervielen
Arbeit. MeinerSchwesterStefaniedankeichweilichohnesievielleichtnichtdenMutzudieser
Arbeitgehabthatte.¨ SchließlichempfindeichmeinenElterngegenuber¨ tiefeDankbarkeitfur¨ ihre
kompromissloseLiebeundUnterstutzung¨ uber¨ alldieJahrehinweg.Contents
1 Overview 1
1.1 Motivationandclassification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
2 Introduction 5
2.1 Neurobiologyofthebrain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1 Anatomyofthebrain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.2 Neurons,synapses,andHebbianlearning. . . . . . . . . . . . . . . . . . . . 8
2.1.3 Architectureofthecerebralcortex . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.4 Visualsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 Distributedrepresentations,neuralassemblies,andbinding . . . . . . . . . . . . . 13
2.2.1 Distributedrepresentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.2 Neuralassemblies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.3 Thebindingproblem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.4 Thetemporalcorrelationhypothesis . . . . . . . . . . . . . . . . . . . . . . . 16
2.3 Associativememory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3.1 TheWillshawmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2 Neuralassociativememoryandtechnicalapplications . . . . . . . . . . . . 21
2.3.3 Willshawmemoryasamodelforacorticalcolumn . . . . . . . 22
2.3.4 Alternativemodelsofassociativememory . . . . . . . . . . . . . . . . . . . 24
2.4 Simulationtoolsandmodelsofneuronsandsynapses . . . . . . . . . . . . . . . . . 24
3 Willshawassociativememory 27
3.1 ClassicalanalysisoftheWillshawmodel . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.1 Storingandretrievingpatterns . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.2 Classicalanalysisofone stepretrieval . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Matrixcompressionyieldsstoragecapacity1 . . . . . . . . . . . . . . . . . . . . . . 30
3.2.1 Ultra sparsepatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.2 Moderately sparsepatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.2.3 Non sparsepatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3 Faulttolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.1 Missingonesintheaddresspatterns . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.2 Falseonesintheaddress . . . . . . . . . . . . . . . . . . . . . . . . 38
3.4 Retrievalefficiencyforsequentialimplementations . . . . . . . . . . . . . . . . . . 39
d3.4.1 Look up tableswith M =n . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.4.2 ClassicalWillshawmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.3 CompressedWillshawmodelwithultra sparsepatterns . . . . . . . . . . . 40
3.4.4essedWwithmoderately sparsepatterns . . . . . . . 41
3.5 Retrievalefficiencyforparallelimplementations . . . . . . . . . . . . . . . . . . . . 41
3.5.1 ClassicalWillshawmodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.5.2 ParallelimplementationofthecompressedWillshawmodel . . . . . . . . . 42
3.5.3 CompressedWillshawmodelwithultra sparsepatterns . . . . . . . . . . . 43
viiviii CONTENTS
3.5.4 CompressedWillshawmodelwithmoderately sparsepatterns . . . . . . . 44
3.6 Acritiqueoftheclassicalbinomialanalysis . . . . . . . . . . . . . . . . . . . . . . . 45
3.6.1 ThebinomialapproximationoftheWillshawdistributioncanbebad . . . . 45
3.6.2 Oscillatorymodulationsinthemembranepotentialdistribution . . . . . . . 47
3.6.3 Underestimationofthevarianceofpotentials . . . . . . . . . . . 48
3.6.4 Consequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.6.5 Anexperimenttotestthehypothesisofcellassembliesinthebrain . . . . . 51
3.7 Implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.7.1 Implicationsfortechnicalapplications . . . . . . . . . . . . . . . . . . . . . . 53
3.7.2forbiologicalmodels . . . . . . . . . . . . . . . . . . . . . . . . 54
4 Spikingassociativememory 57
4.1 Addressingwithsuperpositions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2 Patternseparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.3 Spikecountermodel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.4 Analysisofthespikecountermodel . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.4.1 Singlenoisyaddresspatterns . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.4.2 Asymptoticanalysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4.3 Superpositionsofseveralnoisyaddresspatterns . . . . . . . . . . . . . . . . 67
4.4.4 Relevanceandapplicabilityoftheanalysis . . . . . . . . . . . . . . . . . . . 69
4.4.5 Refinedanalysis. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.5 Technicalimplementationsofthespikecountermodel . . . . . . . . . . . . . . . . . 72
4.5.1 Modelextension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
4.5.2 Sequentialimplementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.5.3 Parallelimplementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.5.4 Simulationexperiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.5.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
4.6 Biologicalimplementationsofthespikecountermodel . . . . . . . . . . . . . . . . 84
4.7 Implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.7.1 Summaryofthechapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.7.2 Whyspikes? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
5 Modelofvisualcorticalareas 95
5.1 Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.1.1 Modeloftheprimaryvisualcortex . . . . . . . . . . . . . . . . . . . . . . . . 96
5.1.2 Reciprocalconnectiontoacentralcorticalarea . . . . . . . . . . . . . . . . . 97
5.2 Interactionbetweentwocorticalareas . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.2.1 Singlestimulus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
5.2.2 Multiplestimuli . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.3 Relationtoneurophysiologicalresults . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.3.1 Two barsexperiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.3.2 Inter arealsynchronization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
5.3.3 Synchronizationonlargertimescales . . . . . . . . . . . . . . . . . . . . . . 105
5.3.4 Attentionandbiasedcompetition . . . . . . . . . . . . . . . . . . . . . . . . 107
5.3.5 Synchronizationonlargerspacescales . . . . . . . . . . . . . . . . . . . . . . 108
5.4 Summaryofthemechanismsinthemodel . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4.1 Localsynchronization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4.2 Fastoscillations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
5.4.3 Intra areallong rangesynchronization . . . . . . . . . . . . . . . . . . . . . 111
5.4.4 Inter areale . . . . . . . . . . . . . . . . . . . . . 112
5.4.5 Attentionalswitchingbetweentwoactivationstates . . . . . . . . . . . . . . 112
5.4.6 Binding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113CONTENTS ix
6 Bindinginthebrain 115
6.1 Isthereabindingprobleminthebrain? . . . . . . . . . . . . . . . . . . . . . . . . . 115
6.2 CritiqueofthestrongTemporalCorrelationHypothesis . . . . . . . . . . . . . . . . 116
6.2.1 PostulationsofthestrongTCHandphasecoding . . . . . . . . . . . . . . . 116
6.2.2 Critiqueofphasecodinginthegammarange. . . . . . . . . . . . . . . . . . 116
6.2.3 Functionalrelevanceoffinetiming . . . . . . . . . . . . . . . . . . . . . . . . 118
6.2.4 Differenttimeandspacescalesforbindingbysynchronization . . . . . . . 119
6.3 Sketchofamoreglobalmodelofbindingincorticalareas . . . . . . . . . . . . . . . 120
6.3.1 Classificationofdifferentproblems . . . . . . . . . . . . . . . . . . . 120
6.3.2 Possiblesolutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
7 Conclusions 123
7.1 ContributionstothetheoryofWillshawassociativememory . . . . . . . . . . . . . 123
7.2tothetheoryofcellassemblies . . . . . . . . . . . . . . . . . . . . . . 125
8 Zusammenfassung(inGerman) 129
A Informationtheory 135
A.1 Basicinformationtheory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
A.1.1 Informationofrandomvariables . . . . . . . . . . . . . . . . . . . . . . . . . 135
A.1.2 Transinformationandtransinformationrate . . . . . . . . . . . . . . . . . . 135
A.1.3 Channelsandchannelcapacity . . . . . . . . . . . . . . . . . . . . . . . . . . 136
A.2 Binarychannels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
A.3 Optimalcompressionofsparsebitstreams . . . . . . . . . . . . . . . . . . . . . . . 137
A.3.1 Huffmancodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
A.3.2 Golombcodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
B Analysisofassociativememory 141
B.1 Information theoreticalstoragecapacity . . . . . . . . . . . . . . . . . . . . . . . . . 141
B.2 Autoassociationandheteroassociation . . . . . . . . . . . . . . . . . . . . . . . . . 142
B.3 Retrievalandseparationquality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
B.3.1 Retrievalquality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
B.3.2 Separation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
B.4 FurtheranalysisofWillshawassociativememory . . . . . . . . . . . . . . . . . . . 144
B.4.1 Derivativesofmemoryload,storablepatterns,andstoragecapacity . . . . 144
B.4.2 Optimalstoragecapacityformoderatelysparsepatterns . . . . . . . . . . . 144
B.4.3 Fornon sparsepatternsasymptoticstoragecapacityisgenerallyzero . . . 147
C SimulationtoolFelix++ 149
C.1 BasicarchitectureofFelix++ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
C.1.1 ThecoremodulesofFelix++ . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
C.1.2 Auxiliaryof . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
C.1.3 ComponentclassesofFelix++ . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
C.2 Simulationenvironmentandcomponents: Codeexamples . . . . . . . . . . . . . . 154
C.2.1 Simulationenvironment: ClassTSimulationEnvironment . . . . . . . . . . . 155
C.2.2 Components: ClassTComponent . . . . . . . . . . . . . . . . . . . . . . . . . 156
C.2.3 ClassTSSNeuron: asimplespikingneuronmodel . . . . . . . . . . . . . . . 157
C.3 StructureofaFelix++simulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
C.3.1 Askeletonsimulationprogram . . . . . . . . . . . . . . . . . . . . . . . . . . 159
C.3.2 Theparameterfile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
C.3.3 Compilingandrunningsimulations . . . . . . . . . . . . . . . . . . . . . . . 162
D Symbolreference 165x CONTENTS

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.