Etat de l'art

De
Publié par

  • mémoire - matière potentielle : associative
  • cours - matière potentielle : du temps
  • mémoire
  • mémoire - matière potentielle : auto - associative
Première partie Etat de l'art 4
  • cerveau des mécanismes
  • modèles de neurone classiques
  • po- tentiel de membrane
  • potentiel de membrane du neurone post-synaptique
  • codage temporel
  • dynamiques
  • dynamique
  • neurones
  • neurone
  • réseau
  • réseaux
  • modèles
  • modèle
Publié le : lundi 26 mars 2012
Lecture(s) : 26
Source : theses.univ-lyon2.fr
Nombre de pages : 36
Voir plus Voir moins

Première partie
Etat de l’art
42
Les réseaux de neurones artificiels
Les neurones artificiels et réseaux de neurones artificiels sont le terreau, les fondations sur
lesquelles se basent nos travaux. Nous y consacrons ici un chapitre présentant les différentes
architectures classiques et les modèles de neurones existants. Nous justifions ainsi notre choix
des neurones impulsionnels par deux de leurs avantages : un réalisme biologique suffisante et
une complexité calculatoire satisfaisante.
2.1 Contexte historique et introduction
Les réseaux de neurones artificiels sont un domaine de l’informatique qui a émergé dans
les années 40 et dont le composant atomique est le neurone artificiel. L’introduction du premier
neurone artificiel et des premiers réseaux de neurones artificiels (McCulloch & Pitts, 1943; Ro-
senblatt, 1958) a suscité un engouement de la part de la communauté scientifique. Le principe
fondamental de tout modèle de neurone artificiel est que l’état du neurone est sujet à des chan-
gements au cours du temps, sous l’influence d’un événements extérieur i.e. d’une stimulation.
Les premiers neurones artificiels étaient des modèles dont l’état était une métaphore du taux de
décharge d’un neurone biologique. Ces modèles sont communément appelés neurones à taux
de décharge. Dans cette génération de modèles, un neurone recevant la stimulation d’autres
neurones recalcule son état, c’est-à-dire une valeur numérique représentant sa fréquence de
décharge, en fonction de la force des stimulations reçues. Ainsi, un ensemble de neurones arti-
ficielsdépendantlesunsdes autres(quellesquesoientlanatureetla formedecesdépendances)
est appelé réseau de neurones artificiels (RNA).
En 1969 Minsky & Papert (1969) publient un argumentaire mettant en évidence les fai-
blesses des RNA, à savoir leur incapacité à résoudre des problèmes non-linéaires, tels que la
modélisation de la fonction logique XOR. Il s’en est suivi une diminution substentielle des
fonds affectés à la recherche dans ce domaine, qui resta donc au point mort. Puis il connu un
regain d’intérêt au tout début des années 80, avec l’émergence de modèles qui proposent des
avancées outrepassant les faiblesses des RNA. Cette période voit l’apparition du mécanisme
d’apprentissage dit de rétro-propagation (Rumelhart et al., 1986), mais également de nouvelles
architectures telles que les cartes auto-organisatrices (Kohonen, 1982) et les réseaux récurrents
(Hopfield, 1982; Elman, 1990; Jordan, 1986).
Ainsi les premiers neurones artificiels étaient des modèles simulant le taux de décharge
(i.e. la fréquence) moyen d’un neurone biologique. Dans les années 90, avec la croissance de
la puissance de calcul des ordinateurs, et les avancées en biologie, une nouvelle génération de
neurones nommés neurones impulsionnels (en anglais « spiking neurons ») apparaît dans le
monde des science de l’informatique (Watts, 1994; Maass, 1997a,b; Maass & Natschläger, 1997;
Gerstner & Kistler, 2002). Ces modèles ne simulent plus la fréquence de décharge, mais s’in-
téressent aux émissions individuelles de potentiels d’action. Pour traiter de la génération des
neurones à taux de décharge, nous parlerons des neurones artificiels classiques. Voir Haykin
5(1999) pour une revue des RNA classiques et Paugam-Moisy & Bothe (2011) pour une revue
des réseaux de neurones impulsionnels.
2.2 Les grandes familles de réseaux de neurones
Nous présentons ici les grandes familles de RNA organisées en fonction de leur dynamique,
indépendamment des modèles de neurones artificiels, dont nous parlerons dans la section 2.3.
Les réseaux « feed forward » Ce sont des réseaux dont la structure suit une logique de traite-
ment de l’information au travers de couches de neurones successives, de l’entrée vers la sortie,
sans retour de l’information en amont (voir figure 2.1). C’est par exemple le cas des percep-
trons et perceptrons multi-couches (Rosenblatt, 1958; Rumelhart et al., 1986). Ces architectures
restent souvent utilisées. Dans ces réseaux la dynamique est dirigée par la présentation des
exemples d’entrée. Les activations se propagent en sens unique, de la couche d’entrée à la
couche de sortie.
FIGURE 2.1 – Exemple de réseau de neurones artificiel
Les réseaux auto-organisés Lescartesauto-organisatrices(Fukushima,1975;Grossberg,1976a;
Kohonen, 1982; Rumelhart & Zipser, 1985) sont inspirées de la structure du cortex, notamment
visuel, dans lequel on peut observer une connectivité locale. En d’autres termes, chaque neu-
rone est connecté aux entrées et à ses voisins. Ce concept permet le traitement par un RNA
d’informations dont on sait qu’elles portent des relations spatiales en elles, telles les pixels
d’une image.
Les réseaux récurrents Ils’agitderéseauxdontlastructure,représentéesousformedegraphe,
peut comporter des boucles (voir section 5.1.2 p.30 sur les notions de graphe et de boucle). Ces
boucles peuvent changer radicalement la dynamique qui pourra s’instaurer dans un RNA, et
l’amener à s’auto-entretenir. La notion de réseau récurrent est étudiée et mise en application
par Hopfield (1982), dans une mémoire auto-associative, i.e. un réseau constitué d’une seule
couche de neurones qui sont à la fois entrée et sortie. La récurrence se trouve dans le fait que
6les neurones sont tous interconnectés. Cette idée de récurrence sera reprise dans le contexte des
perceptrons multicouches, avec le réseau de Jordan (1986) et le réseau de Elman (1990). Dans
ces deux modèles, l’activation de la couche de sortie (dans le cas Jordan) ou de la couche cachée
(dans le cas de Elman) est dupliquée en retour dans la couche d’entrée. La propriété de récur-
rence est présente dans un grand nombre de modèles. Les modèles de « reservoir computing »
(voir chapitre 4) se basent sur des architectures de ce type.
Les réseaux à résonance Ces réseaux sont structurés de telle manière que l’activité de tous
les neurones est envoyée à tous les autres neurones, provoquant ainsi des phénomènes de ré-
sonance et d’oscillation dans la dynamique du réseau. Parmi les représentants de cette famille,
le modèle ART pour «Adaptive Resonance Theory» (Grossberg, 1976a,b). Les réseaux de Hop-
field (1982) présentés dans les réseaux récurrents peuvent également avoir un fonctionnement
en résonance. Ce principe est par exemple utilisé dans les modèles de mémoires associative
tels que les « Bidirectional Associative Memory » (Kosko, 1988) et les « Boltzman Machines »
(Ackley et al., 1985).
2.3 Les neurones impulsionnels
Avant de décrire les principaux modèles de neurone impulsionnel, nous rappelons briève-
ment les grandes lignes du fonctionnement d’un neurone réel. Comme le montre la figure 2.2,
nous considérons ici deux neurones : l’un chronologiquement placé avant la synapse (neu-
rone pré-synaptique), l’autre placé après la synapse (neurone post-synaptique). Le neurone
pré-synaptique émet une impulsion électrique appelée potentiel d’action (ou spike, ou encore
pulse), symbolisée sur la figure par une flèche le long de l’axone. En traversant une synapse
(l’encadré sur la figure), ce spike induit un potentiel électrique dans la membrane du neurone
post-synaptique.
FIGURE 2.2 – Exemple d’une connexion entre deux neurones biologiques
Ce potentiel est appelé potentiel post-synaptique (abrégé par PPS, en anglais « Post Sy-
naptic Potential » abrégé PSP). Celui-ci se propage le long de la membrane du neurone post-
synaptique (sur la figure 2.2 : flèches de petite taille sur les dendrites, symbolisant chacune la
7propagation d’un PPS). En arrivant au soma, si les PPS sont suffisants en nombre et en am-
plitude, et suffisament synchronisés pour que le potentiel de membrane dépasse un certain
seuil, alors un nouveau potentiel d’action est créé : le neurone post-synaptique émet à son
tour un spike. Notons qu’un PPS peut être excitateur (le potentiel de membrane du neurone
post-synaptique se rapprochera du seuil de déclenchement sous son influence) ou inhibiteur
(le potentiel de membrane du neurone post-synaptique s’éloignera du seuil de déclenchement
sous son influence), selon que le neurone pré-synaptique est lui-même excitateur ou inhibiteur.
2.3.1 Les modèles de neurone impulsionnel
Les modèles computationnels de neurone impulsionnel ont l’avantage de proposer une in-
tégration temporelle de l’information. La réponse du neurone à une stimulation n’est plus une
valeur représentant le taux de décharge (principe du neurone à seuil ou sigmoïdal), mais le
temps d’émission du prochain spike. L’information transmise n’est plus cadencée par la pré-
sentation d’un stimulus. Un spike est émis à l’instant où l’excitation du neurone dépasse le
seuil. Il est donc nécessaire d’adopter une horloge virtuelle permettant, au sein d’un RNA, de
temporiser les émissions de spikes des neurones, qui peuvent alors être considérées comme
des événements datés. Les modèles de neurone impulsionnel possèdent la propriété de détec-
ter la corrélation temporelle des potentiels d’action afférents, surpassant en cela les modèles de
neurone classiques. Les modèles de neurone impulsionnel proposés dans la littérature peuvent
être regroupés en quatre grandes familles :
1. Le modèle de Hodgkin & Huxley (HH) (Hodgkin & Huxley, 1952b,a) : ce modèle mathé-
matique décrit la dynamique temporelle du neurone par les variations de concentrations
ioniques (K+, Ca2+) dans différents compartiments et reproduit les principaux "modes"
de fonctionnement du neurone biologique. Une activation peut se traduire par l’émission
d’un potentiel d’action unique, ou de quelques potentiels d’action à très haute fréquence
("burst"), ou par une activité périodique soutenue. Le modèle est défini par quatre équa-
tions différentielles inter-dépendantes.
2. Le modèle Integrate & Fire (IF) et ses dérivés : proposé par Lapicque en 1907 (Lapicque,
1907) (article traduit en l’anglais par Brunel & van Rossum (2007)) se place à un niveau
de détail de modélisation moins précis que le modèle de Hodgkin & Huxley. Le neu-
rone est modélisé tel un circuit électrique composé d’un condensateur et d’une résistance
électrique (dipôle RC). Ainsi, la dynamique du neurone est décrite par son potentiel de
membrane et par l’intensité qui le traverse. Le modèle est décrit, mathématiquement, par
une seule équation différentielle. Ce modèle ne rend pas compte des variations du poten-
tiel de membrane mais seulement des émissions de spikes.
Le modèle Leaky Integrate & Fire (LIF) : dans le modèle IF précédent, le fait que le po-
tentiel de membrane reste constant jusqu’à une prochaine stimulation est une carence par
rapport à la réalité biologique. Aussi est-il possible d’adapter ce modèle afin que le po-
tentiel de membrane tende à revenir à sa valeur de repos, en l’absence de stimulation.
Le modèle IF avec cette propriété supplémentaire de potentiel de membrane à fuite est
appelé « Leaky Integrate and Fire ».
Lemodèle Quadratic Inegrate & Fire (QIF)(Ermentrout&Kopell,1986;Fourcaud-Trocmé
et al., 2003, plus récemment) : il s’agit d’une variante du modèle QIF. En remplaçant
8l’une des équations différentielles par un terme quadratique (du second degré), le mo-
dèle garde une capacité de modéliser des comportements biologiques pertinents, tout en
perdant en complexité.
Les modèles à conductance Integrate & Fire (gIF) (Rudolph & Destexhe, 2006) : il s’agit
d’une classe de modèles qui apporte une amélioration au modèle LIF en basant les cal-
culs de la dynamique interne du neurone sur sa conductance membranaire. Ce modèle
est ainsi sujet à l’expérimentation de mécanismes d’adaptation, supervisée ou non super-
visée.
3. Le Spike Response Model (SRM) (Gerstner & Kistler, 2002) : il s’agit d’une modélisa-
tion phénoménologique du neurone, au sens où l’on ne considère pas les mécanismes sous-
jacents, mais seulement le comportement du neurone. La formalisation de ce modèle se
compose d’une fonction noyau donnant la dynamique du potentiel de membrane du neu-
rone, et d’une calculant la sommation des potentiels post-synaptiques (PPS). Sa
formulation mathématique provient d’une intégration des équations différentielles sous-
jacentes, ce qui la rend plus proche de celle des neurones classiques, même si elle reste
basée sur le temps. Nous détaillerons ce modèle dans la section suivante.
4. Le modèle d’Izhikevich (Izhikevich, 2003) fait intervenir deux équations différentielles
couplées, afin de modéliser les flux d’ions et les dynamiques de potentiel du neurone. Il
permet de reproduire une vingtaine de comportements dynamiques différents, ce qui le
rend précieux pour les modélisateurs qui souhaitent que leurs modèles restent proches
des observations biologiques.
Nous décrivons ci-après les détails du modèle SRM car c’est celui qui a retenu notre atten-0
tion et que nous avons utilisé pour les travaux décrits dans cette thèse.
2.3.2 Le Spike Response Model (SRM)
SRM est une variante du SRM ne tenant compte, dans le calcul de la période réfractaire,0
que du dernier spike émis par le neurone. Nous utilisons ce modèle car il permet de modéli-
ser une propriété essentielle qui est la détection de synchronie. En effet, le modèle SRM pro-0
posé par Gerstner et Kistler (Gerstner & Kistler, 2002), permet de reproduire en simulation le
comportement du neurone de Hodgkin & Huxley avec une bonne précision temporelle, et des
calculs moins coûteux. Dans le modèle SRM , le potentiel de membrane u du neurone N est0 j j
f
décrit comme résultant, à l’instant t, de l’impact des PPS induits par les dernières émissions ti
des neurones pré-synaptiques N :i

f fu (t)= η(t− t )+ w (t− t − d )j ij ijj i
i
f foù t est l’instant d’émission du dernier spike du neurone N , ainsi t− t est le temps écouléjj j
f
depuis cette émission. De façon similaire, t− t est le temps écoulé depuis le dernier spikei
f
du neurone amont N . La fonction η(t− t ) décrit le décours temporel du potentiel de mem-i j
brane du neurone N et permet la simulation d’une période réfractaire. Quant à elle, la fonctionj
f(t− t − d ) décrit le décours temporel d’un PPS en fonction du dernier spike du neurone N .ij ii
Il faut noter que, dans ce modèle, le seuil du neurone a une valeur fixée ϑ, qui ne varie pas au
9f+1cours du temps. Le prochain spike t est déclenché dès que u (t) dépasse le seuil : u (t)≥ ϑj jj
avec u (t) > 0.j
Pour résumer, u est donc la somme du potentiel de membrane et des PPS du dernier spikej
de chaque neurone amont N reçu après un délai axonal d , et pondéré par un poids synaptiquei ij
w .ij
Choix d’implémentation Pour le développement de l’architecture présentée dans la seconde
partie, nous utilisons des fonctions η et simples classiquement. La fonction alpha (figure 2.3,
gauche) est utilisée dans ces deux cas. Nous avons choisi une version simplifiée de cette fonc-
tion (figure 2.3, droite) afin de permettre l’implémentation événementielle du modèle. La fonc-
1tion η(x) vaut simplement−∞ si x est inférieur à la durée de la période réfractaire absolue ,
et une décroissance exponentielle devenant à u (le potentiel de repos du neurone), sinonrest
2nous modélisons la période réfractaire relative . La fonction (x) est une fonction de Dirac (en
−x
τpsppointillés noirs sur la figure 2.3) suivie d’une fonction de décroissance exponentielle e (en
rouge sur la figure 2.3)où τ est la constante de temps d’un PPS. Plus la constante de tempspsp
est petite, plus le PPS est bref. Il s’agit d’une exponentielle décroissante valant u lorsque xmax
vaut 0, et approximée par 0 à partir de 5∗ τ .psp
1
exp(-x/Tau)
0.8
0.6
U [mV]psp
0.4
0.2
0
-1 0 1 2 3 4 5
Temps [ms]
tt −( )τFIGURE 2.3 – Gauche : un exemple de PPS représenté par une fonction α du type e . (voir texte)
τ
Droite : Exemple de PPS avec τ ≈ 1ms et u =1mV . Le PPS sera considéré comme nul à t+5psp max
L’amplitude d’un PPS peut être réglée en tant que paramètre du modèle qui coefficiente la
fonction . L’exemple donné ici est pour le cas d’un PPS excitateur. Si le PPS est inhibiteur, la est symétrique de la précédente (exponentielle croissante à partir de u ).min
1. période après un spike émis, pendant laquelle le neurone ne peut absolument pas émettre de nouveau spike.
2. qui suit la période réfractaire absolue, et pendant laquelle le potentiel de membrane revient peu à
peu à sa valeur de repos; le neurone pourrait pulser, mais seulement sous l’influence d’une très forte stimulation.
102.4 Codage temporel
Dans la mesure où les réseaux de neurones impulsionnels utilisent des informations tem-
porelles, il faut une règle de transcription permettant de convertir sous forme d’informations
temporelles des entrées habituellement codées en intensité sous forme de vecteurs numériques.
Pour cela, nous utilisons un codage temporel (Hopfield et al., 1998). Par ce codage, un vecteur
d’entrée numérique contenant différentes valeurs d’intensité est traduit par différents instants
d’émission de spikes par un neurone (voir figure 2.4).
Composantes du vecteur Neurones
aa
bb
cc
dd
t−1 tIntensité Temps
Vague de spikes dans un intervallVecteur numérique de codage temporel
Codage en intensité Codage temporel
FIGURE 2.4 – Conversion d’un vecteur numérique en codage temporel
Plus la valeur à transmettre est élevée, plus l’émission du neurone d’entrée qui doit la trans-
mettre sera précoce. Inversement, plus la valeur est faible, plus le neurone émettra tardivement.
Comme le montre la figure inspirée de Kempter et al. (1996), les valeurs analogiques d’un vec-
teur sont ainsi traduites dans un codage temporel, par rapport à un temps de référence t.
Nous avons présenté les RNA et les différents modèles de neurones. Une autre question
tout aussi essentielle est celle de l’information transmise par un neurone. La donnée est un
spike. Mais que représente un ensemble de spikes et quelles peuvent être les propriétés de
cette représentation? Puis, à l’échelle du réseau de neurones, comment se traduit cette repré-
sentation de l’information? Enfin, nous savons qu’il existe dans le cerveau des mécanismes qui
remodèlent en permanence certaines zones, permettant l’apprentissage et l’adaptation. Com-
ment ces aspects sont-ils liés et comment peuvent-ils nous aider à comprendre et à élaborer un
modèle d’apprentissage artificiel.
113
Dynamiques neuronales et adaptations
Du fait de la grande diversité de types de neurones qui existent du point vue neurophysiolo-
gique, on peut distinguer une multitude de comportements différents et modélisables. Izhike-
vich (2004) reprend les comportements caractéristiques de certains types de neurones et pro-
pose une nomenclature des modèles de neurones artificiels adaptés aux comportements que
l’on souhaite modéliser. A la vue de ces comportements possibles on se demande quelle infor-
mation est utilisée par les neurones. Nous nous intéressons donc ici à la question essentielle de
l’encodage de l’information par les neurones au sens général.
Représentation de l’information
La représentation de et l’encodage neuronal sont deux notions que nous sou-
haitons distinguer, mais qui pourtant sont intrinsèquement liées. A notre sens, la représentation
de l’information se rapporte au stockage à long terme. La question de la représentation mentale
d’un concept ou d’un objet, sa remémoration, se rapporte en premier lieu aux théories cogni-
tives de la mémoire. Ces aspects haut niveau de la fonction mnésique peuvent nous donner des
indices sur l’implémentation plus bas niveau. Ainsi par exemple, un modèle de mémoire qui
nous intéresse particulièrement est celui de la mémoire à traces multiples, proposé initialement
par Hintzman (1986). Ce modèle postule que chaque expérience vécue par l’individu laisse
une trace mnésique. Cette trace est une empreinte des informations reçues lors de l’expérience,
telles que les informations sensorielles, l’émotion, etc. Si l’individu vit une autre expérience
similaire, la trace mnésique précédente va être réactivée (remémorée) et renforcée. C’est bien
sûr un mécanisme multimodal (lié à différentes modalités cognitives, telles que les sens), voire
amodal (lié indifférement à différentes entrées qui sont toutes traitées de la même manière)
(Versace et al., 2009).
Cette question de la représentation de l’information, de la mémorisation, doit permettre de
réduire le champ d’investigation de la question de l’encodage bas niveau de cette information.
L’encodage se rapporte à la manière dont cette information est extraite dynamiquement et au
code neuronal utilisé. Cette notion nous amène à des aspects tels que le « binding problem » –
comment est faite l’intégration d’informations distribuées – et les oscillations (Singer & Gray,
1995) : quel est le code neuronal mis en œuvre?
3.1 Dynamique d’un neurone
Abeles (1982) évoque deux modes de fonctionnement du neurone qui s’opposent. D’une
part le comportement en détecteur de coïncidence caractérise un neurone qui sera sensible
à des stimulations rapprochées, d’autre part le comportement en intégrateur caractérise un
neurone sensible à des stimulations plus étalées dans le temps, donc capable de tenir compte
de spikes moins rapprochés. Ces deux modes de fonctionnement sont illustrés par la figure 3.1.
12Potential (mV)Potential (mV)
output spikesoutput spikes
Threshold
Threshold
Time (ms) Time (ms)
input spikes input spikes
Intégrateur Détecteur de coïcidence
FIGURE 3.1 – Deux comportements différents selon la fuite d’un PPS. Gauche : comportement d’un neu-
rone intégrateur. Droite : comportement d’un neurone détecteur de coïncidence. Figure d’après Paugam-
Moisy (2006)
Paramètres d’influence
Typiquement, ces comportements peuvent être contrôlés par la constante de temps mem-
branaire du neurone. Celle-ci, rappelons-le, représente la vitesse avec laquelle le potentiel de
membrane du neurone revient à sa valeur de repos. D’un point de vue computationnel, dans
le neurone impulsionnel SRM , le réglage du paramètre τ permet de modifier la capacité d’un0
neurone à détecter la coïncidence des stimulations, ou plutôt à accumuler les stimulations pour
les intégrer.
3.1.1 Arguments neuro-physiologiques
Softky & Koch (1993) ont mis en évidence que l’activité corticale est caractérisée par une
forte irréguarité de l’intervalle inter spikes (ISI). Une telle variabilité semble aléatoire et selon
Shadlen & Newsome (1994), peut être provoquée :
• soit par le fait que les neurones sont des intégrateurs et qu’un équilibre entre excitation
et inhibition maintient le potentiel de membrane en fluctuation aléatoire, auquel cas l’in-
formation transmise n’est pas un motif temporel précis, mais bien aléatoire,
• soit par le fait que les neurones sont des détecteurs de coïncidence avec une constante
de temps très courte. Les observations alors vont à l’encontre d’une constante de temps
courte.
Néanmoins, König et al. (1996) pour l’aspect neurophysiologique et Watanabe & Aihara
(1997) pour l’aspect computationnel, soutiennent qu’il est possible que les neurones corticaux
utilisent effectivement une constante de temps courte. Kempter et al. (1998) montrent que la
constante de temps membranaire n’est pas le seul paramètre capable d’influencer le compor-
tement du neurone, et suggèrent que la variation du seuil de déclenchement pourrait être un
mécanisme d’adaptation dynamique du comportement du neurone.
3.1.2 Précision temporelle du neurone et des signaux
Il semble que la précision temporelle du neurone soit de l’ordre de la milliseconde (Crook
et al., 1998), avec une distinction pouvant aller jusqu’au dixième de (Mainen &
Sejnowski, 1995; Cessac et al., 2009), mais pas davantage.
13
Membrane Potential
Membrane Potential

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.