Etat de l'art

Frederique

Description

• mémoire - matière potentielle : associative
• cours - matière potentielle : du temps
• mémoire
• mémoire - matière potentielle : auto - associative

Première partie Etat de l'art 4

• cerveau des mécanismes
• modèles de neurone classiques
• po- tentiel de membrane
• potentiel de membrane du neurone post-synaptique
• codage temporel
• dynamiques
• dynamique
• neurones
• neurone
• réseau
• réseaux
• modèles
• modèle

Sujets

• Associativité
• Mémoire
• Neurone
• Modèle
• Potentiel
• Temporel et spirituel
• Membrane
• Codage

Informations

• Publié par: nuvung0
• Nombre de lectures: 31
• Langue: Français

Extrait

Première partie
Etat de l’art
42
Les réseaux de neurones artificiels
Les neurones artificiels et réseaux de neurones artificiels sont le terreau, les fondations sur
lesquelles se basent nos travaux. Nous y consacrons ici un chapitre présentant les différentes
architectures classiques et les modèles de neurones existants. Nous justifions ainsi notre choix
des neurones impulsionnels par deux de leurs avantages : un réalisme biologique suffisante et
une complexité calculatoire satisfaisante.
2.1 Contexte historique et introduction
Les réseaux de neurones artificiels sont un domaine de l’informatique qui a émergé dans
les années 40 et dont le composant atomique est le neurone artificiel. L’introduction du premier
neurone artificiel et des premiers réseaux de neurones artificiels (McCulloch & Pitts, 1943; Ro-
senblatt, 1958) a suscité un engouement de la part de la communauté scientifique. Le principe
fondamental de tout modèle de neurone artificiel est que l’état du neurone est sujet à des chan-
gements au cours du temps, sous l’influence d’un événements extérieur i.e. d’une stimulation.
Les premiers neurones artificiels étaient des modèles dont l’état était une métaphore du taux de
décharge d’un neurone biologique. Ces modèles sont communément appelés neurones à taux
de décharge. Dans cette génération de modèles, un neurone recevant la stimulation d’autres
neurones recalcule son état, c’est-à-dire une valeur numérique représentant sa fréquence de
décharge, en fonction de la force des stimulations reçues. Ainsi, un ensemble de neurones arti-
ficielsdépendantlesunsdes autres(quellesquesoientlanatureetla formedecesdépendances)
est appelé réseau de neurones artificiels (RNA).
En 1969 Minsky & Papert (1969) publient un argumentaire mettant en évidence les fai-
blesses des RNA, à savoir leur incapacité à résoudre des problèmes non-linéaires, tels que la
modélisation de la fonction logique XOR. Il s’en est suivi une diminution substentielle des
fonds affectés à la recherche dans ce domaine, qui resta donc au point mort. Puis il connu un
regain d’intérêt au tout début des années 80, avec l’émergence de modèles qui proposent des
avancées outrepassant les faiblesses des RNA. Cette période voit l’apparition du mécanisme
d’apprentissage dit de rétro-propagation (Rumelhart et al., 1986), mais également de nouvelles
architectures telles que les cartes auto-organisatrices (Kohonen, 1982) et les réseaux récurrents
(Hopfield, 1982; Elman, 1990; Jordan, 1986).
Ainsi les premiers neurones artificiels étaient des modèles simulant le taux de décharge
(i.e. la fréquence) moyen d’un neurone biologique. Dans les années 90, avec la croissance de
la puissance de calcul des ordinateurs, et les avancées en biologie, une nouvelle génération de
neurones nommés neurones impulsionnels (en anglais « spiking neurons ») apparaît dans le
monde des science de l’informatique (Watts, 1994; Maass, 1997a,b; Maass & Natschläger, 1997;
Gerstner & Kistler, 2002). Ces modèles ne simulent plus la fréquence de décharge, mais s’in-
téressent aux émissions individuelles de potentiels d’action. Pour traiter de la génération des
neurones à taux de décharge, nous parlerons des neurones artificiels classiques. Voir Haykin
5(1999) pour une revue des RNA classiques et Paugam-Moisy & Bothe (2011) pour une revue
des réseaux de neurones impulsionnels.
2.2 Les grandes familles de réseaux de neurones
Nous présentons ici les grandes familles de RNA organisées en fonction de leur dynamique,
indépendamment des modèles de neurones artificiels, dont nous parlerons dans la section 2.3.
Les réseaux « feed forward » Ce sont des réseaux dont la structure suit une logique de traite-
ment de l’information au travers de couches de neurones successives, de l’entrée vers la sortie,
sans retour de l’information en amont (voir figure 2.1). C’est par exemple le cas des percep-
trons et perceptrons multi-couches (Rosenblatt, 1958; Rumelhart et al., 1986). Ces architectures
restent souvent utilisées. Dans ces réseaux la dynamique est dirigée par la présentation des
exemples d’entrée. Les activations se propagent en sens unique, de la couche d’entrée à la
couche de sortie.
FIGURE 2.1 – Exemple de réseau de neurones artificiel
Les réseaux auto-organisés Lescartesauto-organisatrices(Fukushima,1975;Grossberg,1976a;
Kohonen, 1982; Rumelhart & Zipser, 1985) sont inspirées de la structure du cortex, notamment
visuel, dans lequel on peut observer une connectivité locale. En d’autres termes, chaque neu-
rone est connecté aux entrées et à ses voisins. Ce concept permet le traitement par un RNA
d’informations dont on sait qu’elles portent des relations spatiales en elles, telles les pixels
d’une image.
Les réseaux récurrents Ils’agitderéseauxdontlastructure,représentéesousformedegraphe,
peut comporter des boucles (voir section 5.1.2 p.30 sur les notions de graphe et de boucle). Ces
boucles peuvent changer radicalement la dynamique qui pourra s’instaurer dans un RNA, et
l’amener à s’auto-entretenir. La notion de réseau récurrent est étudiée et mise en application
par Hopfield (1982), dans une mémoire auto-associative, i.e. un réseau constitué d’une seule
couche de neurones qui sont à la fois entrée et sortie. La récurrence se trouve dans le fait que
6les neurones sont tous interconnectés. Cette idée de récurrence sera reprise dans le contexte des
perceptrons multicouches, avec le réseau de Jordan (1986) et le réseau de Elman (1990). Dans
ces deux modèles, l’activation de la couche de sortie (dans le cas Jordan) ou de la couche cachée
(dans le cas de Elman) est dupliquée en retour dans la couche d’entrée. La propriété de récur-
rence est présente dans un grand nombre de modèles. Les modèles de « reservoir computing »
(voir chapitre 4) se basent sur des architectures de ce type.
Les réseaux à résonance Ces réseaux sont structurés de telle manière que l’activité de tous
les neurones est envoyée à tous les autres neurones, provoquant ainsi des phénomènes de ré-
sonance et d’oscillation dans la dynamique du réseau. Parmi les représentants de cette famille,
le modèle ART pour «Adaptive Resonance Theory» (Grossberg, 1976a,b). Les réseaux de Hop-
field (1982) présentés dans les réseaux récurrents peuvent également avoir un fonctionnement
en résonance. Ce principe est par exemple utilisé dans les modèles de mémoires associative
tels que les « Bidirectional Associative Memory » (Kosko, 1988) et les « Boltzman Machines »
(Ackley et al., 1985).
2.3 Les neurones impulsionnels
Avant de décrire les principaux modèles de neurone impulsionnel, nous rappelons briève-
ment les grandes lignes du fonctionnement d’un neurone réel. Comme le montre la figure 2.2,
nous considérons ici deux neurones : l’un chronologiquement placé avant la synapse (neu-
rone pré-synaptique), l’autre placé après la synapse (neurone post-synaptique). Le neurone
pré-synaptique émet une impulsion électrique appelée potentiel d’action (ou spike, ou encore
pulse), symbolisée sur la figure par une flèche le long de l’axone. En traversant une synapse
(l’encadré sur la figure), ce spike induit un potentiel électrique dans la membrane du neurone
post-synaptique.
FIGURE 2.2 – Exemple d’une connexion entre deux neurones biologiques
Ce potentiel est appelé potentiel post-synaptique (abrégé par PPS, en anglais « Post Sy-
naptic Potential » abrégé PSP). Celui-ci se propage le long de la membrane du neurone post-
synaptique (sur la figure 2.2 : flèches de petite taille sur les dendrites, symbolisant chacune la
7propagation d’un PPS). En arrivant au soma, si les PPS sont suffisants en nombre et en am-
plitude, et suffisament synchronisés pour que le potentiel de membrane dépasse un certain
seuil, alors un nouveau potentiel d’action est créé : le neurone post-synaptique émet à son
tour un spike. Notons qu’un PPS peut être excitateur (le potentiel de membrane du neurone
post-synaptique se rapprochera du seuil de déclenchement sous son influence) ou inhibiteur
(le potentiel de membrane du neurone post-synaptique s’éloignera du seuil de déclenchement
sous son influence), selon que le neurone pré-synaptique est lui-même excitateur ou inhibiteur.
2.3.1 Les modèles de neurone impulsionnel
Les modèles computationnels de neurone impulsionnel ont l’avantage de proposer une in-
tégration temporelle de l’information. La réponse du neurone à une stimulation n’est plus une
valeur repr