Reseaux de neurones

De
Publié par

Publié le : jeudi 21 juillet 2011
Lecture(s) : 334
Nombre de pages : 24
Voir plus Voir moins
R
és
e
a
u
x
 
d
e
 
n
e
u
r
o
n
e
s
Réseaux de neurone s
TABLE DES MAT I E R ES
TABLE DES MATIERES
LES RESEAUX DE NEURONES ...................................................................... 3 1.Une brève présentation ........................................................................................... 3 2.Quelques exemples d’applications....................................................................... 4 3.Le neurone formel .................................................................................................... 5 4.La fonction d’activation ......................................................................................... 6 5.Le réseau à couches.................................................................................................8 6.La notion d’apprentissage................................................................................... 10 7.Les performances d’un réseau ............................................................................. 12 8.L’ajustement des poids..........................................................................................16 9.Les leviers................................................................................................................ 20
BIBL I OG RAP H I E ............................................................................................. 22
TABLE DES FIGUR ES .................................................................................... 23
Vincen t NAGY – CENTRALE NANTES
2/ 24
Réseaux de neurone s
1. Une brève prés en t a t i o n
L ES R ESEAUX D E N E U RO N ES 1. Une brève présentation L’é tude des rése aux de neur one s da t e des années 1940 - 50. Hér i t i è r e de la révolu t i o n sc i e n t i f i q u e qui mobil i s e les esp r i t s à ce t t e pé r i o d e, ce t t e d i s c i p l i n e t r o uve ses sou r c e s à la f o i s dans les conna i s s a n c e s neurob i ol og i ques de l’époque e t dans un nouvel ou t i l pe rme t t a n t d’explo r e r pa r s imula t i o n le compo r t emen t des modèles théo r i q u e s pr o p o s é s, l’or d i n a t e u r . Cet t e décenn i e vo i t auss i plus ieu r s t r a v aux impo r t a n t s qui galvan i s e n t les re che r c he s sur le ce rve au e t l’esp r i t humain e t posen t les f o n d a t i o n s de ce qui va deven i r l’in t e ll i ge n c e ar t i f i c i e l l e .
Figure 1.1 : Schématisation d’un réseau de neurones biologiques
Le rése au de neur one s a r t i f i c i e l es t un modèle de calcul don t la concep t i o n es t t r è s schéma t i q u emen t in s p i r é e du f o n c t i o n n emen t de vra i s neurones. Des uni t é s f o rmelles pe rme t t e n t , une f o i s assemblées, de réal i s e r des t r a i t e m e n t s complexes de l’in f o r m a t i o n . Il cons t i t u e une app r o c he perme t t a n t d'abo r d e r sous des angles nouveaux les pr oblèmes de pe r c e p t i o n, de mémoi r e, d'app r e n t i s s a g e e t de r a i s o n nemen t . Il s'avè r e auss i une al t e r n a t i v e t r è s pr ome t t e u s e pour con t ou r n e r ce r t a i n e s des lim i t a t i o n s des méthodes numér i ques class i qu es. Grâce à son t r a i t e m en t pa r allèle de l'in f o r m a t i o n, il in f è r e des pr o p r i é t é s émergen t e s pe rme t t a n t de solu t i o n n e r des pr oblèmes j a d i s quali f i é s de complexes. Plusieu r s évolu t i o n s succes s i v e s des ré seaux de neurones leur on t pe rm i s de so r t i r des labo r a t o i r e s mathéma t i q u e s pour ren c on t r e r l’env i r o n n emen t in dus t r i e l .
Vincen t NAGY – CENTRALE NANTES
3/ 24
Réseaux de neurone s
2. Quelques exemples d’appl i c a t i o n s
2. Quelques exemples d’applications His t o r i q u emen t, le prem ie r t e r r a i n d’appl i c a t i o n es t la re c o nn a i s s a n c e des f o rmes, notamment des codes postaux .
Grâce à leur capa c i t é de class i f i c a t i o n e t de génér al i s a t i o n , les rése aux de neurones son t d’o r e s e t dé j à ut i l i s é s en pré d i c t i o n e t déc i s i o n dans les marchés f i n a n c i e r s . Du f a i t de la complexi t é e t la non - linéa r i t é de ces de r n i e r s , les app r o c he s s t a n d a r d s son t moins e f f i c a c e s que celles f o n d é e s sur l’app r e n t i s s a g e . Un exemple d’appl i c a t i o n es t la dé t e rm i n a t i o n des acc o r d s de prê t s ou de c r é d i t s : Une banque regroupe en un jeu de données les caractéristiques des clients qui ont effectué un emprunt. Il est constitué : -de leur revenu, -de leur âge, -du nombre d’enfants à charge… -et de l’appréciation de la banque : « bon client » ou « mauvais client ». Ce jeu de données est ensuite utilisé pour l’apprentissage d’un réseau neuronal. La banque peut alors présenter les caractéristiques d’un potentiel nouveau client au réseau. En généralisant à partir des cas connus, il lui prédit s’il sera bon client ou non.
Dans l’indus t r i e lour de, plus ieu r s ac t i v i t é s on t adop t é le rése au de neurones, don t : · un sys t ème de soudu r e pa r lase r con t r ô l é pa r un rése au neuronal. Basé sur 29 mesures telles que le rayonnement réfléchi capté par des fibres optiques, la puissance du laser et la vitesse de soudure, il détecte et classifie 6 principaux types d’anomalie. · une s t a t i o n de pompage con t r ô l é e pa r deux niveaux de rése aux de neurones e t un sys t ème expe r t . L’information externe est la quantité de précipitations prévue par les services météorologiques. Le premier réseau prédit les niveaux à atteindre en fonction de la quantité d’eaux pluviales et du niveau actuel du réservoir. Le deuxième déduit les objectifs de pompage supervisé par le système expert.
Vincen t NAGY – CENTRALE NANTES
4/ 24
Réseaux de neurone s
3. Le neurone f o rmel
3. Le neurone formel La brique de base d’un rése au de neurones es t un modèle théo r i q u e du neurone.
a a
w a , i f i w i , s v i a i v s
w b i , a b
Figure 3.1 : Modèle du neurone formel
L’ activation a i d’un neurone se calcule en deux é t a p e s : · L’équa t i o n du potentiel v i dépend de l’ut i l i s a t i o n f i n a le du rése au de neurones. v i es t la somme pondé r é e des in f luen c e s d’en t r é e s du neurone (c f . Mult i - Laye r Percep t r o n ) v i 1 å w k , i × a k 1 w a , i × a a # w b i × a b (3.1) , k · L’ activation a i es t dé t e rm i n é e grâce à la fonction d’activation f i prenan t comme pa r amè t r e le potentiel v i a i 1 f i v i (3.2) Des modèles prennen t en comp t e un seuil d’activation Q i en dess ous duquel le neurone ne répon d pas. D’aut r e s in t è g r e n t a i à l’ins t a n t t % 1 dans le calcul de l’ac t i v a t i o n à t .
Le neurone théo r i q u e es t d i t f o rmel s i f i es t non - linéa i r e e t borné. De ce t t e f o n c t i o n d’ac t i v a t i o n découle t ou t l’in t é r ê t des rése aux de neur one s pou r la modéli s a t i o n des phénomènes phys i ques.
Vincen t NAGY – CENTRALE NANTES
5/ 24
Réseaux de neurone s
4. La f o n c t i o n d’ac t i v a t i o n
4. La fonction d’activation Les f o n c t i o n s d’ac t i v a t i o n s igmoïdes prés en t e n t t ou t e s les poss ib i l i t é s sur une même (Figure 4.1) : · La zone 1 es t linéa i r e · La zone 2 es t f o r t e m en t non - linéa i r e · La zone 3 es t cons t a n t e
Fonction sigmoïde tangentielle h a i a i 1 tan v i 1 . 5 d a i 1 1 % a i 1 2 d v i 0 . 5 1 0 -6 -3 0 3 -0 5 . -1 -1 . 5 Fonction sigmoïde exponentielle a i 1. 5 1 2
1 1 a i 1 # e % v i d a i 1 a 1 % a d v iii
1 0 . 5
3
3
v i 6
0 v i -6 -3 0 3 6 Figur e 4.1 : Fonctions d’activation couramment utilisées dans les réseaux neuronaux
Le seuil min imal con f è r e au neur one une ce r t a i n e rés i s t a n c e au bru i t des en t r é e s . La limi t e maximale pe rme t d’év i t e r de pr op age r des grande s valeur s aux neurones en aval.
Vincen t NAGY – CENTRALE NANTES
6/ 24
Réseaux de neurone s
4. La f o n c t i o n d’ac t i v a t i o n
Les neur one s de so r t i e possè den t d’au t r e s f o n c t i o n s d’ac t i v a t i o n , de t y p e linéa i r e . La rép on se du rése au n’es t donc pas re s t r e i n t e à un in t e r v a lle de valeur s, mais peu t balaye r t ou t e s les or d o nnées.
Vincen t NAGY – CENTRALE NANTES
7/ 24
Réseaux de neurone s 5. Le ré se au à couches 5. Le réseau à couches Un rése au de neurone es t en génér al composé d'une succes s i o n de couches don t chacune prend ses en t r é e s sur les so r t i e s de la pré cé d en t e . Chaque couche i es t composée de N i neurones, pren an t leurs en t r é e s sur les N i 1 neurones de la couche pré cé den t e . Les connex i o n s en t r e neurones d’une même couche son t in t e r d i t e s . On d i s t i n gue : · La couche d’en t r é e s qui perç o i t les données du pr oblème · Les couches cachées qui n’on t aucun lien avec l’ut i l i s a t e u r e t ag i s s en t pa r l’in t e r mé d i a i r e d’au t r e s ensembles de neurones · La couche de so r t i e s don t les ac t i v a t i o n s son t in t e r p r é t é e s comme la répons e du rése au Couche d’entrée Couche cachée Couche de sorties E 1 1 a 4 j 7 S 1 b k c l d m E 2 2 e 5 n 8 S 2 f o g p h E 3 3 6 q 9 S 3 i r Figure 5.1 : Exemple d’un réseau à 3 neurones cachés et 18 paramètres Dans ce ré seau neuronal (Figure 5.1), les neur ones f o rmels 1, 2, ..., 9 son t rel i é s en t r e eux pa r des liens synap t i q u e s rep r é s en t é s pa r les flè ches. L’ac t i v a t i o n a 4 de 4 es t dédu i t e : · Des ac t i v a t i o n s de 1 , 2 e t 3 : a 1 , a 2 e t a 3 · Des po i d s synap t i q u e s a , d e t g : w 1, 4 , w 2 , 4 e t w 3 , 4 · de la f o n c t i o n d’ac t i v a t i o n de 4 : f 4 Le nombre de pa r amè t r e s Q d’un rése au à C couches es t donné pa r : C % 1 Q 1 å N i × N i # 1 (5.1) i 1 1 Vincen t NAGY – CENTRALE NANTES 8/ 24
Réseaux de neurone s 5. Le ré se au à couches N'impo r t e quelle f o n c t i o n peu t ê t r e app r ox imée avec un réseau à 1 couche cachée (c f . Horn ik) (Figu re 5.2). La so r t i e es t alo r s une combina i s o n linéa i r e des f o n c t i o n s d’ac t i v a t i o n s igmoïdes. Le nombre de pa r amè t r e s Q es t alo r s donné pa r : Q 1 N c × N 1 # 1 (5.2) avec N i le nombre d’en t r é e e t N c le nombre de neurones dans la couche cachée.
Figure 5.2 : A partir d’échantillons bruités, le réseau retrouve la fonction créneaux
Tou te f o i s , des conna i s s a n c e s phys i ques sur le pr o c e s sus à modél i s e r peuven t suggé re r une s t r u c t u r e pa r t i c u l i è r e, mieux adap t é e au pr oblème posé. Une f o i s les var i ables du rése au dé t e rm i n é e s, la complex i t é du modèle es t s implemen t con t r ô l é e pa r le nombre de neur ones cachés. Au delà de ce t t e s t r u c t u r e s imple, le ré seau de neurones peu t égalemen t con t e n i r des boucles qui en changen t ra d i c a l emen t les poss ib i l i t é s .
Vincen t NAGY – CENTRALE NANTES
9/ 24
Réseaux de neurone s
6. La no t i o n d’app r e n t i s s a g e
6. La notion d’apprentissage L’app r en t i s s a g e d’un rése au se f a i t dans le con t ex t e d’un pr o c e s sus à app r en d r e .
Couche d’entrée Entrée 1
Entrée 2
Couche de sorties
Sortie
Entrée n Figure 6.1 : Architecture d’un réseau de neurones utilisé en prédiction
On cho i s i t d’u t i l i s e r un app r en t i s s a g e es t supervisé . A pa r t i r d’une sé r i e de d imens i o n P , con t e n a n t des couples {ent r é e s x k , so r t i e s mesurées d k }, un algo r i t hme a ju s t e au t oma t i q u emen t les pa r amè t r e s du rése au. Les pr i n c i p a l e s é t a p e s cons i s t e n t : · à prés en t e r un à un les échan t i l l o n s x k aux en t r é e s du rése au, valeur s des so r 1 Î avec les valeur s dés i r é e s · à compa r e r les t i e s a k a k , iik Î NP n d k , · à co r r i g e r les po i d s synap t i q u e s w i , j pour a ju s t e r les so r t i e s du rése au.
L’algo r i t hme t en d à f a i r e passe r la cou rbe de rép on se du rése au pa r t ous les échan t i l l o n s d’app r e n t i s s a g e (Figure 6.2). Ci - dess ous, le rése au a su f f i s ammen t de deg r é s de libe r t é (dépendan t du nombre de neurones cachés) pour modél i s e r le brui t plu tô t que de géné r al i s e r la cou rbe théo r i q u e.
Vincen t NAGY – CENTRALE NANTES
10/ 24
Réseaux de neurone s
6. La no t i o n d’app r e n t i s s a g e
Figure 6.2 : Le réseau va “chercher” les échantillons d’apprentissage  
Vincen t NAGY – CENTRALE NANTES
11 / 24
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.