APPLICATION DE RESEAUX DE NEURONES ARTIFICIELS A LA RECONNAISSANCE ...

De
Publié par

  • dissertation - matière potentielle : originale
Faculté Polytechnique de Mons Dissertation originale présentée pour l'obtention du grade de Docteur en Sciences Appliquées par Bernard GOSSELIN APPLICATION DE RESEAUX DE NEURONES ARTIFICIELS A LA RECONNAISSANCE AUTOMATIQUE DE CARACTERES MANUSCRITS Membres du jury: Professeur J. TRECAT, FPMs, Président Docteur C. PERNEEL, ERM Professeur C. WELLEKENS, EURECOM Professeur G. LIBERT, FPMs Professeur H. LEICH, FPMs, Promoteur Professeur A. PILATTE, FPMs, Doyen
  • système de reconnaissance automatique
  • principe de la méthode
  • kème exemplaire d'apprentissage
  • optimisation de la coopération
  • coopération en parallèle
  • reconnaissance de caractères manuscrits
  • application de l'analyse discriminante
  • description des problèmes de test
  • neurones
  • neurone
Publié le : mercredi 28 mars 2012
Lecture(s) : 75
Source : tcts.fpms.ac.be
Nombre de pages : 231
Voir plus Voir moins

Faculté Polytechnique de Mons



Dissertation originale présentée pour l’obtention du
grade de Docteur en Sciences Appliquées
par


Bernard GOSSELIN


APPLICATION DE RESEAUX DE
NEURONES ARTIFICIELS A LA
RECONNAISSANCE AUTOMATIQUE
DE CARACTERES MANUSCRITS






Membres du jury:

Professeur J. TRECAT, FPMs, Président

Docteur C. PERNEEL, ERM
Professeur C. WELLEKENS, EURECOM

Professeur G. LIBERT, FPMs
Professeur H. LEICH, FPMs, Promoteur
Professeur A. PILATTE, FPMs, Doyen


Année académique 95-96

























« Toute thèse s’offre aux rires des dieux »

Kierkegaard








Qu’il me soit permis d’adresser en premier lieu mes sincères
remerciements à Monsieur le Professeur Leich, pour m’avoir permis
de réaliser dans son laboratoire les recherches dont cette thèse est
l’aboutissement, ainsi que pour la confiance qu’il m’a accordée tout
au long de celles-ci. Je désire également remercier Monsieur le
Professeur Boite, qui le premier éveilla mon intérêt pour ce sujet.
Je remercie les membres du jury, Messieurs les Professeurs
Leich, Libert, Trécat, Monsieur le Docteur Perneel, ainsi que
Monsieur le Professeur Wellekens, pour avoir accepté d’évaluer le
présent travail.
Je tiens à témoigner ma reconnaissance à ceux, et en
particulier mon père et mon beau-père, qui, par une lecture de la
version préliminaire de mon manuscrit, ont contribué à en améliorer
la qualité.
Je tiens également à exprimer toute ma gratitude à mon épouse,
pour son soutien indéfectible et pour la tolérance dont elle a fait
preuve à mon égard.
Enfin, il serait particulièrement ingrat de ne pas remercier
Alfred, Christophe, Daniel, Fabrice, François, Georges, Hervé,
Jean-François, Jean-Marc, Jean-Pierre, Nicolas, Olivier D., Olivier
VDV., Sophie, Stéphane, Thierry, Vincent, et Xavier, qui, par leur
exemple et leur soutien, m’ont permis d’arriver à mes fins. Table des Matières 1

Table des Matières

Notations................................................................................................................6

Chapitre 1 Introduction.........8

Structure d’un Système de Reconnaissance Automatique .......................................10
Synopsis...............................................................................12

Chapitre 2 La Segmentation des Caractères.......................15

2.1 Introduction....................................................................................................15
2.2 La Segmentation Primaire................16
2.2.1 Les Principes de Base......16
2.2.2 La Mise en Oeuvre de l’Algorithme..................................................18
2.2.2.1 Le Problème des Pixels Parasites.......18
2.2.2.2 Le Défaut d’Encrage Insuffisant.........20
2.2.2.3 Le Chevauchement de Caractères .....................................20
2.2.2.4 Le Défaut d’Encrage Excessif............22
2.2.3 Conclusions .....................................................................................23
2.3 La Segmentation Secondaire...........24
2.3.1 Les Principes de Base......................................................................24
2.3.2 Le Problème du Chevauchement de Caractères25
2.3.2.1 Description de l’Algorithme Initial......25
2.3.2.2 Le Problème des Pixels Parasites.......................................27
2.3.2.3 Le Défaut d’Encrage Insuffisant.........27
2.3.2.4 Les Situations Critiques.....................................................27
2.3.3 Le Problème des Caractères Connectés...........29
2.3.4 Conclusions .....................................................30
2.4 Optimisation de la Procédure de Segmentation................................................31
2.4.1 Introduction.....................31
2.4.2 Le Pipe-Line Direct .........................................32
2.4.3 Le Pipe-Line Indirect.......................................34
2.4.4 Discussion: Choix d’une Méthode....................35
2.5 Résumé .........................................................................35Table des Matières 2
Chapitre 3 La Reconnaissance Statistique
de Formes...............................................................................37

3.1 Notion de Classificateur..................37
3.2 Les Classificateurs Paramétriques....................................................................39
3.2.1 Le Classificateur Euclidien39
3.2.2 Le Classificateur Quadratique...........................41
3.2.3 Le Classificateur Gaussien................................................................42
3.3 Les Classificateurs Non Paramétriques............................44
3.3.1 La Méthode du Plus Proche Voisin ..................................................44
3.3.2 La Méthode des k Plus Proches Voisins...........46
3.4 Les Classificateurs Neuronaux.........................................47
3.4.1 Introduction.....................................................47
3.4.2 Du Neurone Biologique au Neurone Formel.....................................48
3.4.3 La Carte Auto-Organisatrice............................51
3.4.3.1 Architecture du Réseau.....................................................51
3.4.3.2 La Phase d’Apprentissage.................51
3.4.3.3 L’Algorithme « Learning Vector Quantization »..................55
3.4.3.4 Propriétés de la Carte Auto-Organisatrice .........................57
3.4.4 Le Perceptron..................................................................................58
3.4.4.1 Architecture du Réseau.....................58
3.4.4.2 Le Critère des Moindres Carrés de l’Erreur.......................61
3.4.5 Le Perceptron Multicouches.............................................................63
3.4.5.1 Architecture du Réseau.....................63
3.4.5.2 La Phase d’Apprentissage.................................................65
3.4.5.3 Propriétés du Perceptron Multicouches..............................68
3.4.6 Autres Modèles de Réseaux de Neurones........70
3.4.6.1 Réseaux de Neurones à Poids Partagés.............................70
3.4.6.2 Réseaux à Fonction Radiale de Base .................................73
3.5 Evaluation des Performances...........................................77
3.6 Résumé .........................................78

Chapitre 4 De L’Utilisation du Perceptron
Multicouches.......................................................................79

4.1 Introduction....................................79
4.2 Quelques Astuces d’Apprentissage .................................................................80
4.2.1 Utilisation d’un Terme de Moment....................80 Table des Matières 3
4.2.2 Les Minima Locaux .........................................................................81
4.2.3 La Validation Croisée......83
4.3 Les Différents Modes d’Apprentissage............................................................84
4.3.1 l’Apprentissage En-Ligne.................................84
4.3.2 l’Apprentissage Hors-Ligne..............................84
4.3.3 l’Apprentissage en Demi-Ligne.........................................................85
4.4 Méthodes d’Apprentissage Accéléré...............................87
4.4.1 Introduction.....................................................87
4.4.2 Description des Problèmes de Test...................................................88
4.4.2.1 Le « OU Exclusif »............................88
4.4.2.2 La Reconnaissance de Caractères Manuscrits....................89
4.4.3 Résultats de Référence.....................................................................90
4.4.4 L’Algorithme de Sanossian et Evans.................92
4.4.5 La Méthode de l’Annulation de l’Erreur............94
4.4.6 La Méthode de Vogl........................................................................98
4.4.7 Conclusions.....................100
4.5 Comparaison des Performances des Classificateurs ........101
4.6 Résumé .........................................................................................................104

Chapitre 5 L’Extraction de Caractéristiques ....................105

5.1 Introduction....................................................................................................105
5.2 Opérations de Pré-Traitements........106
5.2.1 Le Filtrage Bidimensionnel106
5.2.2 La Squelettisation ............................................................................110
5.2.3 La Normalisation des Caractères .....................112
5.3 Méthodes d’Extraction de Primitives ...............................................................115
5.3.1 Introduction.....................................................115
5.3.2 La Méthode des Pixels Moyennés....................................................115
5.3.3 La Vectorisation..............116
5.3.3.1 Principe de la Méthode.....................116
5.3.3.2 La Construction des Segments...........................................118
5.3.3.3 Discussion et Résultats......................122
5.3.4 L’Analyse Normalisée du Contour...................125
5.3.4.1 La Détection des Concavités.............................................125
5.3.4.2 La Détection des Transitions..............128
5.3.4.3 Les Modifications Apportées.............130
5.3.5 Résumé: Comparaison des Résultats.................................................132 Table des Matières 4
5.4 La Sélection de Caractéristiques Discriminantes...............................................134
5.4.1 Introduction.....................................................134
5.4.2 L’Analyse en Composantes Principales............134
5.4.3 Estimation de la Puissance de Discrimination.....................................138
5.4.3.1 Le Critère de Fisher..........................................................138
5.4.3.2 Le Critère de Fisher Généralisé.........139
5.5 Application de l’Analyse Discriminante ...........................142
5.5.1 Introduction.....................................................................................142
5.5.2 Résultats pour la Base de Données ETL-3........143
5.5.3 Résultats pour la Base de Données NIST3 .......................................145
5.5.4 Intégration de l’Analyse en Composantes Principales
au Perceptron Multicouches.............................................................151
5.6 Résumé .........................................................................152

Chapitre 6 La Génération Artificielle
de Caractères Manuscrits .......................................154

6.1 Introduction....................................................................154
6.2 Commentaires sur la génération de Caractères.................................................156
6.3 La Distorsion Linéaire.....................................................158
6.3.1 Principe de la méthode.....................................................................158
6.3.2 Le Ré-Echantillonnage des Caractères..............159
6.3.3 Le Filtrage des Caractères...............................165
6.3.4 Le Sur-.............................................167
6.3.5 Résultats..........................................................168
6.4 La Distorsion Géométrique..............171
6.4.1 Principe de la Méthode....................................................................171
6.4.2 Le Ré-Echantillonnage du Caractère.................172
6.4.3 Résultats..........................................................175
6.5 Applications Pratiques.....................................................177
6.6 Résumé .........................................................................182

Chapitre 7 La Mise en Collaboration
de Perceptrons Multicouches ..............................184

7.1 Introduction....................................................................................................184
7.2 La Coopération en Parallèle............187
7.2.1 Coopération par la Couche Cachée..................................................187 Table des Matières 5
7.2.2 Coopération par la Couche de Sortie ...............................................188
7.2.3 Optimisation de la Coopération........................189
7.3 La Coopération en Cascade............................................190
7.4 La Substitution de Réseaux de Neurones.........................................................194
7.5 Applications Pratiques.....................201
7.5.1 Comportement vis-à-vis des Caractères Typographiques..................201
7.5.2 Mises en Coopération de Perceptrons Multicouches.........................204
7.6 Résumé .........................................................................................................210

Chapitre 8 Conclusion Générale ...................................................212


Annexe A L’algorithme de Rétro-Propagation..............216

Annexe B La Fonction Logique de Squelettisation.....222

Annexe C Vectorisation de Caractères:
La Validation des Segments...................................225


å
Notations 6
Notations

C nombre total de classes
w une classe i
T× opérateur de transposition ( )
T
X = x x L x vecteur de caractéristiques d’un objet à [ ]1 2 d
classifier
d dimension du vecteur de caractéristiques
p X probabilité d’occurence du vecteur de ( )
caractéristiques X
p w probabilité à priori de la classe w ( )i i
p X w fonction de répartition du vecteur X ( )i
p(w X ) probabilité à posteriori de la classe w i i
T
X = -1 x x L x vecteur augmenté d’un objet à classifier [ ]1 2 d
èmeX k vecteur de caractéristiques k
N nombre d’objets d’apprentissage de i
classe w i
N nombre total d’objets d’apprentissage
E × opérateur d’espérance mathématique {}
M = E X w{ }i i

T
= m m L m[ ]i1 i 2 id vecteur de caractéristiques moyen
associé à la classe w i

M = E X{ }
C
= p(w )M i i
i=1
T vecteur de caractéristiques moyen = m m L m[ ]1 2 då
Notations 7
T
S = E ( X - M )(X - M ) w matrice de covariance associée à la { }i i i i
classe w i
T
S = E ( X - M)( X - M){ }
C
T matrice de covariance globale = p w S + p w M - M M - M( ) ( )( )( )[ i i i i i ]
i=1
T2 2 2G = s s L s vecteur des éléments diagonaux de S [ ]i i1 i 2 id i
T2 2 2G = s s L s vecteur des variances générales des [ 1 2 d ]
caractéristiques
T
W = w w L w vecteur de poids d’un neurone à n [ ]1 2 n
entrées
T
W = w w w L w vecteur de poids augmenté d’un neurone, [ ]0 1 2 n
w étant le biais 0
L nombre de couches d’un perceptron
multicouches
h nombre de neurones de la couche l l
T èmeW = w w L w vecteur de poids du i neurone de la l ,i [ l,i1 l ,i2 l ,ih ]l-1
couche l
Tk k k k( ) ( ) ( ) ( )Y = y y L y vecteur des sorties des neurones de la l [ l ,1 l ,2 l ,h ]l
ème couche l lorsque le k exemplaire
d’apprentissage est présenté à l’entrée
(k ) èmeY = X vecteur de caractéristiques du k 0 k
exemplaire d’apprentissage
T(k ) k k k( ) ( ) ( )Y = -1 y y L y vecteur augmenté des sorties des l [ l ,1 l,2 l,h ]l
neurones de la couche l
T
k k k k( ) ( ) ( ) ( )T = t t L t vecteur des sorties désirées pour la [ 1 2 h ]L
dernière couche L

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.