Approche stochastique bayésienne de la composition sémantique pour les modules de compréhension automatique de la parole dans les systèmes de dialogue homme machine

Marie - Jean Meurs

Description

Niveau: Supérieur, Doctorat, Bac+8
ACADÉMIE D'AIX-MARSEILLE UNIVERSITÉ D'AVIGNON ET DES PAYS DE VAUCLUSE THÈSE présentée à l'Université d'Avignon et des Pays de Vaucluse pour l'obtention du grade de Docteur SPÉCIALITÉ : Informatique École Doctorale 166 « Information Structures Systèmes» Laboratoire d'Informatique (EA 4128) Approche stochastique bayésienne de la composition sémantique pour les modules de compréhension automatique de la parole dans les systèmes de dialogue homme-machine par Marie-Jean Meurs Soutenue publiquement le 10 décembre 2009 devant un jury composé de : Mme Lori LAMEL Directrice de Recherche, LIMSI-CNRS, Paris Rapporteur M. Jérôme BELLEGARDA Apple Distinguished Scientist, Apple Inc, Cupertino USA Rapporteur M. Laurent BESACIER Professeur, LIG, Grenoble Examinateur M. Philippe BRETIER Docteur, Dir. R&D, France Telecom, Lannion Examinateur M. Hermann NEY Professeur, RWTH, Aachen, Allemagne Examinateur M. Renato DE MORI Professeur, LIA, Avignon Directeur de thèse M. Fabrice LEFÈVRE Maître de Conférences HDR, LIA, Avignon Directeur de thèse Laboratoire Informatique d'Avignon

• pays de vaucluse pour l'obtention du grade de docteur


• bayésienne de la composition sémantique pour les modules de compréhension automatique de la parole dans les systèmes


• université d'avignon et des pays de vaucluse


• dérivation des fragments sémantiques


• avignon directeur de thèse


• représentation sémantique

Sujets

• Aachen
• Laboratoire Informatique d'Avignon
• France Télécom
• Académie d'Aix-Marseille
• Lefèvre

Informations

• Publié par: profil-zyak-2012
• Publié le: 01 décembre 2009
• Nombre de lectures: 59
• Langue: Français
• Poids de l'ouvrage: 4 Mo

Extrait

ACADÉMIED’AIX-MARSEILLE
UNIVERSITÉD’AVIGNONETDESPAYSDEVAUCLUSE
THÈSE
présentée à l’Université d’Avignon et des Pays de Vaucluse
pour l’obtention du grade de Docteur
SPÉCIALITÉ : Informatique
École Doctorale 166 « Information Structures Systèmes»
Laboratoire d’Informatique (EA 4128)
Approche stochastique bayésienne de la composition
sémantique pour les modules de compréhension
automatique de la parole dans les systèmes de
dialogue homme-machine
par
Marie-Jean Meurs
Soutenue publiquement le 10 décembre 2009 devant un jury composé de :
meM Lori LAMEL Directrice de Recherche, LIMSI-CNRS, Paris Rapporteur
M. Jérôme BELLEGARDA Apple Distinguished Scientist, Apple Inc, Cupertino USA Rapporteur
M. Laurent BESACIER Professeur, LIG, Grenoble Examinateur
M. Philippe BRETIER Docteur, Dir. R&D, France Telecom, Lannion
M. Hermann NEY Professeur, RWTH, Aachen, Allemagne
M. Renato DE MORI Pr, LIA, Avignon Directeur de thèse
M. Fabrice LEFÈVRE Maître de Conférences HDR, LIA, Avignon Dir de thèse
Laboratoire Informatique d’Avignon2Table des matières
Résumé 9
Introduction 13
I COMPRÉHENSION du DIALOGUE : théories, systèmes, matériau
expérimental 21
Introduction 23
1 Approche linguistique 27
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.2 Principe de compositionnalité . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.3 Grammaires formelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.4 Évolutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.5 Grammaires stochastiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
2 Approche stochastique 37
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.2 Modèle théorique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3 Quelques applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4 L’approche à base de réseaux bayésiens dynamiques . . . . . . . . . . . . 45
2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3 Représentation sémantique 49
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2 Réseaux sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.3 Cadres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.4 FrameNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4 Matériau expérimental : le corpus MEDIA 57
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.2 Collecte du corpus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3 Transcription et annotation du corpus . . . . . . . . . . . . . . . . . . . . 60
34.4 Qualité du corpus : l’accord inter-annotateur . . . . . . . . . . . . . . . . 61
4.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
II CONTRIBUTIONS 63
Introduction 65
PRODUCTION DES DONNÉES D’APPRENTISSAGE 67
5 Représentation sémantique 69
5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.2 Frames Sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5.3 Base de connaissances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
5.4 Annotations manuelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.5 Version LUNA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
6 Annotation déterministe : un système à base de règles en deux étapes 77
6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
6.2 Reconnaissance de modèles . . . . . . . . . . . . . . . . . . . . . . . . . . 78
6.3 Règles d’inférences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
6.4 Évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
6.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
GÉNÉRATION DES FRAGMENTS SÉMANTIQUES 85
7 Réseaux bayésiens dynamiques : formalismes, caractéristiques, exemples 87
7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7.2 Modèles graphiques orientés . . . . . . . . . . . . . . . . . . . . . . . . . 89
7.3 Réseaux bayésiens dynamiques . . . . . . . . . . . . . . . . . . . . . . . . 90
7.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
8 Des DBN pour la génération de fragments sémantiques 95
8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
8.2 Modéle compact . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
8.3 Modéle factorisé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8.4 é deux niveaux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
8.5 Définition et dérivation des fragments sémantiques . . . . . . . . . . . . 108
8.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
9 Expériences et résultats 111
9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.2 Expériences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
9.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4COMPOSITION DES FRAGMENTS SÉMANTIQUES 119
10 Composition d’arbres : modèles et stratégies 121
10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
10.2 Notion d’arbre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
10.3 Séparateurs à vaste marge . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
10.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
11 Approches pour la recomposition de fragments sémantiques 131
11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
11.2 Composition d’arbres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
11.3 Stratégies de décision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
11.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
12 Expériences et résultats 141
12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
12.2 Expériences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
12.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
12.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Conclusion - Perspectives 149
Annexes 157
A Base de connaissances sémantiques 157
B Extrait de corpus MEDIA annoté 159
C Modèles DBN - format GMTK 161
D Méthode de Lagrange 179
E Publications personnelles 181
F Liste des acronymes 185
Liste des illustrations 188
Liste des tableaux 190
Bibliographie 191
56Remerciements
Je souhaite remercier Lori Lamel et Jérôme Bellegarda, rapporteurs de ce manuscrit,
pour leur lecture attentive. Merci également à Laurent Besacier, président du jury, pour
son enthousiasme et sa gentillesse ainsi qu’à Philippe Bretier et Hermann Ney,
examinateurs, pour toutes leurs remarques. Merci à Renato De Mori et Fabrice Lefèvre pour
l’encadrement de ces trois années de thèse.
Merci à Jean-François Bonastre d’avoir rendu cette aventure possible et merci à Denis
Allard d’y avoir cru avant moi.
Merci à Catherine et Dominique pour leur soutien indéfectible. Merci à Diego et Titi,
nos plantes étaient plus heureuses grâce à vous et moi aussi. Merci à Simone pour sa
fiabilité et ses attentions délicates. Merci à Anthony, Bérénice, Carole, Christophe, Marie,
Jeff, Flo, Georges, Rémi, Marius, Agnès, Denis, Alice, Hannah pour tous les moments
partagés et les témoignages d’affection. Merci à Christian pour ses encouragements et
sa confiance tout au long du chemin parcouru ensemble.
Merci enfin à ceux dont l’amour m’a soutenu pendant ces années : mes fils Charles et
Antoine dont l’enthousiasme et la patience ont toujours été au rendez-vous ; Eric, dont
la présence à mes côtés donne sens à toute l’histoire.
78Résumé
Les systèmes de dialogue homme-machine ont pour objec