Cet ouvrage fait partie de la bibliothèque YouScribe
Obtenez un accès à la bibliothèque pour le lire en ligne
En savoir plus

Transcription et traitement manuel de la parole spontanée pour sa reconnaissance automatique, Transcription and manual treatment of spontaneous speech for its automatic recognition

De
262 pages
Sous la direction de Daniel Luzzati
Thèse soutenue le 04 février 2011: Le Mans
Le projet EPAC est le point de départ de nos travaux de recherche. Nous présentons ce contexte de travail dans notre premier chapitre.Dans un deuxième temps, nous nous intéressons à la tâche de transcription de la parole. Nous en exposerons quelques jalons, ainsi qu'un inventaire des corpus oraux disponibles aujourd'hui. Enfin, nous comparons deux méthodes de transcription : manuelle et assistée. Par la suite, nous réalisons une étude comparative de huit logiciels d'aide à la transcription. Cela afin de démontrer que, suivant les situations, certains sont plus indiqués que d'autres. Le codage des données est l'objet de notre quatrième chapitre. Peut-on facilement échanger des transcriptions? Nous démontrerons que l'interopérabilité est un domaine où beaucoup de travail reste à faire. Enfin, nous terminons par une analyse détaillée de ce que nous appelons la parole spontanée. Par différents angles, définitions et expériences, nous tentons de circonscrire ce que cette appellation recouvre.
-Systèmes de reconnaissance automatique de la parole
-Taux d'erreur par mot
Our researches are based upon the EPAC project. We develop this work context in our first chapter. Then, transcription task is presented. Some important dates and people are mentionned, as well as an inventory of available speech corpus. Also, assisted and manual transcription task are evaluated and compared. A comparative study of eight transcription tools is developed in the third chapter. It shows that depending on the transcription context (data size, type of annotations ... ), some are more useful than others. Encoding data is the next step of our work. Is it really easy to exchange some transcriptions? We will demonstrate that interoperability must be much more efficient than it currently is, in order to easily share transcribed data. At least, what we name spontaneous speech is precisely analysed. Thanks to several points of view, definitions and experiences, we try to get the precise meaning of this expression.
Source: http://www.theses.fr/2011LEMA3003/document
Voir plus Voir moins

Université du Maine
Transcription et traitement manuel
de la parole spontanée
pour sa reconnaissance automatique
THÈSE
présentée et soutenue publiquement le 4 février 2011
pour l'obtention du
Doctorat de l'Université du Maine
(spécialité sciences du langage)
par
Thierry BAZILLON
Composition du jury
Présidente : Mme Martine Adda-DeckerDirectrice LPP, CNRS, Paris 3
de Recherche
Rapporteurs : M. Jean-Yves Antoine Professeur LI, Université de Tours
M. Henri-José Deulofeu Psseur LIF, Université d'Aix-Marseille
Examinateurs : M. Daniel Luzzati Professeur LIUM, Université du Maine
M. Yannick Estève Psseur LIUM, Universitéaine
Laboratoire d'Informatique de l'Université du MaineRemerciements
J'ai toujours pensé que la présente page serait, au moment où je l'éc rirais, un bien curieux
paradoxe. Bien qu'étaa ntprior i la seule de ce manuscrit à être dépourvue d'une quelconque
connotation scientifique, sa rédaction demande pourtant une rigueur de t ous les instants, alors même
que d'aucuns penseraient que cet exercice n'est que fantaisie et gaudriole...
Que nenni ! Je sais que le moindre oubli, la moindre omission ou la plus infime maladresse
me seront irrémédiablement et éternellement reprochés, bien plus que quelque m édiocre résultat que
j'aurais pu obtenir lors de mes travaux de recherche présentés ci-après. C'est donc avec une minutie
de tous les instants que je vais désormais remercier les personnes qui, d'une façon ou d'une autre,
m'ont permis de voir la fin d'une aventure longue de quatre années...
Et dans cette optique, comment ne pas commencer pa r? DTéamnioienl deLuz mzeas tti out
premiers pas à l'Université du Maine, il a ensuite jalonné mes pérégrinations estudiantines avec une
patience qui, parfois, a suscité ma propre admiration (ce qui n'est pas peu dire). De la conjugaison
du présent de l'indicatif aux modèles de Markov cachés, notre route a connu quelques escapades
gauloises pendant lesquelles il a bien voulu m'accompagner. Plus encore, il est sans cesse venu me
chercher lorsque je préférais contempler le ciel pendant des heures plutôt que de marcher sur le
chemin de la soutenance. Grâce à lui, je suis désormais arrivé au : tquerme'i lde enc e soipéritple
ici sincèrement et chaleureusement remercié. Sans son aide, son soutien et ses conseils, le ciel
n'aurait certes plus aucun secret pour mquid deoi l... ma taihéors ie du fenêtrage s y?ntaxique
Je tenais à associer à ce premier paragraphe de remerciements Yanni ck Estève. Plus qu'un
co-directeur de thèse, il fut tout d'abord la personne qui m'a permi s d'intégrer le Laboratoire
d'Informatique de l'Université du Maine. Pendant deux ans, j'ai ainsi vécu l'épique époque d'EPAC,
qui fut le point de départ et la raison d'être de ma thèse. Sans me c onnaître, Yannick m'a fait
confiance et m'a placé dans de très bonnes conditions pour réaliser mes travaux de recherche.
L'histoire retiendra aussi que, sans le savoir, il m'a également placé da ns de très bonnes conditions
pour faire de la musique avec lui à nos heures (pas si) perdues. Je me souvi ens l'avoir entendu dire
un jour : « La thèse, c'est un état d' ». Pesepriuchètre, comme il avait raisong...
Je tenais ensuite à remercier les membres de mon jury. Tout d'abord Mart ine Adda-Decker,
pour avoir accepté d'être la présidente dudit jury. J'ai souvent puisé dans s es travaux tout au long de
la rédaction de cette thèse, et c'est un honneur pour moi qu'elle l'ait lue et jugée de façon positive.
Ensuite, Jean-Yves Antoine et Henri-José Deulofeu, qui ont accepté d'être les rapporteurs de
mes travaux. Leurs remarques et la façon dont ils les ont exprimées m'ont pe rmis de mieux cerner
certaines limites de ce manuscrit, d'en corriger quelques aspects et de continuer à en approfondir
d'autres.
Lors de mes deux années et demie passées au LIUM, de janvier 2007 à ma i 2009, j'ai été
amené à rencontrer nombre de personnes qui ont compté pour moi tout au long de la rédaction de
cette thèse. En premier lieu, je voulais citer Julie Mauclair et Arnaul d Séjourné, qui furent des
compagnons de bureau éphémères mais ô combien agréables à côtoyer. Je crois savoir que leurs
aventures dans le monde de la recherche continuent de plus belle, et je leur souhaite qu'il en soit
ainsi pendant encore de longues années.
Comment ne pas maintenant évoquer ceux qui furent, durant deux a ns, bien plus que de
simples collègue ? s Je mesure ainsi la chance que j'ai eue de partager ta nt de grands moments
(scientifiques avant tout, bien sûr) avec Richard Dufour, Vincent Jou sse et Antoine Laurent. Je reste
convaincu que sans ce trio, mes souvenirs manceaux ne seraient pas aussi rieurs et nostalgiques à la
fois. Avoir été à deux doigts de fonder le plus grand groupe de rock franç ais de la décennie restera
certes comme une déception, mais que l'hist oi! rIle futn'est bepallse donné à tout le m onde d'êtreenthousiaste en venant travailler le matin (ou en fin de matinée). Je l'ét ais, ne serait-ce qu'à l'idée de
partager une nouvelle journée avec ceux que l'on appel les dé homsormmaesi du 248s « ».
Bien sûr, je n'oublierai pas les nombreuses autres personnes du LIUM ave c qui j'ai eu des
discussions tantôt scientifiques, tantôt moins scientifiques, mais qui m'ont toujours beaucoup
apport :é l'équipe Parole bien sûr (Paul, Sylvain, Bruno, ; lTesva i ngéet niCaeÉursrolti ee)nne et
Bruno pour leurs multiples sauvetages et dé pa; nnaMatgehis lde (et Vincent) pour leur bonne
humeur, les soirées Football ou Rock Band et tant ; d'aMutartreis nec,hos poures nous avoir
supportés en tant que voisins sans jamais porter plainte ; pouret ttousapa cgee ux di queurne
j'oublie, mais qui ne m'en voudront pas ou si peu.
Je ne peux également passer sous silence les 16 mois passés au Laboratoi re d'Informatique
d'Avignon, et que je dois avant tout à Frédéric Béchet. Merci à lui de m'a voir fait confiance une
première fois, pour ce qui allait être une bien belle aventure dans l e Vaucluse. Aventure que j'ai
partagée avec nombre de gens que je tiens :i cChrii sàt opheci,te rNathalie, Juliet te, Pierre C.,
Mickaël, Raphaël, Florian V. et Florian P., Nico, Benjamin, Corinne , Driss... Un merci tout
particulier à Georges et Fabrice pour avoir pris le relais de Fred, et ainsi fait en sorte que je ne
refasse pas mes valises trop vite...
Pour en finir avec mon Tour de France des laboratoires de parole, j e tiens enfin à remercier
ceux qui, aujourd'hui encore, sont m:e s lecs olmlemèbgueress de l'équipe TALEP du Labora toire
d'informatique Fondamentale de Marseille. Frédéric Béchet remporte donc ici une seconde
médaille, puisque c'est à nouveau grâce à lui que j'ai pu intégrer cette équipe, alors que j'apportais
les dernières retouches à mon manuscrit. J'ai été (et je suis toujours) t rès heureux d'y rencontrer
Alexis, Benoît, Joseph, Seljä, Ghasem, Jeff, Firas et Mélanie. J'espère pouvoir continuer à
m'épanouir à leurs côtés, au milieu des lutins et de Mario.
Avant de conclure, je tenais aussi et surtout à remercier ma famil le, qui a suivi mes travaux
durant ces quatre années de recherche, et qui a été largement présente lors de ma soutenance.
J'espère que celle-ci aura d'ailleurs permis de répondre aux nombreuses questi ons qu'elle se posait
sur ma condition de recherche, et que je pourrais fi :na «lMeamienst tréonsu metrra avaiins li, c'est
quoi exactem ?e nt»...
Enfin, je tenais particulièrement à dédier cette thèse à tous les m embres du personnel de
l'Hôpital Laënnec, à Nantes, que j'ai eu l'occasion de rencontrer. Ces tra vaux, ainsi que toutes les
années d'études supérieures qui les précèdent, sont aussi les leurs. Sans eux, sans leur attention, sans
leurs soins et sans leur extrême compétence, rien de tout cela n'aurait été possible. Qu'ils sachent
que, plus que toute autre personne, je les remercie. Du fond du cœur.Table des matières
Table des matières
Index des figur...................................................................................................es 10 ....................
Index des tablea..............................................................................................................ux 12 .......
Introducti..................................................................................................................on 14 .............
Chapitre 1 : Parcours de re............................................................................................cherche 20
1.1 Le projet EPAC : présentation gé...............................................nérale .........21.................
1.1.1 Sous-projet 1 : Management du proj....................................................................et 22
1.1.2 Sous-projet 2 : Extraction de caractéristiques ac.ous....t.i...que..22...s de bas niveau
1.1.3 Sous projet 3 : Reconnaissance automatique de la parol...e. c...23.onve. rsationnelle
1.1.4 Sous-projet 4 : Identification nomm........................ée du locuteur .............24...........
1.1.5 Sous-projet 5 : Traitement du langa..............................................ge naturel 25..........
1.1.6 Sous-projet 6 : Structuration e............................................t agrégation ...25..............
1.1.7 Sous-projet 7 : Annotation et..................................... évaluation ............26...............
1.1.8 Résultats et conséquences a.............................................ttendus ..........27.................
1.2 Autres projet cs «orpus » similai...................................................res .........29...................
1.2.1 VARILING ............................................................................................................. 29 .
1.2.2 RHAPSODIE ................................................................................................ 30 ..........
1.3 La transcription et l'annotation du c...............................orpus EPAC ..............32..............
1.3.1 Introduct..............................................................................ion ....32..........................
1.3.2 Corpus de transcr....................................................................................iption 32 .......
1.3.3 Difficultés l........................................................................iminaires 34......................
1.3.4 La parole superpos......................................................................ée ..36......................
1.3.5 De la transcription manuelle à la trans..................................cription assistée 39........
1.3.6 Facteurs huma................................................................................ins 41 ....................
1.4 Avenir du corpus E.......................................................................................PAC 43 ...........
1.4.1 Enrichissement des données pour la communaut.....................é Parole ........43.........
1.4.2 Études lexicales, sémantiques e.............................................t autres .....44................
6Table des matières
1.4.2.1 Quelques précisions sur l'annotation du c .................orpus EPAC..........44........
1.4.2.2 Études lexica..........................................................................................les 46 .....
1.4.2.3 Études sémantique.............................................................................s 49 ............
1.4.2.4 Études sur le traitement automatique....................................... de la langue 50 ...
1.5 Autres travaux de transcription ou d...............................................'annotation 53..............
1.5.1 Transcription d'émissions tél...........................................................évisées 53 ............
1.5.2 Annotation en frames sémantiques du corpus.................. MEDIA ..............54..........
1.5.3 Segmentation en locuteurs du corpus vidéo LIA....... GERA.R..D................55........
1.6 Conclusi.............................................................................................................on 57 ........
Chapitre 2 : La tra..........................................................................nscription ...59........................
2.1 Corpus disponibles et conventions e..........................................xistantes .......61...............
2.1.1 Historique.....................................................................................61..........................
2.1.2 Inventaire des corpus existants / di...................................................sponibles 62 .......
2.1.3 Les conventions de transc........................................................ription ..75..................
2.2 Transcription manuelle ou a ...............................................................ssistée ? 80...............
2.2.1 Transcription manuelle vs assistée : une é.......................................tude chiffrée 80 ...
2.2.1.1 Protocol...................................................................................e 80......................
2.2.1.2 Principaux rés.............................................................................ultats 81 ............
2.2.1.3 Principaux enseigne..........................................................................ments 85 .....
2.2.2 Relevé, classement et analyse des principaux types d'erreur de........ L..86.IU. M RT
2.2.2.1 Homonymes / paronym..................................................es ..........86...................
2.2.2.2 « e » ouvert / « e » fe.......................................................rmé ......89...................
2.2.2.3 Assimila...........................................................................................tions 90 ........
2.2.2.4 Répétitions, faux départs, t.................................................roncations 91............
2.2.2.5 Autres observati.............................................................................ons 92 ............
2.2.3 Perspectives pour optimiser les systèmes de reconnaissance a utomatique de la
parol........................................................................................................e 92 .......................
Chapitre 3 : Les logiciels d'aide à l..............................................a transcription ......96................
3.1 TRANSCRIBER ............................................................................................................. 98
3.2 PRAAT ................................................................................................ 104.........................
3.3 WINPITCHPRO .................................................................................................... 109 .......
3.4 EXMARaLDA 114 ......
7Table des matières
3.5 ELAN..............................................................................................119.............................
3.6 TRANSANA ......................................................................................... 122.......................
3.7 ANVIL.................................................................................................................. 129 ........
3.8 XTRANS....................................................................................................... 133 ...............
3.9 Conclusi............................................................................................................on 137 ........
Chapitre 4 : Le c.....................................................................................odage 142.......................
4.1 Quelques générali...................................................................................................tés 143 ..
4.2 La T.......................................................................................................................EI 147 ....
4.2.1 Introduct............................................................................ion .....147.........................
4.2.2 SGML : un langage de ba .................................................................lisage 148 ...........
4.2.3 XML : le SGML simp...........................................................lifié .....149....................
4.2.4 La TEI : un codage fait pour l..........................................es corpus oraux ? 150.........
4.2.4.1 La TEI en quelques................................................... balises ......153..................
4.2.4.2 Le codage de la parole selon la TEI 155 ...........
4.3 Conclusi............................................................................................................on 161 ........
Chapitre 5 : La parole s.........................................................................................pontanée 163 ....
5.1 La parole spontanée : des chiffres pour établ........................ir une théorie ?......170.........
5.1.1 Protocol..................................................................................................e 173 .............
5.1.2 Résultats généraux.................................................................................. 174 ..............
5.1.3 Résultats détai.........................................................................llés .175.......................
5.2 La parole spontanée : approches et anal...............................yses croisées .......179............
5.2.1 La morpho-synt..............................................................................axe 179 .................
5.2.1.1 L'élision 179 .......
5.2.1.2 La troncation 182...................
5.2.1.3 Le faux dé.........................................................................part 183......................
5.2.1.4 La répétit...................................................................................ion 185 ...............
5.2.1.5 Les constructions interrog......................................atives .............186................
5.2.2 L'énoncia...........................................................................tion ....190.........................
5.2.3 Le lexiqu......................................................................................e 194.......................
5.2.3.1 euh......................................................................................................... 194 ........
5.2.3.2 ben 195 ........
5.2.4 La phonétique et la phonol.............................................................................ogie 200
8Table des matières
5.2.4.1 Le schw..............................................................................a 200.........................
5.2.4.2 L'élision du schwa et les a.........................................................ssimilations 203 .
5.2.5 La prosodi....................................................................................e 205.......................
5.2.5.1 La fréquence fondamentale de la............................... voix (F0) .......205............
5.2.5.2 L'intens............................................................................................ité 206 ..........
5.2.5.3 La duré...........................................................................e ....207.........................
5.2.5.4 La paus..................................................................................e 208......................
5.2.6 La reconnaissance automatique de............................ la parole ...............208.............
5.3 Les disfluences : un critère réellement di..........................scriminant ? ............212...........
5.3.1 Protocol..................................................................................................e 212 .............
5.3.2 Résultats généraux 215 ..............
5.3.3 Résultats détai.........................................................................llés .220.......................
5.4 La parole spontanée et l'in................................................................teraction 223..............
5.4.1 Analyse générale des résulta.........................................................ts ...224..................
5.4.2 Radio / télévision : une seule parole spontanée ? L.......'exempl...e. du dé..227.... bat
5.4.3 Sous les étoiles exactement : un bon exemple de variation. i....nt..236.eractionnelle
5.5 Conclusion............................................................................................................ 239 ........
Conclusion générale et perspec...............................................................tives ...243.....................
Bibliographie personne................................................................................lle 247.......................
Bibliographi.....................................................................................................................e 249 ......
Résumé .......................................................................................................................... 262 ..........
9Index des figures
Index des figures
Figure 1 : Segmentation d'un dialogue sous TRAN................................SCRIBER ......37...........
Figure 2 : Transcription d'un dialogue à 3 participants. s...ous.... ..T.RA...N..S.CRIBE..38.....R
Figure 3 : Exemple d'annotation des élisions et des....................................... assimilations 45 .....
Figure 4 : Extrait du corpus EPAC annoté en genre d'émission e...t. rôl.....e. du l...50.... ocuteur
Figure 5 : Extrait du corpus EPAC annoté en ty..............................................pe de questions 51 .
Figure 6 : Interface principale du l ....................................................................ogiciel SALTO 55
Figure 7 : Interface générale du logiciel ...........................................TRANSCRIBER 98............
Figure 8 : Fenêtre d'interface des entités nommées de TRA.............NSCRIBER...........101.......
Figure 9 : Représentation d'un dialogue avec trois flux de............ parol.e. s...i..103m..ul...tanés
Figure 10 : Exemple d'une transcription réalisée........................ sous PRAAT ...........104...........
Figure 11 : Fenêtres principales de.................................................................... PRAAT 105 ........
Figure 12 : Affichage des locuteurs.............................................................. sous PRAAT 107 .....
Figure 13 : Interface générale du logiciel W................................INPITCHPRO .......109............
Figure 14 : Fonctionnalités prosodiques du logicie..............l WINPITCH.P.R.O..........1.11.......
Figure 15 : Interface générale du module PARTITUR-E .......................................DITOR 114 .....
Figure 16 : Représentation des locuteurs avec le module PARTITU.R-E......D.IT...O.R...1.16...
Figure 17 : Gestion de l'API sous EXMARa...........................................LDA .......1.17...............
Figure 18 : Interface générale du logi........................................................ciel ELAN 119 ............
Figure 19 : Gestion de la transcription multi-.................................vidéos sous ELAN 120..........
Figure 20 : Interface générale du logici...................................................el TRANSANA 122 ......
Figure 21 : Gestion de la transcription multi-vidéos s.......................ous TRANSANA ..124.......
Figure 22 : Exemple de transcription réalisée ave....................................c TRANSANA 126......
Figure 23 : Interface générale du logi..............................................ciel ANVIL ....129................
Figure 24 : Représentation des différents niveaux d'annotat..........ion sou...s. ..A.N..131V..IL...
Figure 25 : Interface générale du logic...................................iel XTRANS ............133...............
Figure 26 : Affichage d'un fichier .trs im........................................porté sous XTRANS 135.......
10

Un pour Un
Permettre à tous d'accéder à la lecture
Pour chaque accès à la bibliothèque, YouScribe donne un accès à une personne dans le besoin