Acquisition et modélisation de données articulatoires dans un contexte multimodal, Acquiring and modelling multimodal articulatory data

Michaël Aron

Description

Sous la direction de Marie-Odile Berger
Thèse soutenue le 12 novembre 2009: Nancy 1
La connaissance des positions et des mouvements des articulateurs (lèvres, palais, langue...) du conduit vocal lors de la phonation est un enjeu crucial pour l’étude de la parole. Puisqu’il n’existe pas encore de système permettant l’acquisition de ces positions et de ces mouvements, ce travail de thèse s’intéresse à la fusion de plusieurs modalités d’imagerie et de capteurs de localisation pour l’acquisition des positions des articulateurs dans l’espace et dans le temps. Nous décrivons un ensemble de protocoles et de méthodes pour obtenir et fusionner automatiquement un important volume de données échographiques (imageant en 2D la dynamique de la langue), stéréoscopiques (imageant en 3D la dynamique des lèvres), de capteurs électromagnétiques (capturant des points 3D de la langue et du visage), et d’Imagerie par Résonance Magnétique (IRM) pour acquérir en 3D l’ensemble des articulateurs en position statique. Nos contributions concernent plus particulièrement la synchronisation temporelle, le recalage spatial des données et l’extraction automatique des formes à partir des données (suivi de la langue dans les images échographiques). Nous évaluons la précision sur chaque donnée extraite, ainsi que sur l’ensemble des données fusionnées. Nous les validons enfin sur un modèle articulatoire existant. Ces travaux permettent l’obtention de données bien fondées pour la mise en place et l’étude de modèles articulatoires pour des applications en parole.
-Fusion multimodale d’imagerie
-Données articulatoires
There is no single technique that will allow all relevant behaviour of the speech articulators (lips, tongue, palate...) to be spatially ant temporally acquired. Thus, this thesis investigates the fusion of multimodal articulatory data. A framework is described in order to acquire and fuse automatically an important database of articulatory data. This includes: 2D Ultrasound (US) data to recover the dynamic of the tongue, stereovision data to recover the 3D dynamic of the lips, electromagnetic sensors that provide 3D position of points on the face and the tongue, and 3D Magnetic Resonance Imaging (MRI) that depict the vocal tract for various sustained articulations. We investigate the problems of the temporal synchronization and the spatial registration between all these modalities, and also the extraction of the shape articulators from the data (tongue tracking in US images). We evaluate the uncertainty of our system by quantifying the spatial and temporal inaccuracies of the components of the system, both individually and in combination. Finally, the fused data are evaluated on an existing articulatory model to assess their quality for an application in speech production.
Source: http://www.theses.fr/2009NAN10097/document

Informations

• Publié par: Thesee
• Nombre de lectures: 26
• Langue: Français
• Poids de l'ouvrage: 4 Mo

Extrait

AVERTISSEMENT

Ce document est le fruit d'un long travail approuvé par le
jury de soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.

Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors
de l’utilisation de ce document.

D’autre part, toute contrefaçon, plagiat, reproduction
illicite encourt une poursuite pénale.


➢ Contact SCD Nancy 1 : [e-mail]




LIENS


Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm ´D´epartement de formation doctorale en informatique Ecole doctorale IAEM Lorraine
UFR STMIA
Acquisition et mod´elisation de donn´ees
articulatoires dans un contexte
multimodal
`THESE
pr´esent´ee et soutenue publiquement le 12 Novembre 2009
pour l’obtention du
Doctorat de l’universit´e Henri Poincar´e – Nancy 1
(sp´ecialit´e informatique)
par
Micha¨el Aron
Composition du jury
Rapporteurs : Phil Hoole Chercheur LMU, Munich
Yohan Payan Directeur de Recherche CNRS, Grenoble
Examinateurs : Marie-Odile Berger Charg´ee de Recherche INRIA, Nancy
Saida Bouakaz Professeur des Universit´es, Lyon I
Nacer Boudjlida Professeur des Universit´es, UHP Nancy
Erwan Kerrien Charg´e de Recherche INRIA, Nancy
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503Mis en page avec la classe thloria.i
Remerciements
Je remercie mes rapporteurs, Yohan Payan et Phil Hoole pour l’attention et la curiosité
manifestes avec lesquelles ils ont jugé ce manuscrit; Nacer Boudjlida et Saida Bouakaz d’avoir
acceptédefairepartiedujury.Enfin,unimmensemerciàMarie-OdileBergeretàErwanKerrien
pour m’avoir soutenu et aidé dans ce travail durant ces quatres années.
JeremercieaussiparticulièrementYvesLapriepoursonaideetsesprécieuxconseilsenparole
et pour avoir toujours accepté de se préter à des expériences occultes avec les capteurs électro-
magnétiques. Un grand merci aussi à Fabrice Hirsch pour sa disponibilité, sa grande patience et
la gentillesse dont il a fait preuve pour les longues séances d’acquisitions de données.
MerciauProfesseurRenéAnxionnatetàSandrineLefortduserviceneuroradiologieduCHU
deNancy,pourleurdisponibilitéetavoirsuêtreànotreécoutepourmettreenplaceunprotocole
IRM comme dans mes rêves les plus fous.
C’est un plaisir et une chance de travailler dans un cadre comme celui du LORIA. Merci à
tous ceux de Magrit, ex ou toujours en place : Brigitte, les deux Frédéric, Gilles, les trois Nico-
las, Blaise, Cédric, Flavio, Ting, Shrikrishna, Evren, Diego, Sébastien. Merci à Isabelle pour sa
gentillesse et ses réserves de stylos, ainsi qu’aux autres doctorants, Farid, Julien, Adrien, Nizar,
Zainab. Une pensée aussi aux fans de Demis Roussos et de Nana Mouskouri, Asterios, Nassos et
Tassos.
Et puis, toutes celles et ceux avec qui j’aime partager autre chose que des données articu-
latoires. Merci aux californiens Aude et Adrien; à Gilles, Céline et Zoé et leur bétonnière avec
qui j’ai vécu de grandes et belles choses; à Manue et Séb, Claire et Momo, Julie, Linda et Fred,
MagalieetBob.UnepenséepourAng-lemetsonuniqueemailparan,auxlyonnaisCécileetFab,
Aurélie et Nicolas et tout leurs enfants. Mille mercis à Audrey. Merci aussi aux indéboulonables
Marco, JC, Mimil pour ces week-ends culturels dans les pubs londoniens et ces exquises fondues
savoyardes. Merci à Lise, plein de courage pour la fin à toi aussi.
Enfin, un dernier gigantesque merci à mes parents, à ma soeur, à Philippe, Sylvie, ma cra-
pouille, et à toute ma petite famille pour leur infaillaible soutient depuis que je suis tout petit.
Je suis fier de vous avoir!iiTable des matières
Table des figures vii
Liste des tableaux ix
Abbréviations 1
Introduction 3
1 Données articulatoires et modélisation du conduit vocal 7
1.1 Le conduit vocal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.1 Description anatomique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.2 Les principaux articulateurs dans la parole . . . . . . . . . . . . . . . . . . 9
1.2 Les modèles articulatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.1 Les modèles à fonction d’aire . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.2 Les modèles géométriques . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.3 Les modèles statistiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.4 Les modèles biomécaniques . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3 Les méthodes d’acquisition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.1 Cinéradiographies, rayons X . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.2 Micro-faisceaux de rayons X . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.3.3 Données électromagnétiques . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.3.4 Échographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.5 IRM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.6 Récapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2 Acquisition de données articulatoires multimodales : état de l’art et objectifs
de la thèse 23
2.1 Étude de l’existant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1.1 Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
iiiiv Table des matières
2.1.2 Bases de données de la littérature . . . . . . . . . . . . . . . . . . . . . . . 24
2.1.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2 Objectifs de la thèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.1 Corpus et multilocuteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.2 Données multimodales statiques et dynamiques . . . . . . . . . . . . . . . 33
2.2.3 Analyse des besoins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3 Organisation du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3 Système d’acquisition de données dynamiques 37
3.1 Le système d’acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1.1 Architecture globale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.1.2 Les données ultrasons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.1.3 Les données électromagnétiques . . . . . . . . . . . . . . . . . . . . . . . . 43
3.1.4 Les données de stéréovision . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.1.5 Récapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2 Synchronisation des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.2 Estimation des délais entre les modalités . . . . . . . . . . . . . . . . . . . 53
3.2.3 Remarques sur la synchronisation . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4 Traitement des données dynamiques 57
4.1 Calibrage des données échographiques et électromagnétiques . . . . . . . . . . . . 57
4.1.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.2 Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.3 Méthodes existantes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.1.4 Protocole expérimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.1.5 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.1.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2 Suivi du contour de la langue dans les séquences US . . . . . . . . . . . . . . . . 68
4.2.1 Spécificités du problème . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.2 Segmentation de courbes dans les images échographiques : le rôle des
contours actifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2.3 Utilisation de la dynamique . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.2.4 Travaux sur le suivi de la langue . . . . . . . . . . . . . . . . . . . . . . . 70<