Inversion acoustique-articulatoire avec contraintes, Acoustic-to-articulatory inversion with constraints

Blaise Potard

Description

Sous la direction de Yves Laprie
Thèse soutenue le 23 octobre 2008: Nancy 1
Cette thèse porte sur l'inversion acoustique-articulatoire, c'est-à-dire la récupération des mouvements des articulateurs de la parole à partir du signal sonore. Nous présentons dans ce mémoire une évolution importante des méthodes de tabulation à codebooks utilisant une table de correspondants acoustique-articulatoire précalculée à l'aide d'un modèle de synthèse acoustique. En dehors de la méthode d'inversion proprement dite, nous proposons également l'introduction de deux types de contraintes liées au contexte d'élocution : des contraintes phonétiques génériques, issues de l'analyse par des experts humains de l'invariance articulatoire des voyelles, et des contraintes visuelles, en l'occurrence des contraintes obtenues automatiquement à partir de l'enregistrement et l'analyse d'images en stéréovision du locuteur.
-Stéréovision
This thesis investigates acoustic-to-articulatory inversion, i.e. recovering articulatory movements from the speech signal. In this work, we present an important evolution of codebooks methods, i.e. methods using acoustic-articulatory tuples precomputed using an acoustic synthesis model. Apart from the inversion method, we present the introduction of two types of constraints : generic phonetic constraints, derived from the analysis by human experts of articulatory invariance for vowels, and visual constraints, i.e. constraints derived automatically from a video signal, in our case a stereo video signal, thus allowing us to perform multimodal inversion.
Source: http://www.theses.fr/2008NAN10085/document

Sujets

• Mesure stéréoscopique

Informations

• Publié par: Thesee
• Nombre de lectures: 41
• Langue: Français
• Poids de l'ouvrage: 5 Mo

Extrait

AVERTISSEMENT

Ce document est le fruit d'un long travail approuvé par le
jury de soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.

Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors
de l’utilisation de ce document.

Toute contrefaçon, plagiat, reproduction illicite encourt une
poursuite pénale.


➢ Contact SCD Nancy 1 : [e-mail]




LIENS


Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm ´D´epartement de formation doctorale en informatique Ecole doctorale IAEM Lorraine
UFR STMIA
Inversion acoustique-articulatoire avec
contraintes
`THESE
pr´esent´ee et soutenue publiquement le 23 octobre 2008
pour l’obtention du
Doctorat de l’universit´e Henri Poincar´e – Nancy 1
(sp´ecialit´e informatique)
par
Blaise Potard
Composition du jury
Rapporteurs : R´egine ANDRE-OBRECHT, Professeur, Universit´e Paul Sabatier
Pierre BADIN, Directeur de Recherche, CNRS
Examinateurs : No¨elle CARBONELL, Professeur, Universit´e Henri Poincar´e
Shinji MAEDA, Directeur de Recherche, CNRS
Xavier RODET, Professeur, Universit´e Paris VI
Directeur de th`ese : Yves LAPRIE, Directeur de Recherche, CNRS
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503Mis

la
en
thloria.
page
avect
du
our
ts

Je
faille.
tiens
limites.
tout
P
particulièremen
particulièremen
t
tous
à
de
remercier
sa
mon
tous

de
de
1,
thèse,
leur
Y
Odile
v
remercie
es
our
Laprie,
la
p
e,
our

sa
tillesse

remercie
ses
enseignan

t
et
ersité
ses


our
ts.

Je
et
tiens
Alain
égalemen
et
t
Enn,
à
famille
remercier
amis,
Shinji
soutien
Maeda
Remerciemen
p

our
l'équip
nous
p
a
sa
v
et
oir
gen
fourni
sans
son
Je
mo
ensuite
dèle
les

ts
et
départemen
ses
Informatique
données,
l'Univ
et
Henri
p
oincaré
our
Nancy
les
p
éc
leurs
hanges
leur
scien
et
tiques
soutien,
fructueux
tout
que
t
nous
Mirgaux,
a
Mella
v
Vincen
ons
Colotte.
pu
je
a
ma
v
et
oir.
mes
Je
p
remercie
leur
profondémen
sans
t
i
Martine
Kuhlmann,iib
mais
équip
mon
grâce
p

ère,
et
ma
qui
mère,
pu
ma
pa
s÷ur
les
Ma
role,
rguerite,
je
mes
Et
frères
iii
Camille,
qui
Louis,
de
Clément
moments,
et
les
Ma
bureau
rin,
res
loin
P
de
et
Nancy

mais

toujours
se
p
tous
rès
pa
de
ria
mon
à

j'ai
;
passer
À
très
Delphine,
ons
Stéf,
tout
Matthias,
rticulièrement
Ben,
o

du
Véro
C130,
et
memb
tous
des
les
es
autres,
a
pa
Magrit
rce
Maia,
qu'ils
tous
le
que
valent
ne
bien
pas
;
qui
À

tous
à
les

memb
sont
res
rtis.
du
À
Loiv2.1.4

.
able
Syn
des
T
matières
.
In
.
tro
.

23
Chapitre
1.3.3
1
.
Préliminaires
.
1.1
.
A
.

.
de
.
la
.
parole
.
.
.
.
train
.
.
.
.
.
.
.
17
.
2.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
yp
.
.
.
.
.
.
.
tro
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
I
.
Chapitre
1
h
1.1.1
et
Pro
.

.
de
dèle
la
.
parole
.
.
.
.
.
.
.
.
.
.
.
.
P
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
de
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
par
.
de
.
.
.
.
.
.
1
.
1.2
1.4
Syn
.
thèse
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
P
.
v
.
tro
.
Construction
.
o
.

.
aramétrisation
.
.
.
.
.
.
.
.
.
.
.
2.1.1
.
de
.
.
.
.
.
.
.
.
.
.
.
21
.
.
.
.
.
.
.
.
.
.
4
.
1.2.1
.
Mo
.
délisation
22
du
acoustique

.
v
.
o
.

.
.
.
.
.
.
résultats
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Présen
.

.
oïdale
.
.
.
.
.
.
.
.
.
24
.
.
.
.
.
.
.
.
4
.
1.2.2
.
P
.
assage
12
de
Résolution
la
in


e

sagittale
tes
à
.
la
.
fonction
.
d'aire
.
.
.
.
.
.
.
.
15
.
Conclusion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
.
1.2.3
.
Sim
.
ulation
.
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
16
.
artie
.
In
.
ersion
.
In
.

.
2
.
de
.
deb
.
ok
.
yp
.
oïque
.
P
.
acoustique
.

.
.
.
.
.
.
.
.
.
.
.
.
9
.
1.3
.
In
.
v
21
ersion
Mo
acoustique-articulatoire

.
Maeda
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.1.2
.
thétiseur
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
.
1.3.1
.
Problème
.
mal
.
p
.
osé
2.1.3
.
aramétrisation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
.
Quelques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
12
.
1.3.2
2.2

tation
e
la
de
h
résolution

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
v
.
..
.
.
able
.
des
.
matièr
.
es
.
2.2.1
.
Choix
.
de
.
la
.

.
.
.
.
.
.
la
.
.
.
.
.
de
.
.
.
.
.
d'équation
.
.
.
.
.
y
.
.
.
.
.
T
.
.
.
.
.
Critère
.
44
.
.
.
46
.
.
.
par
.
.
.
.
.
.
.
.
24
l'ensem
2.2.2
.
Dénitions
.
de
han
la
.

.
h
.
yp
56

.
oïdale
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
vi
.
de