Inversion acoustique-articulatoire avec contraintes, Acoustic-to-articulatory inversion with constraints

De
Publié par

Sous la direction de Yves Laprie
Thèse soutenue le 23 octobre 2008: Nancy 1
Cette thèse porte sur l'inversion acoustique-articulatoire, c'est-à-dire la récupération des mouvements des articulateurs de la parole à partir du signal sonore. Nous présentons dans ce mémoire une évolution importante des méthodes de tabulation à codebooks utilisant une table de correspondants acoustique-articulatoire précalculée à l'aide d'un modèle de synthèse acoustique. En dehors de la méthode d'inversion proprement dite, nous proposons également l'introduction de deux types de contraintes liées au contexte d'élocution : des contraintes phonétiques génériques, issues de l'analyse par des experts humains de l'invariance articulatoire des voyelles, et des contraintes visuelles, en l'occurrence des contraintes obtenues automatiquement à partir de l'enregistrement et l'analyse d'images en stéréovision du locuteur.
-Stéréovision
This thesis investigates acoustic-to-articulatory inversion, i.e. recovering articulatory movements from the speech signal. In this work, we present an important evolution of codebooks methods, i.e. methods using acoustic-articulatory tuples precomputed using an acoustic synthesis model. Apart from the inversion method, we present the introduction of two types of constraints : generic phonetic constraints, derived from the analysis by human experts of articulatory invariance for vowels, and visual constraints, i.e. constraints derived automatically from a video signal, in our case a stereo video signal, thus allowing us to perform multimodal inversion.
Source: http://www.theses.fr/2008NAN10085/document
Publié le : dimanche 30 octobre 2011
Lecture(s) : 40
Nombre de pages : 171
Voir plus Voir moins




AVERTISSEMENT

Ce document est le fruit d'un long travail approuvé par le
jury de soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.

Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors
de l’utilisation de ce document.

Toute contrefaçon, plagiat, reproduction illicite encourt une
poursuite pénale.


➢ Contact SCD Nancy 1 : theses.sciences@scd.uhp-nancy.fr




LIENS


Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm ´D´epartement de formation doctorale en informatique Ecole doctorale IAEM Lorraine
UFR STMIA
Inversion acoustique-articulatoire avec
contraintes
`THESE
pr´esent´ee et soutenue publiquement le 23 octobre 2008
pour l’obtention du
Doctorat de l’universit´e Henri Poincar´e – Nancy 1
(sp´ecialit´e informatique)
par
Blaise Potard
Composition du jury
Rapporteurs : R´egine ANDRE-OBRECHT, Professeur, Universit´e Paul Sabatier
Pierre BADIN, Directeur de Recherche, CNRS
Examinateurs : No¨elle CARBONELL, Professeur, Universit´e Henri Poincar´e
Shinji MAEDA, Directeur de Recherche, CNRS
Xavier RODET, Professeur, Universit´e Paris VI
Directeur de th`ese : Yves LAPRIE, Directeur de Recherche, CNRS
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503Mis

la
en
thloria.
page
avect
du
our
ts

Je
faille.
tiens
limites.
tout
P
particulièremen
particulièremen
t
tous
à
de
remercier
sa
mon
tous

de
de
1,
thèse,
leur
Y
Odile
v
remercie
es
our
Laprie,
la
p
e,
our

sa
tillesse

remercie
ses
enseignan

t
et
ersité
ses


our
ts.

Je
et
tiens
Alain
égalemen
et
t
Enn,
à
famille
remercier
amis,
Shinji
soutien
Maeda
Remerciemen
p

our
l'équip
nous
p
a
sa
v
et
oir
gen
fourni
sans
son
Je
mo
ensuite
dèle
les

ts
et
départemen
ses
Informatique
données,
l'Univ
et
Henri
p
oincaré
our
Nancy
les
p
éc
leurs
hanges
leur
scien
et
tiques
soutien,
fructueux
tout
que
t
nous
Mirgaux,
a
Mella
v
Vincen
ons
Colotte.
pu
je
a
ma
v
et
oir.
mes
Je
p
remercie
leur
profondémen
sans
t
i
Martine
Kuhlmann,iib
mais
équip
mon
grâce
p

ère,
et
ma
qui
mère,
pu
ma
pa
s÷ur
les
Ma
role,
rguerite,
je
mes
Et
frères
iii
Camille,
qui
Louis,
de
Clément
moments,
et
les
Ma
bureau
rin,
res
loin
P
de
et
Nancy

mais

toujours
se
p
tous
rès
pa
de
ria
mon
à

j'ai
;
passer
À
très
Delphine,
ons
Stéf,
tout
Matthias,
rticulièrement
Ben,
o

du
Véro
C130,
et
memb
tous
des
les
es
autres,
a
pa
Magrit
rce
Maia,
qu'ils
tous
le
que
valent
ne
bien
pas
;
qui
À

tous
à
les

memb
sont
res
rtis.
du
À
Loiv2.1.4

.
able
Syn
des
T
matières
.
In
.
tro
.

23
Chapitre
1.3.3
1
.
Préliminaires
.
1.1
.
A
.

.
de
.
la
.
parole
.
.
.
.
train
.
.
.
.
.
.
.
17
.
2.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
yp
.
.
.
.
.
.
.
tro
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
I
.
Chapitre
1
h
1.1.1
et
Pro
.

.
de
dèle
la
.
parole
.
.
.
.
.
.
.
.
.
.
.
.
P
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
de
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
par
.
de
.
.
.
.
.
.
1
.
1.2
1.4
Syn
.
thèse
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
P
.
v
.
tro
.
Construction
.
o
.

.
aramétrisation
.
.
.
.
.
.
.
.
.
.
.
2.1.1
.
de
.
.
.
.
.
.
.
.
.
.
.
21
.
.
.
.
.
.
.
.
.
.
4
.
1.2.1
.
Mo
.
délisation
22
du
acoustique

.
v
.
o
.

.
.
.
.
.
.
résultats
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Présen
.

.
oïdale
.
.
.
.
.
.
.
.
.
24
.
.
.
.
.
.
.
.
4
.
1.2.2
.
P
.
assage
12
de
Résolution
la
in


e

sagittale
tes
à
.
la
.
fonction
.
d'aire
.
.
.
.
.
.
.
.
15
.
Conclusion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
.
1.2.3
.
Sim
.
ulation
.
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
16
.
artie
.
In
.
ersion
.
In
.

.
2
.
de
.
deb
.
ok
.
yp
.
oïque
.
P
.
acoustique
.

.
.
.
.
.
.
.
.
.
.
.
.
9
.
1.3
.
In
.
v
21
ersion
Mo
acoustique-articulatoire

.
Maeda
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.1.2
.
thétiseur
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
.
1.3.1
.
Problème
.
mal
.
p
.
osé
2.1.3
.
aramétrisation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
.
Quelques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
12
.
1.3.2
2.2

tation
e
la
de
h
résolution

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
v
.
..
.
.
able
.
des
.
matièr
.
es
.
2.2.1
.
Choix
.
de
.
la
.

.
.
.
.
.
.
la
.
.
.
.
.
de
.
.
.
.
.
d'équation
.
.
.
.
.
y
.
.
.
.
.
T
.
.
.
.
.
Critère
.
44
.
.
.
46
.
.
.
par
.
.
.
.
.
.
.
.
24
l'ensem
2.2.2
.
Dénitions
.
de
han
la
.

.
h
.
yp
56

.
oïdale
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
vi
.
de
.
.
.
.
.
.
24
de
2.2.3
.
Mo
.
délisation
3
mathématique
ok
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
3.1.3
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2
.
.
.
.
.
.
.
.
.
ersion
25
.
2.3
.
Construction
.
.
3.2.2
.
.
.
.
.
.
.
Statistiques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
.
.
.
.
.
.
.
.
.
70
.
tra
.
.
.
.
.
.
.
.
.
.
.
T
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Couv
.

.
.
27
.
2.3.1
.
T
.
est
47
de
v
régularité
deb
.
La
.
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
51
.
général
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.1.2
.
d'h
.
à
.
.
.
.
.
.
.
du
.
.
.
.
.
.
.
.
27
.
2.3.2
3.1.4
Utilisation
de
des
.
p
.

.
m
.
ultiv
.
ariés
.
p
résultats
our
.

.
l'appro
.
ximation
.
.
.
30
.
2.3.3
.
Seuillage
.
acoustique
In
.
v
.
isolées
.
.
.
.
.
.
.
.
.
.
.
.
.
acoustiques
.
.
.
.
.
.
.
.
.
.
.
.
.
59
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
60
.
de
.
.
.
.
33
.
2.3.4
.
Sub
.
division
.
.
.
.
65
.
ra
.
Lissage
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Critères
.
de
.
des
.
.
.
70
.
à
.
.
.
.
.
.
.
.
.
.
.
.
.
T
.
2.5.4
.
emps
.

.
.
.
.
.
.
.
.
.
.
34
.
2.4
.
Réalisation
.
.
.
.
.
.
.
.
.
.
.
.
2.5.5
.
erture
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Chapitre
.
In
.
ersion
.

.
o
.
3.1
.
métho
.
d'in
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
35
.
2.4.1
.
Calcul
.
du
.
v
.
ecteur
3.1.1
acoustique
e
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
52
.
Restreindre
.
ble
.
yp
.
oïdes
.
explorer
.
.
.
.
36
.
2.4.2
.

.
he
52
de
Résolution
forman
système
ts
71
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
53
.
Éc
.
tillonnage
.
solutions
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
55
.
Quelques
.
.
.
.
.
.
37
.
2.4.3
.
Génération
.
des
.
p
.
oin
.
ts
.
de
.
test
.
.
.
.
.
.
.
.
.
.
.
.
3.2.1
.
v
.
de
.
o
.
elles
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
56
39
Domaines
2.5
.
Év
.
aluation
.
exp
.
érimen
.
tale
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2.3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2.4
.
emps
.

43
.
2.5.1
.
Resyn
.
thèse
.
d'un
.
v
.
ecteur
.

.
par
.
in
.
terp
.
olation
.
.
.
.
.
.
.
.
Chapitre
.
T
.

.
4.1
.
non-linéaire
43
.
2.5.2
.
V
.
aleurs
.
optimales
.
p
.
our
.
le
.

.
de
.
la
.
matrice
.

.
.
.
.
.
.
.
.
4.1.1
.
sur
.
régularité
.
la
44

2.5.3

Seuils
.
de
.
sub
.
division
4.1.2
et
global
précision
minimiser
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
P(X) =sIn
.
.
Complexité
.
.
.
.
.
.
.
.
Construction
.
.
.
.
.
.
.
.
.
v
.
6.4
.
.
.
.
.
.
.
.
.
.
.
aluation
.
6.2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
73
.
4.2
.
Régularisation
ondance
v
.
ariationnelle
.
.
.
.
Exp
.
.
.
6.2.2
.
.
.
6.3
.
.
.
.
.
o
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
v
73
.
4.3
.
In
.
v
5.6
ersion
.
dynamique
.
.
.
.
.
.
94
.
tes
.
.
.
.
.
.
.
statique
.
.
.
.
.
.
.
.
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
dynamique
.
.
.
.
.
.
.
.
.
V
.
.
.
.
.
113
.
.
.
.
.
.
74
.
4.3.1
ersp
In
.
v
.
ersion
.
de
vii
la
tes
syn
.
thèse
.
acoustique
.
.
.
.
.
.
92
.

.
.
.
.
.
.
.
.
.
.
.
.
.
92
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.5.3
75
dynamique
4.4
.
Conclusion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
.

.
6.1
.
.
.
.
.
.
.
.
.
.
.
.
.
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
101
.
d'in
.
.
.
.
79
.
P
.
artie
.
I
.
I
.
Con
des
train
.
tes
.
81
.
In
.
tro
.

.
Chapitre
.
5
v
Con
.
train
.
tes
.
phonétiques
.
5.1
.

.
e
.
.
.
.
6.3.1
.
de
.
y
.
elle
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
et
.
es
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ec
.
train
.
phonétiques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
5.2
.
Domaines
5.5.1

de
.
deb
.
oks
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.5.2
.
v
.
statique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
5.2.1
93
Classication
In
des
ersion
phonèmes
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
93
.
Exemples
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
5.2.2
.
T
.
ransp
.
osition
.
des
.

.
train
.
tes
.
phonétiques
.
dans
Chapitre
le
Év
mo
des
dèle
train

phonétiques
86
Corresp
5.3

Domaines
.
acoustiques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
99
.
In
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6.2.1
.
ériences
.
v
87
.
5.3.1
.
P
.
artitionnemen
.
t
.
de
.

.
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
101
.
Analyse
.
résultats
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
88
.
5.3.2
.
Données
.
acoustiques
.
.
102
.
In
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
113
.
In
.
ersion
.
transitions
.
o
.
elle-V
.
y
.
.
.
.
89
.
5.4
.
Score
.
phonétique
.
.
.
.
.
.
.
.
6.3.2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
120
.
Conclusions
.
p
.
ectiv
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
90
.
5.5
.
In
.
v
.
ersion
122
a
4.1.3
v

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.

Diffusez cette publication

Vous aimerez aussi