Inversion acoustique-articulatoire avec contraintes, Acoustic-to-articulatory inversion with constraints

Inversion acoustique-articulatoire avec contraintes, Acoustic-to-articulatory inversion with constraints

-

Documents
171 pages
Obtenez un accès à la bibliothèque pour le consulter en ligne
En savoir plus

Description

Sous la direction de Yves Laprie
Thèse soutenue le 23 octobre 2008: Nancy 1
Cette thèse porte sur l'inversion acoustique-articulatoire, c'est-à-dire la récupération des mouvements des articulateurs de la parole à partir du signal sonore. Nous présentons dans ce mémoire une évolution importante des méthodes de tabulation à codebooks utilisant une table de correspondants acoustique-articulatoire précalculée à l'aide d'un modèle de synthèse acoustique. En dehors de la méthode d'inversion proprement dite, nous proposons également l'introduction de deux types de contraintes liées au contexte d'élocution : des contraintes phonétiques génériques, issues de l'analyse par des experts humains de l'invariance articulatoire des voyelles, et des contraintes visuelles, en l'occurrence des contraintes obtenues automatiquement à partir de l'enregistrement et l'analyse d'images en stéréovision du locuteur.
-Stéréovision
This thesis investigates acoustic-to-articulatory inversion, i.e. recovering articulatory movements from the speech signal. In this work, we present an important evolution of codebooks methods, i.e. methods using acoustic-articulatory tuples precomputed using an acoustic synthesis model. Apart from the inversion method, we present the introduction of two types of constraints : generic phonetic constraints, derived from the analysis by human experts of articulatory invariance for vowels, and visual constraints, i.e. constraints derived automatically from a video signal, in our case a stereo video signal, thus allowing us to perform multimodal inversion.
Source: http://www.theses.fr/2008NAN10085/document

Sujets

Informations

Publié par
Ajouté le 30 octobre 2011
Nombre de lectures 40
Langue Français
Signaler un abus




AVERTISSEMENT

Ce document est le fruit d'un long travail approuvé par le
jury de soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.

Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors
de l’utilisation de ce document.

Toute contrefaçon, plagiat, reproduction illicite encourt une
poursuite pénale.


➢ Contact SCD Nancy 1 : theses.sciences@scd.uhp-nancy.fr




LIENS


Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm ´D´epartement de formation doctorale en informatique Ecole doctorale IAEM Lorraine
UFR STMIA
Inversion acoustique-articulatoire avec
contraintes
`THESE
pr´esent´ee et soutenue publiquement le 23 octobre 2008
pour l’obtention du
Doctorat de l’universit´e Henri Poincar´e – Nancy 1
(sp´ecialit´e informatique)
par
Blaise Potard
Composition du jury
Rapporteurs : R´egine ANDRE-OBRECHT, Professeur, Universit´e Paul Sabatier
Pierre BADIN, Directeur de Recherche, CNRS
Examinateurs : No¨elle CARBONELL, Professeur, Universit´e Henri Poincar´e
Shinji MAEDA, Directeur de Recherche, CNRS
Xavier RODET, Professeur, Universit´e Paris VI
Directeur de th`ese : Yves LAPRIE, Directeur de Recherche, CNRS
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503Mis

la
en
thloria.
page
avect
du
our
ts

Je
faille.
tiens
limites.
tout
P
particulièremen
particulièremen
t
tous
à
de
remercier
sa
mon
tous

de
de
1,
thèse,
leur
Y
Odile
v
remercie
es
our
Laprie,
la
p
e,
our

sa
tillesse

remercie
ses
enseignan

t
et
ersité
ses


our
ts.

Je
et
tiens
Alain
égalemen
et
t
Enn,
à
famille
remercier
amis,
Shinji
soutien
Maeda
Remerciemen
p

our
l'équip
nous
p
a
sa
v
et
oir
gen
fourni
sans
son
Je
mo
ensuite
dèle
les

ts
et
départemen
ses
Informatique
données,
l'Univ
et
Henri
p
oincaré
our
Nancy
les
p
éc
leurs
hanges
leur
scien
et
tiques
soutien,
fructueux
tout
que
t
nous
Mirgaux,
a
Mella
v
Vincen
ons
Colotte.
pu
je
a
ma
v
et
oir.
mes
Je
p
remercie
leur
profondémen
sans
t
i
Martine
Kuhlmann,iib
mais
équip
mon
grâce
p

ère,
et
ma
qui
mère,
pu
ma
pa
s÷ur
les
Ma
role,
rguerite,
je
mes
Et
frères
iii
Camille,
qui
Louis,
de
Clément
moments,
et
les
Ma
bureau
rin,
res
loin
P
de
et
Nancy

mais

toujours
se
p
tous
rès
pa
de
ria
mon
à

j'ai
;
passer
À
très
Delphine,
ons
Stéf,
tout
Matthias,
rticulièrement
Ben,
o

du
Véro
C130,
et
memb
tous
des
les
es
autres,
a
pa
Magrit
rce
Maia,
qu'ils
tous
le
que
valent
ne
bien
pas
;
qui
À

tous
à
les

memb
sont
res
rtis.
du
À
Loiv2.1.4

.
able
Syn
des
T
matières
.
In
.
tro
.

23
Chapitre
1.3.3
1
.
Préliminaires
.
1.1
.
A
.

.
de
.
la
.
parole
.
.
.
.
train
.
.
.
.
.
.
.
17
.
2.1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
yp
.
.
.
.
.
.
.
tro
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
I
.
Chapitre
1
h
1.1.1
et
Pro
.

.
de
dèle
la
.
parole
.
.
.
.
.
.
.
.
.
.
.
.
P
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
de
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
par
.
de
.
.
.
.
.
.
1
.
1.2
1.4
Syn
.
thèse
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
P
.
v
.
tro
.
Construction
.
o
.

.
aramétrisation
.
.
.
.
.
.
.
.
.
.
.
2.1.1
.
de
.
.
.
.
.
.
.
.
.
.
.
21
.
.
.
.
.
.
.
.
.
.
4
.
1.2.1
.
Mo
.
délisation
22
du
acoustique

.
v
.
o
.

.
.
.
.
.
.
résultats
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Présen
.

.
oïdale
.
.
.
.
.
.
.
.
.
24
.
.
.
.
.
.
.
.
4
.
1.2.2
.
P
.
assage
12
de
Résolution
la
in


e

sagittale
tes
à
.
la
.
fonction
.
d'aire
.
.
.
.
.
.
.
.
15
.
Conclusion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
.
1.2.3
.
Sim
.
ulation
.
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
16
.
artie
.
In
.
ersion
.
In
.

.
2
.
de
.
deb
.
ok
.
yp
.
oïque
.
P
.
acoustique
.

.
.
.
.
.
.
.
.
.
.
.
.
9
.
1.3
.
In
.
v
21
ersion
Mo
acoustique-articulatoire

.
Maeda
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
2.1.2
.
thétiseur
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
.
1.3.1
.
Problème
.
mal
.
p
.
osé
2.1.3
.
aramétrisation
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
23
.
Quelques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
12
.
1.3.2
2.2

tation
e
la
de
h
résolution

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
v
.
..
.
.
able
.
des
.
matièr
.
es
.
2.2.1
.
Choix
.
de
.
la
.

.
.
.
.
.
.
la
.
.
.
.
.
de
.
.
.
.
.
d'équation
.
.
.
.
.
y
.
.
.
.
.
T
.
.
.
.
.
Critère
.
44
.
.
.
46
.
.
.
par
.
.
.
.
.
.
.
.
24
l'ensem
2.2.2
.
Dénitions
.
de
han
la
.

.
h
.
yp
56

.
oïdale
.
.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
vi
.
de
.
.
.
.
.
.
24
de
2.2.3
.
Mo
.
délisation
3
mathématique
ok
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
3.1.3
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2
.
.
.
.
.
.
.
.
.
ersion
25
.
2.3
.
Construction
.
.
3.2.2
.
.
.
.
.
.
.
Statistiques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
.
.
.
.
.
.
.
.
.
70
.
tra
.
.
.
.
.
.
.
.
.
.
.
T
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Couv
.

.
.
27
.
2.3.1
.
T
.
est
47
de
v
régularité
deb
.
La
.
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
51
.
général
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.1.2
.
d'h
.
à
.
.
.
.
.
.
.
du
.
.
.
.
.
.
.
.
27
.
2.3.2
3.1.4
Utilisation
de
des
.
p
.

.
m
.
ultiv
.
ariés
.
p
résultats
our
.

.
l'appro
.
ximation
.
.
.
30
.
2.3.3
.
Seuillage
.
acoustique
In
.
v
.
isolées
.
.
.
.
.
.
.
.
.
.
.
.
.
acoustiques
.
.
.
.
.
.
.
.
.
.
.
.
.
59
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
60
.
de
.
.
.
.
33
.
2.3.4
.
Sub
.
division
.
.
.
.
65
.
ra
.
Lissage
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Critères
.
de
.
des
.
.
.
70
.
à
.
.
.
.
.
.
.
.
.
.
.
.
.
T
.
2.5.4
.
emps
.

.
.
.
.
.
.
.
.
.
.
34
.
2.4
.
Réalisation
.
.
.
.
.
.
.
.
.
.
.
.
2.5.5
.
erture
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
Chapitre
.
In
.
ersion
.

.
o
.
3.1
.
métho
.
d'in
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
35
.
2.4.1
.
Calcul
.
du
.
v
.
ecteur
3.1.1
acoustique
e
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
52
.
Restreindre
.
ble
.
yp
.
oïdes
.
explorer
.
.
.
.
36
.
2.4.2
.

.
he
52
de
Résolution
forman
système
ts
71
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
53
.
Éc
.
tillonnage
.
solutions
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
55
.
Quelques
.
.
.
.
.
.
37
.
2.4.3
.
Génération
.
des
.
p
.
oin
.
ts
.
de
.
test
.
.
.
.
.
.
.
.
.
.
.
.
3.2.1
.
v
.
de
.
o
.
elles
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
56
39
Domaines
2.5
.
Év
.
aluation
.
exp
.
érimen
.
tale
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2.3
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3.2.4
.
emps
.

43
.
2.5.1
.
Resyn
.
thèse
.
d'un
.
v
.
ecteur
.

.
par
.
in
.
terp
.
olation
.
.
.
.
.
.
.
.
Chapitre
.
T
.

.
4.1
.
non-linéaire
43
.
2.5.2
.
V
.
aleurs
.
optimales
.
p
.
our
.
le
.

.
de
.
la
.
matrice
.

.
.
.
.
.
.
.
.
4.1.1
.
sur
.
régularité
.
la
44

2.5.3

Seuils
.
de
.
sub
.
division
4.1.2
et
global
précision
minimiser
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
P(X) =sIn
.
.
Complexité
.
.
.
.
.
.
.
.
Construction
.
.
.
.
.
.
.
.
.
v
.
6.4
.
.
.
.
.
.
.
.
.
.
.
aluation
.
6.2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
73
.
4.2
.
Régularisation
ondance
v
.
ariationnelle
.
.
.
.
Exp
.
.
.
6.2.2
.
.
.
6.3
.
.
.
.
.
o
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
o
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
v
73
.
4.3
.
In
.
v
5.6
ersion
.
dynamique
.
.
.
.
.
.
94
.
tes
.
.
.
.
.
.
.
statique
.
.
.
.
.
.
.
.
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
dynamique
.
.
.
.
.
.
.
.
.
V
.
.
.
.
.
113
.
.
.
.
.
.
74
.
4.3.1
ersp
In
.
v
.
ersion
.
de
vii
la
tes
syn
.
thèse
.
acoustique
.
.
.
.
.
.
92
.

.
.
.
.
.
.
.
.
.
.
.
.
.
92
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.5.3
75
dynamique
4.4
.
Conclusion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6
.

.
6.1
.
.
.
.
.
.
.
.
.
.
.
.
.
v
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
101
.
d'in
.
.
.
.
79
.
P
.
artie
.
I
.
I
.
Con
des
train
.
tes
.
81
.
In
.
tro
.

.
Chapitre
.
5
v
Con
.
train
.
tes
.
phonétiques
.
5.1
.

.
e
.
.
.
.
6.3.1
.
de
.
y
.
elle
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
et
.
es
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
ec
.
train
.
phonétiques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
5.2
.
Domaines
5.5.1

de
.
deb
.
oks
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5.5.2
.
v
.
statique
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
5.2.1
93
Classication
In
des
ersion
phonèmes
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
93
.
Exemples
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
85
.
5.2.2
.
T
.
ransp
.
osition
.
des
.

.
train
.
tes
.
phonétiques
.
dans
Chapitre
le
Év
mo
des
dèle
train

phonétiques
86
Corresp
5.3

Domaines
.
acoustiques
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
99
.
In
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
6.2.1
.
ériences
.
v
87
.
5.3.1
.
P
.
artitionnemen
.
t
.
de
.

.
acoustique
.
.
.
.
.
.
.
.
.
.
.
.
101
.
Analyse
.
résultats
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
88
.
5.3.2
.
Données
.
acoustiques
.
.
102
.
In
.
ersion
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
113
.
In
.
ersion
.
transitions
.
o
.
elle-V
.
y
.
.
.
.
89
.
5.4
.
Score
.
phonétique
.
.
.
.
.
.
.
.
6.3.2
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
120
.
Conclusions
.
p
.
ectiv
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
90
.
5.5
.
In
.
v
.
ersion
122
a
4.1.3
v