Contributions à la Reconnaissance Automatique de la Parole Non Native, Contributions to non-native automatic speech recognition

Ghazi Bouselmi

Description

Sous la direction de Jean-Paul Haton
Thèse soutenue le 12 novembre 2008: Nancy 1
La RAP non native souffre encore d'une chute significative de précision. Cette dégradation est due aux erreurs d'accent et de prononciation que produisent les locuteurs non natifs. Les recherches que nous avons entreprises ont pour but d'atténuer l'impact des accents non natifs sur les performances des systèmes de RAP. Nous avons proposé une nouvelle approche pour la modélisation de prononciation non native permettant de prendre en compte plusieurs accents étrangers. Cette approche automatique utilise un corpus de parole non native et deux ensembles de modèles acoustiques: le premier ensemble représente l'accent canonique de la langue cible et le deuxième représente l'accent étranger. Les modèles acoustiques du premier ensemble sont modifiés par l'ajout de nouveaux chemins d'états HMM. Nous avons proposé une nouvelle approche pour la détection de la langue maternelle basée sur la détection de séquences discriminantes de phonèmes. Par ailleurs, nous avons proposé une approche de modélisation de prononciation non native multi-accent permettant de prendre en compte plusieurs accents étrangers simultanément. D'autre part, nous avons proposé l'utilisation de contraintes graphémiques. Nous avons conçu une approche automatique pour la detection des contraintes graphémiques et leur prise en compte pour l'approche de RAP non native. Vu que notre méthode de modélisation de prononciation augmente la complexité des modèles acoustiques, nous avons étudié les approches de calcul rapide de vraisemblance pour les GMM. En outre, Nous avons proposé trois nouvelles approches efficaces dont le but est l'accélération du calcul de vraisemblance sans dégradation de la précision.
-Reconnaissance automatique de la parole
-calcul rapide de vraisemblance
-parole non native
-multi-accent
-détection de la langue maternelle
-modélisation acoustique
-contraintes graphémiques
-modélisation de prononciation
Automatic speech recognition systems are still vulnerable to non native accents. Their precision drastically drops as non native speakers commit acoustic and pronunciation errors. We have proposed a new approach for non native ASR based on pronunciation modelling. This approach uses a non native speech corpus and two sets of acoustic models: the first set stands for the canoncial target language accent and the second stands for the non native accent. It is an automated approach that associates, to each phoneme from the first set of models, one or several non native pronunciations each expressed as a sequence of phonemes from the second set of models. These pronunciations are taken into account through adding new HMM paths to the models of each phoneme from the first set of models. We have developed a new approach for the automatic detection of the mother tong of non native speakers. This approach is based on the detection of discriminative phoneme sequences, and is used as a first step of the ASP process. As opposed to origin detection, we have proposed a multi-accent non native pronunciation modeling approach that takes into account several foreign accents. Besides, we have developed an approach of automatic phoneme-grapheme alignment in order to take into account the graphemic constraints within the non native pronunciation modeling. The gaol of this procedure is the sharpen the pronunciation modeling and enhance the ASR accuracy. We have studied some fast likelihood computation techinques, and we have proposed three novel appraoches that aim at enhancing likelihood computation speed without harming ASR precision.
Source: http://www.theses.fr/2008NAN10101/document

Informations

• Publié par: Thesee
• Nombre de lectures: 28
• Langue: Français
• Poids de l'ouvrage: 1 Mo

Extrait

AVERTISSEMENT

Ce document est le fruit d'un long travail approuvé par le
jury de soutenance et mis à disposition de l'ensemble de la
communauté universitaire élargie.

Il est soumis à la propriété intellectuelle de l'auteur. Ceci
implique une obligation de citation et de référencement lors
de l’utilisation de ce document.

Toute contrefaçon, plagiat, reproduction illicite encourt une
poursuite pénale.


➢ Contact SCD Nancy 1 : [e-mail]




LIENS


Code de la Propriété Intellectuelle. articles L 122. 4
Code de la Propriété Intellectuelle. articles L 335.2- L 335.10
http://www.cfcopies.com/V2/leg/leg_droi.php
http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm ´D´epartement de formation doctorale en informatique Ecole doctorale IAEM Lorraine
UFR STMIA
Contributions `a la reconnaissance
automatique de la parole non-native
`THESE
pr´esent´ee et soutenue publiquement le Pr´esent´ee et soutenue publiquement le 12 Novembre 2008
pour l’obtention du
Doctorat de l’universit´e Henri Poincar´e – Nancy 1
(sp´ecialit´e informatique)
par
Ghazi Bouselmi
Composition du jury
Pr´esident : Jean-Franc¸ois Bonastre
Rapporteurs : Pr. Ellouze Noureddine
Besacier Laurent
Directeur : Jean-Paul Haton
Examinateurs : Jean-Pierre Martens
Dominique Fohr
Irina Illina
Marie-Odile Berger
Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503Mis

la
en
thloria.
page
avecP
amabilité
hi.
ts

Je
j'ai
tiens
P
à
dans
viv

emen
i
t
ec
remercier
leur
le
et
professeur
été
Jean-P
me
aul
e
Haton
de
à
Fix
qui
relations
je
de
dois
m'a
ma
à

te
au
au
LORIA.
p
Il
Elles
m'a
et
p
plus
ermis

de
mem

our

aidé
en
remercie
vironnemen
F
t
p
et
Remerciemen
a
umaines
été
l'o
mon
a

et
et
t
guide
tiens
bien
M
a
Kuhlmann,
v
l'équip
an
et
t
et

Nadine
thèse.
leur
Outre
gen
ses
t

patien
et
tionnées
son
situations
orien
Enn,
tation,
t
je
d'exprimer
lui
tous
exprime
de
ma
arole
gratitude
v
p
eux
our
au
sa
thèse.
générosité
t
et
F
sa
Jerem
b
Imen
on
leur
té
exp
de
des

h
eur.
que
J'exprime
eu
égalemen

t
vivre
ma
v

eux
p
qui
our

Irina

Illina
Je
et
aussi
Dominique
remercier
F
amitié.
ohr
Martine
p
assistan
our
de
leur
e
suivi
arole

Cortex
t,
LORIA,
leurs
M

t
précieux
Beurné
et
our
leur
extrême
soutien
et
t
tillesse.

on
tin
toujours
u.
serviables,
Leurs
tes

atten
t
même
et
les

les
ts
diciles.

il
ts
tien
on
à
t
eur
été
ma
des
à

les

bres
dans
l'équip
l'a
P
v
p

m'a
t
oir
de
parmi
ma
et
thèse.
tout
Au
long
delà
ma
des
Je

particulièremen
scien
Blaise
tiques
otard,
qu'ils
arid
m'on
eiz,
t
y
app
et
ortées,
Jemaa

our
une
soutien
v
éritable
érience
me
meiioute
leurs
pr
dé
pir
die
et

aux
ette
omme
thèse
moments.
à
gr
ma
iii
mèr
ésentes,
e
meil
et

ma
aux
so
es
eur.
T
El
ma
les
atitude
ont
amour.
toujours
Je
étéivde

a
Aidée
dèles
par
ts.
les
e
a
et
v
appro

high

non
hnologiques,
stands
la
ultanémen

ons
automatique
u
de

la
dégradation
parole
tes
(RAP)
ertheless,
est

de
for
plus
dels
en

plus
prendre
p
la
erforman
de
te.
our
T

outefois,
de
la
appro
RAP
a
non
est
nativ
la
e
t,
soure
Sp

thanks
d'une
are

e
h
at
ute
v


e
and
de

précision.
It
Cette
set
dégradation
p
est

due
dans
aux
mo
erreurs
ons

graphémiques.
t

et

de


non
que
de
pro
la
duisen
v
t

les
GMM.
lo
osé

don
non
de
natifs.
Mots-clés:
Le
nativ
tra
délisation
v
langue
ail
de
présen

té
reliabilit
dans


h
thèse
non
s'inscrit
drops
dans

le
h

more
de
ts.
la
a
RAP
ASR
non
This
nativ
sp
e.
sets
Les
set

t
herc
nativ
hes

que
phoneme
nous
non
a

v
t
ons

en
étrangers
treprises
D'autre
on
but
t
de
p
lisation
our
a
but
osé
d'attén
train
uer
a

une
des
automatique
ac-


tes
ts
prise
non
our
natifs
de
sur
e.
les
notre
p
mo

augmen
des
des
systèmes
nous
de
étudié
RAP
hes
.
de
Nous
our
a
outre,
v
ons
ons
nouv
prop
hes
osé
le
une
du
nouv

elle
la
appro
automatique

parole
he
mo
p
nonciation,
our
m
la
de
mo

délisation

de


h
non
attained
nativ
el
e
,
p

ermettan

t
sp
de
(ASR)
prendre
vulnerable
en
e

precision
plusieurs
non

eak
ts
and
étrangers.
Our
Cette
ork
appro
ASR

t
he
e
automatique
e
utilise
prop
un


nativ
de
on
parole
mo
non
h
nativ
nativ
e
h
et
w
deux
acoustic
ensem
the
bles
for
de
language
mo
the
dèles
the
acoustiques

:
an
le
that
premier

ensem
the
ble
v
représen
nativ
te
multi-ac

ent
t
ermettan

de
de
en
la
plusieurs
langue
ts

sim
et
t.
le
part,
deuxième
le
représen
d'aner
te
précision

la
t
dé-
étranger.
de
A
nous

v
haque
prop
phonème
l'utilisation
du

premier
tes
ensem
Nous
ble
v
de

mo
appro
dèles
he
son
p
t
la
asso
des

train
une
graphémiques
ou
leur
plusieurs
en

p
étrangères,
l'appro
représen
he
tée
RAP

nativ

V
par
que
une
métho
suite
de
de
délisation
phonèmes

du
te
deuxième

ensem
mo
ble.
acoustiques,
Les
a
mo
ons
dèles
les
acoustiques

du
de
premier
rapide
ensem
vraisem
ble
p
son
les
t
En
mo
Nous
diés
v
par
prop
l'a
trois
jout
elles
de

nouv

eaux
t

but
hemins

d'états

HMM.
vraisem
Chacun
sans
de
de

précision.
nouv

eaux
de

parole,
hemins
non
d'états
e,