these

Informations

• Publié par: Novug
• Nombre de lectures: 34
• Langue: English

Extrait

UNIVERSITE DE PARIS SUD
U.F.R SCIENTIFIQUE D’ORSAY
THESE
presentee
pour obtenir
Le TITRE de DOCTEUR EN SCIENCES
DE L’UNIVERSITE PARIS XI ORSAY
SPECIALITE : MATHEMATIQUES
par
Catherine MATIAS
Sujet : ESTIMATION DANS DES MODELES A VARIABLES CACHEES
Rapporteurs : M. Peter BICKEL
M. Aad van der VAART
Soutenue le 21 decembre 2001 devant le jury compose de :
M. Jean BRETAGNOLLE President
Mme Elisabeth GASSIAT Directrice de These
M. Eric MOULINES Examinateur
M. Alexandre TSYBAKOV
M. Aad van der VAART RapporteurMerci,
Tout d’abord et surtout a Elisabeth, bien sur.^ Sans elle tout cela n’aurait pas ete possible.
Elle m’a appris la perseverance et m’a donne le gout^ de la recherche. Son soutien constant au
long de ces trois dernieres annees a ete pour moi le bien le plus precieux.
A Peter Bickel et Aad van der Vaart, pour avoir accepte de rapporter cette these. Je leur
suis extr^emement reconnaissante de l’inter^et qu’ils ont porte a mon travail. Le cours d’Aad a
Saint-Flour s’est revele un outil precieux a ma formation.
A tous les membres du jury pour leur presence. Eric Moulines a ete d’une grande aide lors
de la redaction de mon premier article. Je rends ici hommage a sa legendaire ma^ trise de la
langue anglaise. Sacha Tsybakov a accepte de faire partie de ce jury avec beaucoup de simplicite
et je l’en remercie vivement. Jean Bretagnolle me fait l’honneur de presider ce jury et je lui en
suis tres reconnaissante.
A Marie-Luce Taupin, pour sa collaboration si agreable, ses innombrables relectures atten-
tives et pour m’avoir initiee a l’estimation de densites.
Au laboratoire de Mathematiques de Paris VI, qui m’a accueillie cette annee en tant
qu’ATER et a toutes les personnes que j’ai eu la chance d’y rencontrer.
A toutes les personnes du laboratoire de Mathematiques d’Orsay que j’ai cotoyees et qui
m’ont apporte leur soutien. Plus particulierement,
A tous les (ex)-membres des bureaux 106 et 110. Pour m’avoir supportee dans les moments
de decouragement, pour avoir partage des interrogations essentielles du type : \Mais au fait,
qu’est-ce que je faisal ?", ou tout simplement buch^ e avec moi sur un exercice de S1SM partic-
ulierement retors...
A Antoine, pour les pauses culinaires ; a Vincent B., pour sa ma^ trise de tout ce qui existe
dans l’univers ; a Vincent L., juste pour sa constante amitie ; a Charles, parce que c’est le plus
grand danseur que je connaisse ; a Ivan, parce que c’est a cause de lui (ou gr^ ace a lui) que je me
suis inscrite dans ce D.E.A. ; a Estelle, pour sa bonne humeur et ses bavardages ; a Jim, parce
que ces dix annees m’ont transformee ; a mes parents et a mes soeurs : Josette et Virginie,
parce qu’ils sont toujoursal pour moi ; and last, but not least, a mon Vincent, parce que c’est
lui.
3Table des matieres
Introduction 7
Estimation parametrique dans le modele de Markov cache . . . . . . . . . . . . . . . . 9
Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Techniques utilisees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Passage a un cadre semi-parametrique : motivations . . . . . . . . . . . . . . . . . . . 13
Estimation semi-parametrique dans le modele de convolution . . . . . . . . . . . . . . 15
Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Resultats et techniques utilisees . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Estimation minimax non-parametrique de fonctionnelles dans le modele de convolution 20
Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Resultats anterieurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Nouveaux resultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Outils utilises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Cas d’une variance de bruit inconnue pour l’estimation des fonctionnelles . . . . . . . 26
1 Asymptotics of the maximum likelihood estimator for general hidden Markov
models 29
1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.2 Consistency of the maximum likelihood estimator . . . . . . . . . . . . . . . . . . 32
1.2.1 Exponential forgetting of the prediction lter . . . . . . . . . . . . . . . . 35
1.2.2 Geometric ergodicity of the extended Markov Chain . . . . . . . . . . . . 35
1.2.3 Pointwise convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1.2.4 Consistency of the maximum likelihood estimator . . . . . . . . . . . . . . 38
1.2.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
1.3 Asymptotic normality of the maximum likelihood estimator . . . . . . . . . . . . 44
2 Semiparametric deconvolution with unknown variance 49
2.1 Introduction and main result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.2 Lower bounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2.1 Results in the convolution model with unknown variance . . . . . . . . . 54
2.2.2 Consequence in the errors-in-variables model . . . . . . . . . . . . . . . . 58
2.3 Some upper bounds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
2.4 Universal estimation of the noise variance . . . . . . . . . . . . . . . . . . . . . . 60
2.5 Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
53 Minimax estimation of some linear functionals in the convolution model 75
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.2 Construction of the estimator and preliminary results . . . . . . . . . . . . . . . 83
3.2.1 Construction of the estimator . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.2.2 Some properties of our functionals . . . . . . . . . . . . . . . . . . . . . . 84
3.3 Pointwise estimation: upper and lower bounds . . . . . . . . . . . . . . . . . . . 86
3.4 Estimation inL (R)-norm: upper bounds . . . . . . . . . . . . . . . . . . . . . . 87p
3.4.1 Upper bounds inL (R)-norm in the density case i.e. f 1 . . . . . . . . 88p
3.4.2 Upper b inL (R in the case of polynomials . . . . . . . . . . 93p
3.4.3 Upper bounds inL (R)-norm in the trigonometric case . . . . . . . . . . 1001
3.5 Estimation inL (R)-norm: lower bounds . . . . . . . . . . . . . . . . . . . . . . 104p
3.5.1 Lower bounds inL (R)-norm: the density and the polynomial case . . . . 104p
3.5.2 Lower b inL (R the trigonometric case . . . . . . . . . . . 1141
A Annexe a l’Introduction 119
B Technical proofs for the Hidden Markov model 123
B.1 Exponential forgetting for the prediction lter . . . . . . . . . . . . . . . . . . . . 125
B.2 Geometric ergodicity of the extended chain . . . . . . . . . . . . . . . . . . . . . 127
B.3 Consistency of the maximum likelihood estimator . . . . . . . . . . . . . . . . . . 131
B.4 Asymptotic normality of the maximum likelihood estimator . . . . . . . . . . . . 132
B.4.1 Exponential forgetting for the gradient of the prediction lter and conse-
quences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
B.4.2 Proof of Proposition 1.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
B.4.3 Exponential forgetting for the Hessian of the prediction lter and conse-
quences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
C Technical proofs for the estimation of linear functionals in the convolution
model 141
References 163
6Introduction
Contents
Estimation parametrique dans le modele de Markov cache . . . . . . . . . 9
Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Techniques utilisees . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Passage a un cadre semi-parametrique : motivations . . . . . . . . . . . . 13
Estimation semi-parametrique dans le modele de convolution . . . . . . . 15
Etat de l’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Resultats et techniques utilisees . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Estimation minimax non-parametrique de fonctionnelles dans le modele
de convolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Resultats anterieurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Nouveaux resultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Outils utilises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
Cas d’une variance de bruit inconnue pour l’estimation des fonctionnelles 26Introduction
Cette these est consacree a l’estimation dans des modeles a variables cachees. Les obser-
vations sont des variables aleatoires issues d’une suite de variables aleatoires non observee (le
signal) et d’une autre suite de variables aleatoires, de loi connue ou non (le bruit). Le cadre
de ces estimations pourra ^etre aussi bien parametrique que semi-parametrique ou encore non-
parametrique.
Le premier chapitre de cette these concerne l’etude d’une cha^ ne de Markov cachee. Le si-
gnal est une cha^ ne de Markov et la forme du bruit, independant du sign