Marie Claude VIANO et Charles SUQUET

Marie-Claude Viano Et Charles Suquet

Description

Niveau: Supérieur, Master
Éléments de Statistique Asymptotique Marie-Claude VIANO et Charles SUQUET Master 2 Recherche de Mathématiques année 2010–2011

• delta-méthodes


• cinquantaine d'années


• propriétés asymptotiques des quantiles


• méth- odes de géométrie différentielle


• théorème central


• méthode du maximum de vraisemblance

Sujets

• Suquet

Informations

• Publié par: cidur
• Nombre de lectures: 154
• Langue: Français

Extrait

Master

2

Éléments de Statistique Asymptotique

Marie-Claude VIANO

Recherche de Mathématiques

et

Charles

SUQUET

année

2010–2011

Table des matières

Introduction Chapitre 1. Rappels sur les notions de convergence 1. Distances entre mesures de probabilité 2. Convergence de variables aléatoires à valeurs dans des espaces métriques Chapitre 2. Théorèmes classiques : rappels et compléments 1. Théorème de Glivenko-Cantelli. Ergodicité. Mesure empirique 2. Théorème central limite. Convergence du Processus empirique Chapitre 3. Méthodes du maximum de vraisemblance et M-estimateurs 1. Introduction 2. Propriétés asymptotiques 3. Robustesse 4. Robustesse contre efficacité Chapitre 4. Les delta-méthodes 1. Introduction 2. Notions de dérivabilité directionnelle 3. La delta-méthode fonctionnelle 4. Application aux M-estimateurs Chapitre 5. Les quantiles 1. Définition 2. Quelques propriétés élémentaires 3. Propriétés asymptotiques des quantiles. 4. La fonction quantile 5. Une application : l’écart absolu médian 6. Une application : la moyenneα-tronquée Annexe A. Solutions d’exercices Bibliographie

1

3 5 5 10 15 15 26 35 35 37 48 51 55 55 57 59 59 67 67 67 68 69 70 71 73 81

Introduction

Ce cours est d’abord une « visite guidée» de quelques points importants en statis- tique asymptotique : le rôle de la mesure empirique pour estimer la loi des variables, lesδ-méthodes qui permettent d’obtenir les distributions limites d’estimateurs par des développements limités de la mesure empirique autour de cette loi, les notions de robustesse qui conduisent à la construction d’estimateurs non optimaux mais aux performances peu fragiles, les notions de contiguïté et de normalité asymptotique locale qui, par des méth- odes de géométrie différentielle, fournissent une explication à certains « comportements invariants» en statistique classique comme la normalité asymptotique des estimateurs du maximum de vraisemblance et la vitesse en √ nobtenue dans la plupart des convergences en loi. Le deuxième objectif de ce cours est de quitter le domaine des variables indépendantes, terrain de prédilection des statisticiens. Pour un statisticien, un «échantillon» est la réal- isation d’un vecteur aléatoire à composantes indépendantes et de mme loi. Depuis une cinquantaine d’années, on s’est intéressé à ce qu’il advient des résultats limites bien connus (loi des grands nombres, théorème central limite, loi du logarithme itéré, etc...) lorsque les variables sont dépendantes. On est arrivé dans bien des cas à évaluer l’impact de la perte d’indépendance. Dans la mesure du possible, chaque chapitre du cours consacre un paragraphe à cette question.

3

CHAPITRE 1

Rappels sur les notions de convergence

Dans ce chapitre, nous examinerons des questions de convergence de suites de variables aléatoires à valeurs dans des espaces métriques. Ces « variables aléatoires » seront définies sur un espace(ΩF)et à valeurs dans un espace métriqueE. Parler de variables aléatoires et pas seulement d’applicationsΩ→E, suppose une certaine mesurabilité. Pour cela, nous munirons généralementEde sa tribuborélienne, c’est à dire la tribu engendrée par les ouverts deE. On emploiera aussi l’expression « élément aléatoire deE» pour désigner de telles variables. 1. Distances entre mesures de probabilité Entre autres distances, nous en retiendrons trois. 1.1. La distance de Prokhorov. Définition 1.1(distance de Prokhorov).La distance de Prokhorov de deux mesures de probabilitéPetQsur la tribu borélienneEd’un espace métrique(E d)est définie par : π(P Q) := inf{ε >0| ∀A∈ E P(A)≤Q(A ε ) +εetQ(A)≤P(A ε ) +ε} oùA ε désigne l’ensemble des points deEdont la distance àAest strictement inférieure àε. Théorème 1.2. (i) Dans la définition deπci-dessus, on peut se restreindre à la famille desAfermés de E. (ii)π(P Q) =π 1 (P Q) = inf{ε >0|P(A)≤Q(A ε ) +εpour toutAfermé deE}. (iii)πest une distance sur l’ensemble des mesures de probabilité surE. (iv) SiEest séparable 1 ,πmétrise 2 la convergence en loi. Preuve. Remarques préliminaires.Rappelons que siAest une partie d’un espace métrique(E d), la distance d’un élémentedeEàAest définie pard(e A) = inf{d(e x);x∈A}. On vérifie facilement qued(e A) = 0si et seulement sieappartient à la fermetureAdeAet qued(e A) =d(e A). De plus, l’applicationϕ:E→R + ,x7→d(x A)estcontinue[23, p. 103], ce qui implique queA ε =ϕ −1 (]− ∞ ε[)est un ouvert deE. 1. C’est-à-dire s’il existe une partie dénombrable dense dansE. 2. Autrement dit,X n converge en loi versXsi et seulement siπ(P X n  P X )tend vers0, oùP X n ,P X désignent les lois desX n et deX. 5

6 M.-C. Viano et Ch. Suquet Pour toutes mesures de probabilitésPetQsurEet toute sous-familleGdeE, notons I G (P Q) :={ε >0| ∀A∈ G P(A)≤Q(A ε ) +εetQ(A)≤P(A ε ) +ε} 0n remarque alors queI G (P Q)est unintervalledeR. En effet, siε∈I G (P Q), pour toutε 0 > ε,Q(A ε ) +ε≤Q(A ε 0 ) +ε 0 et de mme avecP, d’oùε 0 ∈I G (P Q). Ceci montre que siI G (P Q)6=∅, c’est un intervalle deR, de borne supérieure+∞. En fait, [1+∞[⊂I G (P Q)⊂[0+∞[, puisquePetQétant des probabilités, il est clair que tout réelε≥1est dansI G (P Q)montre la première inclusion, la deuxième résultant de. Ceci la condition «ε >0» dans la définition deI G (P Q). Notons enfin que siG ⊂ G 0 , alorsI G 0 (P Q)⊂I G (P Q), d’oùinfI G (P Q)≤infI G 0 (P Q). Preuve de (i).En notantFla famille des fermés deEet˜π(P Q)la borne inférieure de I F (P Q), nous avons à comparer cette borne avec la distance de Prokhorovπ(P Q) = infI E (P Q). D’abord puisque la familleFdes fermés est incluse dans la tribu borélienne E, la remarque précédente nous donne˜π(P Q)≤π(P Q)pour toutes probabilitésPetQ surE. Supposons qu’il existe un couple de probabilités(P Q)pour lequel cette inégalité soit stricte. Alors il existe unε∈]˜π(P Q) π(P Q)[et un borélienA∈ Evérifiant l’une au moins des deux inégalitésP(A)> Q(A ε ) +εouQ(A)> P(A ε ) +ε. Pour fixer les idées, disons que la première est réalisée (le raisonnement qui suit reste valable en échangeant les rôles dePetQ). Alors commeε > π˜(P Q), on a aussiP(A)≤Q((A) ε ) +ε. Comme (A) ε =A ε etP(A)≥P(A), ceci est contradictoire avec la minoration stricte deP(A) supposée ci-dessus. Par conséquent, l’inégalité stricte˜π(P Q)< π(P Q)ne peut avoir lieu pour aucun couple(P Q), d’où˜π(P Q)≤π(P Q)pour toutes probabilitésPetQ. On peut donc bien se restreindre auxAfermés pour calculer la distance de Prokhorov. Preuve de (ii).Pour établir le point (ii), il suffit de vérifier que pour toutes mesures de probabilitéPetQsurE,π 1 (P Q) =π 1 (Q P). Commençons par le cas particulier oùπ 1 (P Q) = 0. Dans ce cas on a pour toutA fermé et tout entiern≥1,P(A)≤Q(A 1/n ) + 1 n . CommeAest fermé,∩ n≥1 A 1/n =A, d’où par continuité séquentielle décroissante 3 deQ,P(A)≤Q(A)en faisant tendren vers l’infini. En passant aux complémentaires, on en déduit que pour tout ouvertBde E,Q(B)≤P(B). Maintenant, raisonnons par l’absurde en supposant queπ 1 (Q P)>0. Alors il existe unεtel que0< ε < π 1 (Q P)et un ferméFtel queQ(F)> P(F ε ) +ε. AinsiQ(F ε )≥Q(F)> P(F ε ) +ε, d’oùQ(F ε )> P(F ε ). Mais commeF ε est ouvert, ceci contredit la validité pour tout ouvertBde l’inégalitéQ(B)≤P(B). On a donc bien π 1 (Q P) = 0 =π 1 (P Q). En prime nous avons montré au passage que siπ 1 (P Q) = 0, alors pour tout ferméA, on a à la foisP(A)≤Q(A)etQ(A)≤P(A), d’oùP(A) =Q(A). Ainsi les mesures finiesPetQcoïncident sur la classe des fermés deE, qui est stable par intersections finies et engendrent la tribu borélienneE, donc elles coïncident surE, d’où P=Q. Traitons maintenant le casπ 1 (P Q)>0. Alors pour toutεtel que0< ε < π 1 (P Q), il existe un ferméAtel queP(A)> Q(A ε ) +ε, d’où en passant aux complémentaires Q(E\A ε )> P(E\A) +ε. Remarquons que sid(x y)< εetx∈A, alorsy∈A ε . 3.A 1/n ↓A⇒Q(A 1/n )↓A.

Éléments de Statistique Asymptotique 7 On en déduit que sid(x y)< εety∈E\A ε , alorsx∈ A, ce qui établit l’inclusion (E\A ε ) ε ⊂E\A. On a doncQ(E\A ε )> P(E\A) +ε≥P  (E\A ε ) ε  +ε. On obtient ainsi l’existence d’un ferméF=E\A ε tel queQ(F)> P(F ε ) +ε, ce qui entraîne que ε≤π 1 (Q P). Nous venons ainsi de vérifier que pour tout0< ε < π 1 (P Q),ε≤π 1 (Q P). On en déduit queπ 1 (P Q)≤π 1 (Q P). En tenant compte du cas particulierπ 1 (P Q) = 0 étudié ci-dessus, nous avons maintenant établi que pourtoutcouple(P Q)de probabilités, π 1 (P Q)≤π 1 (Q P). En échangeantPetQl’inégalité inverse est donc aussi vraie et finalementπ 1 (P Q) =π 1 (Q P). Preuve de (iii).Vérifions queπest une distance sur l’ensemble de smesures de probabilité surE. La symétrie découle immédiatement de la définition deπ. D’autre part siP=Q, tout ε >0les inégalités figurant dans la définition devérifie π, d’oùπ(P P) = inf]0+∞[= 0. Réciproquement, on a vu comme sous-produit de la preuve de (ii) que l’égalitéπ(P Q) = 0 impliqueπ 1 (P Q) = 0et que ceci implique l’égalité dePetQ. Il ne nous reste plus qu’à montrer queπvérifie l’inégalité triangulaire, ou plus simple- ment queπ 1 la vérifie :π 1 (P Q)≤π 1 (P R) +π 1 (R Q)pourP Q Rprobabilités quelcon- ques surE. On remarque pour cela que pour tous réelsxetytels queπ 1 (P R)< xet π 1 (R Q)< yet tout borélienAdeE, P(A)≤R(A x ) +x≤Q  (A x ) y  +y+x≤Q(A x+y ) +x+y d’oùπ 1 (P Q)≤x+y. Avecx↓π 1 (P R)ety↓π 1 (R Q), il vientπ 1 (P Q)≤π 1 (P R) + π 1 (R Q). Preuve partielle de (iv).Nous nous contenterons de démontrer que si lesX n ,Xsont des éléments aléatoires deEde loi respectiveP n ,Pet siπ 1 (P n  P)tend vers0, alorsX n converge en loi dansEversX. Pour cela, en vertu duportmanteau theorem(Th.1.11 ci-dessous), il suffit de montrer que siAest un borélien tel queP(∂A) = 0,P n (A)converge versP(A). Rappelons ici que l’intérieur deAest le plus grand ouvert contenu dansAet l’extérieur deAouvert contenu dans son complémentaire. La frontièrele plus grand ∂Ade Ane sont ni intérieurs ni extérieurs àest l’ensemble des points qui A. Comme l’intérieur deAest l’extérieur de son complémentaire et vice-versa,AetE\Aont mme frontière. Fixonsε >0quelconque. Notons que pour tout entierk≥1, (A 1/k \A)⊂(A 1/k \A ◦ )↓(A\A ◦ ) =∂A CommeP(∂A) = 0, on peut trouver0< δ < εsuffisamment petit pour queP(A δ \A)< ε etP((E\A) δ \(E\A))< ε. Par hypothèse,π 1 (P n  P)tend vers0, donc on peut trouver unn 0 dépendant deεtel que pour toutn≥n 0 ,π 1 (P n  P)< δ. On en déduit les inégalités P n (A)≤P(A δ ) +δ≤P(A) + 2εet de mmeP n (E\A)≤P(E\A) + 2ε. En réécrivant cette dernière sous la forme1−P n (A)≤1−P(A) + 2ε, on obtientP(A)≤P n (A) + 2ε et finalement−2ε≤P n (A)−P(A)≤2ε. Commeεétait quelconque, la convergence de P n (A)versP(A)est établie. 

8 M -C Viano et Ch. Suquet . . Exercice 1.1.On supposeQ= (1−α)P+αRoùα∈[01]etRest une mesure de probabilité. Montrer queπ(P Q)≤α./ Exercice 1.2.Montrer que pour tousx y∈E,π(δ x  δ y ) = min(1 d(x y))./ Exercice 1.3.On définit la distance de Paul Lévy de deux lois de probabilitéPetQsur Rpar L(P Q) = inf{ε >0|G(x−ε)−ε≤F(x)≤G(x+ε) +ε∀x} oùFetGsont les fonctions de répartition respectives dePetQ. a) Vérifier queLest une distance. b) Justifiez l’inégalitéL(P Q)≤π(P Q)déduire que si la suite de variables aléatoireset en réelles(X n ) n≥1 converge en loi versX,L(P X n  P X )converge vers0, où la notationP Y désigne la loi deY. c) Montrez que siL(P X n  P X )converge vers0, alorsX n converge en loi versX. AinsiL métrise la convergence en loi. d) Trouver deux suites de lois(P n ) n≥1 et(Q n ) n≥1 telles queL(P n  Q n )converge vers0, mais pasπ(P n  Q n ). En déduire que les distancesπetLne sont pas équivalentes. / 1.2. La distance en variation totale.Ici,(EE)est un espace mesurable quel- conque. kP−Qk= sup{|P(A)−Q(A)|} A∈E Cette distance est issue de la norme en variation totale définie sur l’ensemble des mesures signées, ensemble dont on ne parlera pas ici. Sur l’ensemble des mesures positives, cette norme est tout simplement la masse totale de la mesure. Exercice 1.4.Montrer queπ(P Q)≤ kP−Qket trouver un exemple où l’inégalité est stricte./ Exercice 1.5.(Théorème de Scheffé). SiPetQont respectivement pour densitéfetg par rapport à une mme mesureµ, (1.1)kP−Qk 1 = 2 Z |f(x)−g(x)|dµ(x) = 1− Z min{f(x) g(x)}dµ(x) Montrer que l’hypothèse d’existence de densités n’est pas restrictive./ Ce dernier résultat rend la distance en variation totale souvent facile à manipuler, mme si la distance de Prohorov, puisqu’elle métrise la convergence en loi, est plus adaptée à beaucoup de problèmes statistiques. On a l’habitude de noterP∧Qla mesure qui a pour densitémin{f(x) g(x)}. L’égalité (1.1) s’écrit kP−Qk= 1− kP∧Qk Il est à noter que la distance en variation totale a une signification statistique, comme on le voit dans l’exercice qui suit.

Éléments de Statistique Asymptotique 9 Exercice 1.6.tester l’hypothèse que la loi d’une variableSupposons qu’on désire Xest P, contre l’hypothèse que sa loi estQ. Pour toute région critiqueCon regarde la somme des deux erreursP(C) + 1−Q(C)la valeur minimale de cette somme est. Montrer que atteinte et qu’elle vautkP∧Qk./ 1.3. La distance d’Hellinger.Avec les notations de l’exercice1.5, on pose 2 H 2 (P Q) = Z  q f(x)− q g(x)  dµ(x) La distanceH= √ H 2 ainsi définie est invariante par changement de mesure de référence. On appelleaffinité d’Hellingerla quantité A(P Q) = q Z f(x)g(x) dµ(x) On a évidemment H 2 (P Q) = 2(1−A(P Q)) On remarque que, siP 1 etQ 1 (resp.P 2 etQ 2 ) sont deux mesures surE 1 (resp.E 2 ) à densité par rapport ൠ1 (resp.µ 2 ) on a A(P 1 ⊗P 2  Q 1 ⊗Q 2 ) =A(P 1  Q 1 )A(P 2  Q 2 ) ce qui montre que la distance d’Hellinger est de manipulation particulièrement aisée pour des mesures produit. C’est la situation rencontrée en statistique lorsqu’on a affaire à des variables indépendantes. De plus, la distance d’Hellinger se compare bien à la distance en variation totale. Exercice 1.7.Montrer que 2 1 H 2 (P Q)≤ kP−Qk ≤min  H(P Q); 2−A 2 (P Q)  

/ Exercice 1.8.Calculer la distance en variation totale et la distance d’Hellinger entre la gaussienne standard et la gaussienne d’espérancemet de variance1./ Exercice 1.9.CalculerH 2 (P θ 0  P θ )lorsqueP θ est la loi uniforme sur[0 θ]./ Exercice 1.10.On considèreP θ la loi triangulaire centrée enθ: sa densité est nulle en dehors de[θ−1 θ+ 1]et sur cet intervalle elle est égale à1−(x−θ)sgn(x−θ). Montrer que H 2 (P 0  P θ ) =− θ 2 2 lnθ+o(θ 2 )lorsqueθ→0 /

10 M.-C. Viano et Ch. Suquet 2. Convergence de variables aléatoires à valeurs dans des espaces métriques 2.1. Rappels.Pour les convergences de suites de variables aléatoires à valeurs dans R k , le lecteur peut se reporter au chapitre 2 de [24], ou encore à [15]. On se contente ici de deux rappels et d’un complément. Dans la suite de ce cours, ces résultats pourront utilisés dans le contexte plus général où lesX n sont définies sur des ensembles probabilisés (Ω n A n  P n )différents selon les valeurs den. Au lecteur de vérifier que les définitions, les notations aussi bien que les résultats qui suivent se transposent sans difficulté dans ce contexte. Définition 1.3.Considérons, sur l’espace(ΩA P), une suite(X n ) n≥1 de vecteurs aléa- toires. Cette suite est dite bornée en probabilité si pour toutε >0il existeMtel que supP(kX n k> M)≤ε n≥1 Pour des raisons évidentes, on écrit aussiX n =O P (1). Tout naturellement les notions deoetOse transposent pour les suites aléatoires. Dans la définition suivante,(X n ) n≥1 est une suite de vecteurs aléatoires deR k et(R n ) n≥1 ,(Y n ) n≥1 deux suites de variables aléatoires réelles positives. Définition 1.4. X n =o P (R n )signifie quekX n k=Y n R n oùY n n −− P − + −→0 → ∞ X n =O P (R n )signifie quekX n k=Y n R n oùY n =O P (1) Le théorème de Prokhorov étend le théorème de Heine-Borel aux suites bornées en probabilité . Théorème 1.5(Théorème de Prohorov).Soit une suite de vecteurs aléatoires à valeurs dansR p . (1) Si la suite(X n )de vecteurs aléatoires converge en loi, elle est bornée en probabilité. (2) Si la suite(X n )est bornée en probabilité, il existe une sous suiteϕ(n)telle que (X ϕ(n) )a une limite en loi. Preuve.Supposons que la suite(X n )a une limite en loiX. Soitε >0fixé. D’après le (4) du théorème1.11, étant donnéM >0, on aP(kX n k ≥M)≤P(kXk ≥M) +εpour n≥n 0 . ChoisissantMde sorte queP(kXk ≥M)< εon obtient P(kX n k ≥M)≤2ε∀n≥n 0  Enfin, quitte à modifierM, l’inégalité qui précède est valable aussi pourn < n 0 ce qui prouve le (1). Prouvons le (2). Pour simplifier la preuve, on suppose quep= 1. Considérons la suite(F n )des fonctions de répartitions desX n . On sait (lemme de Helly, voir par exemple [249) que de cette suite on peut extraire une sous suite], page (F ϕ(n) )et une fonction croissante positiveFtelleF ϕ(n) (x)→F(x)en tout point de continuité deF. Il ne reste plus qu’à montrer queFest une fonction de répartition. C’est à dire queF(x)tend vers1 (resp0) lorsque lorsquex→ ∞(resp.−∞Pour cela on utilise le fait que). X n =O P (1).