Marie Claude VIANO et Charles SUQUET

De
Publié par

Niveau: Supérieur, Master
Éléments de Statistique Asymptotique Marie-Claude VIANO et Charles SUQUET Master 2 Recherche de Mathématiques année 2010–2011

  • delta-méthodes

  • cinquantaine d'années

  • propriétés asymptotiques des quantiles

  • méth- odes de géométrie différentielle

  • théorème central

  • méthode du maximum de vraisemblance


Publié le : vendredi 8 juin 2012
Lecture(s) : 133
Tags :
Source : math.univ-lille1.fr
Nombre de pages : 82
Voir plus Voir moins
Master
2
Éléments de Statistique Asymptotique
Marie-Claude VIANO
Recherche de Mathématiques
et
Charles
SUQUET
année
2010–2011
Table des matières
Introduction Chapitre 1. Rappels sur les notions de convergence 1. Distances entre mesures de probabilité 2. Convergence de variables aléatoires à valeurs dans des espaces métriques Chapitre 2. Théorèmes classiques : rappels et compléments 1. Théorème de Glivenko-Cantelli. Ergodicité. Mesure empirique 2. Théorème central limite. Convergence du Processus empirique Chapitre 3. Méthodes du maximum de vraisemblance et M-estimateurs 1. Introduction 2. Propriétés asymptotiques 3. Robustesse 4. Robustesse contre efficacité Chapitre 4. Les delta-méthodes 1. Introduction 2. Notions de dérivabilité directionnelle 3. La delta-méthode fonctionnelle 4. Application aux M-estimateurs Chapitre 5. Les quantiles 1. Définition 2. Quelques propriétés élémentaires 3. Propriétés asymptotiques des quantiles. 4. La fonction quantile 5. Une application : l’écart absolu médian 6. Une application : la moyenneα-tronquée Annexe A. Solutions d’exercices Bibliographie
1
3 5 5 10 15 15 26 35 35 37 48 51 55 55 57 59 59 67 67 67 68 69 70 71 73 81
Introduction
Ce cours est d’abord une « visite guidée» de quelques points importants en statis-tique asymptotique : le rôle de la mesure empirique pour estimer la loi des variables, lesδ-méthodes qui permettent d’obtenir les distributions limites d’estimateurs par des développements limités de la mesure empirique autour de cette loi, les notions de robustesse qui conduisent à la construction d’estimateurs non optimaux mais aux performances peu fragiles, les notions de contiguïté et de normalité asymptotique locale qui, par des méth-odes de géométrie différentielle, fournissent une explication à certains « comportements invariants» en statistique classique comme la normalité asymptotique des estimateurs du maximum de vraisemblance et la vitesse ennobtenue dans la plupart des convergences en loi. Le deuxième objectif de ce cours est de quitter le domaine des variables indépendantes, terrain de prédilection des statisticiens. Pour un statisticien, un «échantillon» est la réal-isation d’un vecteur aléatoire à composantes indépendantes et de mme loi. Depuis une cinquantaine d’années, on s’est intéressé à ce qu’il advient des résultats limites bien connus (loi des grands nombres, théorème central limite, loi du logarithme itéré, etc...) lorsque les variables sont dépendantes. On est arrivé dans bien des cas à évaluer l’impact de la perte d’indépendance. Dans la mesure du possible, chaque chapitre du cours consacre un paragraphe à cette question.
3
CHAPITRE 1
Rappels sur les notions de convergence
Dans ce chapitre, nous examinerons des questions de convergence de suites de variables aléatoires à valeurs dans des espaces métriques. Ces « variables aléatoires » seront définies sur un espaceF)et à valeurs dans un espace métriqueE. Parler de variables aléatoires et pas seulement d’applicationsΩE, suppose une certaine mesurabilité. Pour cela, nous munirons généralementEde sa tribuborélienne, c’est à dire la tribu engendrée par les ouverts deE. On emploiera aussi l’expression « élément aléatoire deE» pour désigner de telles variables. 1. Distances entre mesures de probabilité Entre autres distances, nous en retiendrons trois. 1.1. La distance de Prokhorov. Définition 1.1(distance de Prokhorov).La distance de Prokhorov de deux mesures de probabilitéPetQsur la tribu borélienneEd’un espace métrique(E d)est définie par : π(P Q) := inf{ε >0| ∀A∈ E P(A)Q(Aε) +εetQ(A)P(Aε) +ε}Aεdésigne l’ensemble des points deEdont la distance àAest strictement inférieure àε. Théorème 1.2. (i) Dans la définition deπci-dessus, on peut se restreindre à la famille desAfermés de E. (ii)π(P Q) =π1(P Q) = inf{ε >0|P(A)Q(Aε) +εpour toutAfermé deE}. (iii)πest une distance sur l’ensemble des mesures de probabilité surE. (iv) SiEest séparable1,πmétrise2la convergence en loi. Preuve. Remarques préliminaires.Rappelons que siAest une partie d’un espace métrique(E d), la distance d’un élémentedeEàAest définie pard(e A) = inf{d(e x);xA}. On vérifie facilement qued(e A) = 0si et seulement sieappartient à la fermetureAdeAet qued(e A) =d(e A). De plus, l’applicationϕ:ER+,x7→d(x A)estcontinue[23, p. 103], ce qui implique queAε=ϕ1(]− ∞ ε[)est un ouvert deE. 1. C’est-à-dire s’il existe une partie dénombrable dense dansE. 2. Autrement dit,Xnconverge en loi versXsi et seulement siπ(PXn PX)tend vers0, oùPXn,PX désignent les lois desXnet deX. 5
6 M.-C. Viano et Ch. Suquet Pour toutes mesures de probabilitésPetQsurEet toute sous-familleGdeE, notons IG(P Q) :={ε >0| ∀A∈ G P(A)Q(Aε) +εetQ(A)P(Aε) +ε}0n remarque alors queIG(P Q)est unintervalledeR. En effet, siεIG(P Q), pour toutε0> ε,Q(Aε) +εQ(Aε0) +ε0et de mme avecP, d’oùε0IG(P Q). Ceci montre que siIG(P Q)6=, c’est un intervalle deR, de borne supérieure+. En fait, [1+[IG(P Q)[0+[, puisquePetQétant des probabilités, il est clair que tout réelε1est dansIG(P Q)montre la première inclusion, la deuxième résultant de. Ceci la condition «ε >0» dans la définition deIG(P Q). Notons enfin que siG ⊂ G0, alorsIG0(P Q)IG(P Q), d’oùinfIG(P Q)infIG0(P Q). Preuve de (i).En notantFla famille des fermés deEet˜π(P Q)la borne inférieure de IF(P Q), nous avons à comparer cette borne avec la distance de Prokhorovπ(P Q) = infIE(P Q). D’abord puisque la familleFdes fermés est incluse dans la tribu borélienne E, la remarque précédente nous donne˜π(P Q)π(P Q)pour toutes probabilitésPetQ surE. Supposons qu’il existe un couple de probabilités(P Q)pour lequel cette inégalité soit stricte. Alors il existe unεπ(P Q) π(P Q)[et un borélienA∈ Evérifiant l’une au moins des deux inégalitésP(A)> Q(Aε) +εouQ(A)> P(Aε) +ε. Pour fixer les idées, disons que la première est réalisée (le raisonnement qui suit reste valable en échangeant les rôles dePetQ). Alors commeε > π˜(P Q), on a aussiP(A)Q((A)ε) +ε. Comme (A)ε=AεetP(A)P(A), ceci est contradictoire avec la minoration stricte deP(A) supposée ci-dessus. Par conséquent, l’inégalité stricte˜π(P Q)< π(P Q)ne peut avoir lieu pour aucun couple(P Q), d’où˜π(P Q)π(P Q)pour toutes probabilitésPetQ. On peut donc bien se restreindre auxAfermés pour calculer la distance de Prokhorov. Preuve de (ii).Pour établir le point (ii), il suffit de vérifier que pour toutes mesures de probabilitéPetQsurE,π1(P Q) =π1(Q P). Commençons par le cas particulier oùπ1(P Q) = 0. Dans ce cas on a pour toutA fermé et tout entiern1,P(A)Q(A1/n) +1n. CommeAest fermé,n1A1/n=A, d’où par continuité séquentielle décroissante3deQ,P(A)Q(A)en faisant tendren vers l’infini. En passant aux complémentaires, on en déduit que pour tout ouvertBde E,Q(B)P(B). Maintenant, raisonnons par l’absurde en supposant queπ1(Q P)>0. Alors il existe unεtel que0< ε < π1(Q P)et un ferméFtel queQ(F)> P(Fε) +ε. AinsiQ(Fε)Q(F)> P(Fε) +ε, d’oùQ(Fε)> P(Fε). Mais commeFεest ouvert, ceci contredit la validité pour tout ouvertBde l’inégalitéQ(B)P(B). On a donc bien π1(Q P) = 0 =π1(P Q). En prime nous avons montré au passage que siπ1(P Q) = 0, alors pour tout ferméA, on a à la foisP(A)Q(A)etQ(A)P(A), d’oùP(A) =Q(A). Ainsi les mesures finiesPetQcoïncident sur la classe des fermés deE, qui est stable par intersections finies et engendrent la tribu borélienneE, donc elles coïncident surE, d’où P=Q. Traitons maintenant le casπ1(P Q)>0. Alors pour toutεtel que0< ε < π1(P Q), il existe un ferméAtel queP(A)> Q(Aε) +ε, d’où en passant aux complémentaires Q(E\Aε)> P(E\A) +ε. Remarquons que sid(x y)< εetxA, alorsyAε. 3.A1/nAQ(A1/n)A.
Éléments de Statistique Asymptotique 7 On en déduit que sid(x y)< εetyE\Aε, alorsx A, ce qui établit l’inclusion (E\Aε)εE\A. On a doncQ(E\Aε)> P(E\A) +εP(E\Aε)ε+ε. On obtient ainsi l’existence d’un ferméF=E\Aεtel queQ(F)> P(Fε) +ε, ce qui entraîne que επ1(Q P). Nous venons ainsi de vérifier que pour tout0< ε < π1(P Q),επ1(Q P). On en déduit queπ1(P Q)π1(Q P). En tenant compte du cas particulierπ1(P Q) = 0 étudié ci-dessus, nous avons maintenant établi que pourtoutcouple(P Q)de probabilités, π1(P Q)π1(Q P). En échangeantPetQl’inégalité inverse est donc aussi vraie et finalementπ1(P Q) =π1(Q P). Preuve de (iii).Vérifions queπest une distance sur l’ensemble de smesures de probabilité surE. La symétrie découle immédiatement de la définition deπ. D’autre part siP=Q, tout ε >0les inégalités figurant dans la définition devérifie π, d’oùπ(P P) = inf]0+[= 0. Réciproquement, on a vu comme sous-produit de la preuve de (ii) que l’égalitéπ(P Q) = 0 impliqueπ1(P Q) = 0et que ceci implique l’égalité dePetQ. Il ne nous reste plus qu’à montrer queπvérifie l’inégalité triangulaire, ou plus simple-ment queπ1la vérifie :π1(P Q)π1(P R) +π1(R Q)pourP Q Rprobabilités quelcon-ques surE. On remarque pour cela que pour tous réelsxetytels queπ1(P R)< xet π1(R Q)< yet tout borélienAdeE, P(A)R(Ax) +xQ(Ax)y+y+xQ(Ax+y) +x+y d’oùπ1(P Q)x+y. Avecxπ1(P R)etyπ1(R Q), il vientπ1(P Q)π1(P R) + π1(R Q). Preuve partielle de (iv).Nous nous contenterons de démontrer que si lesXn,Xsont des éléments aléatoires deEde loi respectivePn,Pet siπ1(Pn P)tend vers0, alorsXn converge en loi dansEversX. Pour cela, en vertu duportmanteau theorem(Th.1.11 ci-dessous), il suffit de montrer que siAest un borélien tel queP(∂A) = 0,Pn(A)converge versP(A). Rappelons ici que l’intérieur deAest le plus grand ouvert contenu dansAet l’extérieur deAouvert contenu dans son complémentaire. La frontièrele plus grand ∂Ade Ane sont ni intérieurs ni extérieurs àest l’ensemble des points qui A. Comme l’intérieur deAest l’extérieur de son complémentaire et vice-versa,AetE\Aont mme frontière. Fixonsε >0quelconque. Notons que pour tout entierk1, (A1/k\A)(A1/k\A)(A\A) =∂A CommeP(∂A) = 0, on peut trouver0< δ < εsuffisamment petit pour queP(Aδ\A)< ε etP((E\A)δ\(E\A))< ε. Par hypothèse,π1(Pn P)tend vers0, donc on peut trouver unn0dépendant deεtel que pour toutnn0,π1(Pn P)< δ. On en déduit les inégalités Pn(A)P(Aδ) +δP(A) + 2εet de mmePn(E\A)P(E\A) + 2ε. En réécrivant cette dernière sous la forme1Pn(A)1P(A) + 2ε, on obtientP(A)Pn(A) + 2ε et finalement2εPn(A)P(A)2ε. Commeεétait quelconque, la convergence de Pn(A)versP(A)est établie.
8 M -C Viano et Ch. Suquet . . Exercice 1.1.On supposeQ= (1α)P+αRα[01]etRest une mesure de probabilité. Montrer queπ(P Q)α./ Exercice 1.2.Montrer que pour tousx yE,π(δx δy) = min(1 d(x y))./ Exercice 1.3.On définit la distance de Paul Lévy de deux lois de probabilitéPetQsur Rpar L(P Q) = inf{ε >0|G(xε)εF(x)G(x+ε) +εx}FetGsont les fonctions de répartition respectives dePetQ. a) Vérifier queLest une distance. b) Justifiez l’inégalitéL(P Q)π(P Q)déduire que si la suite de variables aléatoireset en réelles(Xn)n1converge en loi versX,L(PXn PX)converge vers0, où la notationPY désigne la loi deY. c) Montrez que siL(PXn PX)converge vers0, alorsXnconverge en loi versX. AinsiL métrise la convergence en loi. d) Trouver deux suites de lois(Pn)n1et(Qn)n1telles queL(Pn Qn)converge vers0, mais pasπ(Pn Qn). En déduire que les distancesπetLne sont pas équivalentes. / 1.2. La distance en variation totale.Ici,(EE)est un espace mesurable quel-conque. kPQk= sup{|P(A)Q(A)|}A∈E Cette distance est issue de la norme en variation totale définie sur l’ensemble des mesures signées, ensemble dont on ne parlera pas ici. Sur l’ensemble des mesures positives, cette norme est tout simplement la masse totale de la mesure. Exercice 1.4.Montrer queπ(P Q)≤ kPQket trouver un exemple où l’inégalité est stricte./ Exercice 1.5.(Théorème de Scheffé). SiPetQont respectivement pour densitéfetg par rapport à une mme mesureµ, (1.1)kPQk1=2Z|f(x)g(x)|dµ(x) = 1Zmin{f(x) g(x)}dµ(x)Montrer que l’hypothèse d’existence de densités n’est pas restrictive./ Ce dernier résultat rend la distance en variation totale souvent facile à manipuler, mme si la distance de Prohorov, puisqu’elle métrise la convergence en loi, est plus adaptée à beaucoup de problèmes statistiques. On a l’habitude de noterPQla mesure qui a pour densitémin{f(x) g(x)}. L’égalité (1.1) s’écrit kPQk= 1− kPQkIl est à noter que la distance en variation totale a une signification statistique, comme on le voit dans l’exercice qui suit.
Éléments de Statistique Asymptotique 9 Exercice 1.6.tester l’hypothèse que la loi d’une variableSupposons qu’on désire Xest P, contre l’hypothèse que sa loi estQ. Pour toute région critiqueCon regarde la somme des deux erreursP(C) + 1Q(C)la valeur minimale de cette somme est. Montrer que atteinte et qu’elle vautkPQk./ 1.3. La distance d’Hellinger.Avec les notations de l’exercice1.5, on pose 2 H2(P Q) =Zqf(x)qg(x)dµ(x)La distanceH=H2ainsi définie est invariante par changement de mesure de référence. On appelleaffinité d’Hellingerla quantité A(P Q) =qZf(x)g(x) dµ(x)On a évidemment H2(P Q) = 2(1A(P Q))On remarque que, siP1etQ1(resp.P2etQ2) sont deux mesures surE1(resp.E2) à densité par rapport àµ1(resp.µ2) on a A(P1P2 Q1Q2) =A(P1 Q1)A(P2 Q2)ce qui montre que la distance d’Hellinger est de manipulation particulièrement aisée pour des mesures produit. C’est la situation rencontrée en statistique lorsqu’on a affaire à des variables indépendantes. De plus, la distance d’Hellinger se compare bien à la distance en variation totale. Exercice 1.7.Montrer que 21H2(P Q)≤ kPQk ≤minH(P Q); 2A2(P Q)
/ Exercice 1.8.Calculer la distance en variation totale et la distance d’Hellinger entre la gaussienne standard et la gaussienne d’espérancemet de variance1./ Exercice 1.9.CalculerH2(Pθ0 Pθ)lorsquePθest la loi uniforme sur[0 θ]./ Exercice 1.10.On considèrePθla loi triangulaire centrée enθ: sa densité est nulle en dehors de[θ1 θ+ 1]et sur cet intervalle elle est égale à1(xθ)sgn(xθ). Montrer que H2(P0 Pθ) =θ22lnθ+o(θ2)lorsqueθ0/
10 M.-C. Viano et Ch. Suquet 2. Convergence de variables aléatoires à valeurs dans des espaces métriques 2.1. Rappels.Pour les convergences de suites de variables aléatoires à valeurs dans Rk, le lecteur peut se reporter au chapitre 2 de [24], ou encore à [15]. On se contente ici de deux rappels et d’un complément. Dans la suite de ce cours, ces résultats pourront utilisés dans le contexte plus général où lesXnsont définies sur des ensembles probabilisés nAn Pn)différents selon les valeurs den. Au lecteur de vérifier que les définitions, les notations aussi bien que les résultats qui suivent se transposent sans difficulté dans ce contexte. Définition 1.3.Considérons, sur l’espaceA P), une suite(Xn)n1de vecteurs aléa-toires. Cette suite est dite bornée en probabilité si pour toutε >0il existeMtel que supP(kXnk> M)ε n1 Pour des raisons évidentes, on écrit aussiXn=OP(1). Tout naturellement les notions deoetOse transposent pour les suites aléatoires. Dans la définition suivante,(Xn)n1est une suite de vecteurs aléatoires deRket(Rn)n1,(Yn)n1 deux suites de variables aléatoires réelles positives. Définition 1.4. Xn=oP(Rn)signifie quekXnk=YnRnYnnP+−→0 → ∞ Xn=OP(Rn)signifie quekXnk=YnRnYn=OP(1)Le théorème de Prokhorov étend le théorème de Heine-Borel aux suites bornées en probabilité . Théorème 1.5(Théorème de Prohorov).Soit une suite de vecteurs aléatoires à valeurs dansRp . (1) Si la suite(Xn)de vecteurs aléatoires converge en loi, elle est bornée en probabilité. (2) Si la suite(Xn)est bornée en probabilité, il existe une sous suiteϕ(n)telle que (Xϕ(n))a une limite en loi. Preuve.Supposons que la suite(Xn)a une limite en loiX. Soitε >0fixé. D’après le (4) du théorème1.11, étant donnéM >0, on aP(kXnk ≥M)P(kXk ≥M) +εpour nn0. ChoisissantMde sorte queP(kXk ≥M)< εon obtient P(kXnk ≥M)2εnn0Enfin, quitte à modifierM, l’inégalité qui précède est valable aussi pourn < n0ce qui prouve le (1). Prouvons le (2). Pour simplifier la preuve, on suppose quep= 1. Considérons la suite(Fn)des fonctions de répartitions desXn. On sait (lemme de Helly, voir par exemple [249) que de cette suite on peut extraire une sous suite], page (Fϕ(n))et une fonction croissante positiveFtelleFϕ(n)(x)F(x)en tout point de continuité deF. Il ne reste plus qu’à montrer queFest une fonction de répartition. C’est à dire queF(x)tend vers1 (resp0) lorsque lorsquex→ ∞(resp.−∞Pour cela on utilise le fait que). Xn=OP(1).
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.