La lecture en ligne est gratuite
Télécharger
Chapitre 9
Estimateursaumaximumde vraisemblance
Aveccechapitrenouscommen¸consl´etudedequelquesoutilscentrauxdelastatistique.
9.1 Estimateur
De´nition:Soitn >0 un entier. Nous appelleronsnoliuenilntndlo-´haecLtoute suiteX1, .. .,Xn dev.a.inde´pendantesdeloiL. Lastatistique-pratiqueestunensembledetechniquesdetraitementdedonn´eesqui,facea`ladonne´e denserbmongsulpuo()setrueral´en´tvecemenx1, . . .,xn-geescilntnalo´raahceudorpstipseleno-ta`d-ri unprotocoleexp´erimentalpropreaudomaineconside´r´e(sociologie,contrˆoledequalit´e,etc.)-choisitun nadelsdenioitn´essed-icnomruopsuahtn´-ceansuliolteaintmeded`elemath´ematiqeuusgge´artnnurt cesdonne´es. Prenonslexempledunre´fe´rendum(oudunple´bicite)ou`lese´lecteursnepeuventquer´epondrepar ouiounon(lesabstentions´etantsansinuencesurlere´sultat,cequiexclutlescasou`ilyaun quorum`aatteindre).Choisissonsn= 1000, et posonsxi= 1 si lai´gee´dcealerme`-epersonneinterro savoircequelleiravoteretvouloirvoteroui(siellede´clarenepassavoirounepasenvisagerdevoter, on´ecartecettere´ponsedelapr´esenteanalyse)etxi0sielled=uoolriove´lcrave.rtenno Cettesituationsimpleestg´en´eralementmod´elise´eparun1000-e´chantillonX1, .. .,X1000d’une loi de BernoulliB(1, pstueseitniselem),etonconsid`qereleunipoenoienstvefaduuruiop0.5. Onestalorsconfronte´auproble`medestimerlavaleurdepnoceisidomelle`d.nsDaliil)i(Bernoud´er´eic laloidesgrandsnombresvienta`notresecours:elleassurequelimn+(X1+. . .+Xn)/n=E(X1) =p; on dit dans ce cas quepˆ := (X1+. . .+Xn)/nest unestimateurerte`duparamp; en pratique, on choisit alorsp=p:= (x1+. . .+x1000)/1000. Nousnousint´eresseronsicia`laequrietm´rapauetsqiatits,iolalu`oL=L(θtˆetrecatenuepeuer)-r act´erise´parunparam`etreθ, qui est un nombre ou un vecteur. Ainsi, par exemple, siXiB(1, p), alors θ=pest un nombre, mais siXiN(µ, σ), alorsθ= (µ, σ) est un vecteur, tout comme dans le cas d’un d´epipe´o`ulonpeutchoisirθ= (p1, . . . , p5) (etp6= 1(p1+. . .+p5)) etpk:=Pθ({Xi=k}). ˆ ˆˆ D´enition:On dit queθ: (x1, . . . , xn)7→θn:=θ(x1, . . . , xn) est unestimateurconvergeant versθsi ˆ et seulement si , en loi, on aθ= limn+θ(X1, . . . , Xn) pour toute suite de v.a.Xid´inpeneadtnsed,e loiL(θ).
9.2 Vraisemblance 9.2.1Heuristiqueetde´nition Nousavonsvuquelaloidesgrandsnombresfournitspontane´mentunestimateurdelespe´rance duneloi,maissilonrechercheunem´ethodeunpeuge´ne´ralepourdevinerunestimateur,laudohed´mte maximum de vraissemblance.Eceoinvleciinprepic:caentveouesgi´etartsenutse ∗ ∗ Siune´chantillonageaproduitlasuiteniex. .,, .xdeserembnocanouqtedtisiohelismod´er 1n cette situation par unnnolahc´e-litnX1. .,, .Xnedolineadtnseina.epd´v.deL(θ), et si le choix de la 43
44
CHAPITRE 9.ESTIMATEURS AU MAXIMUM DE VRAISEMBLANCE
valeurduparame`treθementn´lre`veidnsre´epeoncoutrfno´t,enosectnomeauqueleprobl`eltseE= ∗ ∗ {X1=x ,. . . , Xn=x},etp´en´lusgnemelaret 1n
E(x1, . . . , xn) ={X1=x1, . . . , Xn=xn}={X1=x1} ∩. . .∩ {Xn=xn}
etsaprobabilite´
L(x1, . . . , xn;θ) :=Pθ(E(x1, . . . , xn)) =Pθ({X1=x1}∩. . .∩{Xn=xn}) =Pθ({X1=x1}). . .Pθ({Xn=xn}),
cettederni`ere´egalite´re´sultantdelhypoth`esedinde´pendancedesv.a.Xirostsla.tee´diLurheesr`eequtiis que le choixθqu’il convient d’effecteur pourθleecttpeorabibilt´eestmaximaleporu,tcesuielurpoqule ∗ ∗ les valeursx. .,, .xobtenues, et donc de poser 1n
∗ ∗, ., x;θ)}, θ= Argmaxθ{L(x1. .n
∗ ∗ cest-`a-direlavaleur(sielleexisteetestunique)deθpour laquelle la fonctionθ7→L(x ,. . . , x;θ) est 1n ∂L∗ ∗ maximale.Souvent,cecipeutseramener`ar´esoudreenθauit´qe(lonx ,. . . , x;θ) = 0. 1n ∂θ Q n De´nition:La fonctionLn: (x1, . . . , xn;θ)7→Ln(x1, . . . , xn;θ) =Pθ({Xi=xi}) pourdes i=1 XiL(θ) s’appelle la vraisemblance de la loiL. La v.a. obtenue en appliquant la fonction (x1, . . . , xn)7→Argmaxθ{L(x1, . . . , xn;θ)}iluqe´aeaupp nn(loilnthaec-´X1, . . . , Xn) s’appelle l’estimateur au maximum de vraisemblancedtremae`puraθde la loi discre`teL(θ).
9.2.2 Exemples Referendum Reprenonslexempleo`ulesXisuivent une loi de BernoulliB(1, p), et doncθ=p. Introduisons la notations:=x1+. . .+x1000url´echerv´eessnaitllnosolaurposbosruelavsedemmx1, .. .,x1000, cest-`a-direlenombredepersonnesinterroge´esquiontd´eclar´equellesvoteronsoui.Nousavonsdonc Q n s ns Ln(x1, . . . , xn;θ) =Pθ({Xi=xi}) =θ(1θpour) ,θ=p,n= 1000, ets=x1+. . .+xn, i=1 puisqueθ=p=Pθ({Xi= 1}) et 1θ= 1p=Pθ({Xi= 0}). Lesextr´emit´esdelintervalle[0,1] auquel appartientθsexertme(tnaaesˆfrutidsenepeuves= s ns 0 ous=n) et le maximumθde la fonction concaveθ(1θdae´dole´zrecnnuedosteeri)v´ ∂ s1ns1s x+...+x Ln(x1, . . . , xn;θ) =θ(1θ) (sod`u),θ= =. En d’autres termes, l’estimateur ∂θ nn ˆ X1+...+Xn au maximum de vraisemblancepˆ depest doncθesc,eliradt`seemeˆmeruetamit:euq= n lestimateurdelesp´eranceE(X1oidesgraquantlaleeanppil)rtuo´vuesqui,pntienvcoiuqec,serbmonsdn p=E(Xi).
Variables poissoniennes Supposons que le tirage d’unnllon-hce´itnaX1, . . . , Xnde v.a. suivant une loi de PoissonP(λ), x i θ θ λ >n´ecuitlillohantunnocni0dorptia,x1, . . . , xn. Iciθ=λ, etPθ({Xi=xi}) =e; la vraisem-xi! P n x Qi i=1 x i n θ θnθ θ Qn blancedele´chantillonx1, . . . , xnest donc iciLn(x1, . . . , xn;θ) =e=e, et donc i=1xi! xi! i=1 s nθ θ Qn Ln(x1, . . . , xn;θ) =e´eo`,unnaoulllevuonesopsiofes:=x1+. . .+xn. Il est un peu plus xi! i=1 commode de calculer avec le logarithme de cette expression est comme ln est une fonction croissante, il nous suffit de rechercher le maximumθde n X ln(x1, . . . , xn;θ) = ln(Ln(x1, . . . , xn;θ)) =+sln(θ)ln(xi!). i=1
∂ s Cette fonction est concave et son extremumθeeerz´elod´eadv´riecneltsodln(x1, . . . , xn;θ) =n+ , ∂θ θ s cesta`direθ= . n X1+...+Xn ˆ Nous trouvons donc une nouvelle foisθ:= commeestimateur deλ, ce qui convient, puisque n λ=E(Xi) pour toute v.a.XiP(λ).