Bornes pour l'estimation ponctuelle

Samy Tindel

Description

Niveau: Supérieur, Master, Bac+4
Bornes pour l'estimation ponctuelle Samy Tindel Nancy-Université Master 1 - Nancy Samy T. (IECN) M1 - Bornes statistiques Nancy-Université 1 / 41

• m1 - bornes statistiques


• borne de cramer-rao


• comportement asymptotique des emv


• voisinage de ?0


• ?0 ?


• bornes pour l'estimation ponctuelle


• modèle avec µ?

Informations

• Publié par: larec
• Nombre de lectures: 38
• Langue: Français

Extrait

T.(ISamy1MB-CE)Nssatroenueiqstti-UcyansNtisrevin

pour l’estimation

ponctuelle

14/1é

Nancy-Université

Bornes

Samy Tindel

Master 1 - Nancy

uqitaNse-ycnvinU1-)MrnBostesisat

Borne de Cramer-Rao

3

Comportement asymptotique

4

EMV

des

ersité2/41

Plan

Quantité d’information

1

2

Exhaustivité

CNIE.(yTamS

SamyTncNaesqutiisatstsenroB-1M)NCEI(.

4

Comportement asymptotique

des

EMV

2

Exhaustivité

3

Borne de Cramer-Rao

Plan

Quantité d’information

1

/314isétvire-ynU

/414isét

E θ ={x∈E;f θ (x)>0}

Généralisation:Tous nos résultats s’étendront facilement au cas de variables aléatoires discrètes (i.e. à valeurs dansN).

µ θ (dx) =f θ (x)dx

Cadre de l’étude

On pose

Modèle continu: On considérera par la suite un modèle statistique avec

Nancquesivery-UnsenroB-1itsitatsyTamS)MCNIE.(

J(θ θ 0 ) =E θ 0 [∂ θ ln(f θ (X))] Alors il existe un voisinage deθ 0 sur lequelθ7→J(θ θ 0 )est décroissante.

Hypothèse supplémentaire: La fonctionθ7→E θ 0 [ln(f θ (X))]est deux fois dérivable sous le signeE. On pose

E θ 0 [ln(f θ (X))]<E θ 0 [ln(f θ 0 (X))]pour toutθ∈Θ{θ 0 }

Lemme Soit(ΩAXE(µ θ ) θ∈Θ )un modèle avecµ θ (dx) =f θ (x)dx . On suppose f θ >0pour toutθ∈Θ. Soitθ 0 ∈Θ. Alors:

Inégalité de la théorie de l’information

1/4é5itrsveni-UcyymaSqieuNsnassatittsM1-BorneT.(IECN)

SmaTy

E θ 0 [ln(f θ (X))]<E θ 0 [ln(f θ 0 (X))]

Démonstration

Inégalité de Jensen:par concavité stricte de ln, pourθ6=θ 0 , E θ 0 " ln
f f θ θ 0 ( ( X X ) ) !# <ln
E θ 0 " f f θ θ ( ( X X ) ) #! =0 0

On en déduit

vire-ynU/614iséttiisatstncNaesquM)NCEI(.senroB-1

aSym.TI(ornesstaECN)M1-BU-ycnaNseuqitsit

Démonstration (2)

On a trouvé: θ7→E θ 0 [ln(f θ (X))]admet un minimum strict enθ 0 Rappel:

1/4é7itrsveni

DoncJ(θ 0  θ 0 )0. = De plus: ∂ θ J(θ θ 0 ) =E θ 0 h ∂ θ 2 θ ln(f θ (X)) i =⇒∂ θ J(θ θ 0 )| θ=θ 0 =−I X (θ 0 )

J(θ θ 0 ) =E θ 0 [∂ θ ln(f θ (X))] =∂ θ E θ 0 [ln(f θ (X))]

oùI X (θ 0 )se nommequantité d’informationdeXpar rapport àθ 0 . On verra queI X (θ 0 )>0. ,→Décroissance deJdans un voisinage deθ 0 .

On observe bien les phénomènes annoncés par la proposition.

evsrti8é4/1

Lois de Bernoulli:siE={01},Θ =]01[etµ p =B(p)

Exemple

E θ 0 [ln(f θ (X))] = (1−θ 0 )ln(1−θ) +θ 0 ln(θ) J(θ θ 0 ) =∂ θ E θ 0 [ln(f θ (X))] θ 0 − − θ θ) = θ(1

On a vuf θ (x) =θ x (1−θ) 1−x et

I(CEym.TaSinU-ycnaNseuqitstitassneor-BM1N)

rsité9/41

Quantité d’information

Définition Soit(ΩAXE(µ θ ) θ∈Θ )un modèle avecµ θ (dx) =f θ (x)dx . On pose I X (θ) =E θ h (∂ θ ln(f θ (X))) 2 i  lorsque cette quantité est bien définie.

Proposition Lorsque E θ est indépendant deθ, on a aussi I X (θ) =−E θ h ∂ θ 2 θ ln(f θ (X)) i =Var[∂ θ ln(f θ (X))]

qieuNsnaycU-inevneor-BM1sttitassymaS)NCEI(.T

ness-Borstiqtatiym.TaS)N1MI(CE

(ii)Sur l’expressionVar[∂ θ ln(f θ (X))]: On a vu queE θ [∂ θ ln(f θ (X))] =0(à redémontrer) ,→La variance est le premier moment intéressant de∂ θ ln(f θ (X)).

’ (i)Sur l expression−E θ [∂ θ 2 θ ln(f θ (X))]: I X (θ 0 )≡largeur du pic deE θ 0 [ln(f θ (X))]autour deθ 0 ,→Quantifie l’apport deXà l’estimation deθ 0

Interprétations et remarques

(ii)Rôle de l’hypothèse surE θ : Afin de pouvoir dériver tranquillement sous le signe somme.

1éti14/0ni-UrsvesNuecyan

.(IECN)M1-BornesSmaTy4/11étisrevinU-yncNaesqutiisatst

I X (θ) =E θ h (∂ θ ln(f θ (X))) 2 i =Var[∂ θ ln(f θ (X))]

1

(i)Montrons directementE θ [∂ θ ln(f θ (X))] =0: E θ [∂ θ ln(f θ (X))]=E θ " ∂ f θ θ f θ ( (X X ) ) # = Z R ∂ θ f θ (x)dx =∂ θ Z R f θ (x)dx  =0

Donc

Démontsaritno