MAITRISE de MATHEMATIQUES STATISTIQUE
157 pages
Français

MAITRISE de MATHEMATIQUES STATISTIQUE

Obtenez un accès à la bibliothèque pour le consulter en ligne
En savoir plus
157 pages
Français
Obtenez un accès à la bibliothèque pour le consulter en ligne
En savoir plus

Description

Niveau: Supérieur, Master, Bac+5
MAITRISE de MATHEMATIQUES STATISTIQUE M. Gradinaru 2002-2005

  • mateur du parametre ?

  • loi qx

  • methode du maximum de vraisemblance

  • construction d'estimateurs efficaces

  • estimation de parametres

  • distribution aux etudiants de maıtrise de mathematiques de l'universite de nancy

  • distribution empirique

  • comparaison des tests


Sujets

Informations

Publié par
Nombre de lectures 100
Langue Français

Exrait

´MAITRISE de MATHEMATIQUES
STATISTIQUE
M. Gradinaru
2002-20052
Avant propos
Ces notes sont une r´edaction du cours oral en amphith´eˆatre. Il s’agit d’un document
de travail et pas d’un ouvrage ; il est destin´e `a la distribution aux ´etudiants de Maˆıtrise
de Math´ematiques de l’Universit´e de Nancy. Certaines parties de ces notes sont inspir´ees
de notes de cours (et je remercie vivement leurs auteurs) r´edig´ees par F. Castell et B.
Roynette. Je remercie B. Roynette pour la lecture attentive des formes pr´eliminaires du
manuscrit.
Vandœuvre-l`es-Nancy, janvier 2002 - mai 2005 M. GradinaruTable des mati`eres
1 Estimation des param`etres 1
´1.1 Echantillon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Familles param´etriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Distribution empirique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 M´ethodes d’estimation ponctuelle . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.1 M´ethode des moments . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.4.2 M´ethode du maximum de vraisemblance . . . . . . . . . . . . . . . 16
1.5 Comparaison des estimateurs. Efficacit´e. In´egalit´e de Cramer-Rao . . . . . 25
1.5.1 Param`etre scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5.2 Param`etre vectoriel . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.6 Statistiques exhaustives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.6.1 Rappels sur les lois conditionnelles . . . . . . . . . . . . . . . . . . 33
1.6.2 Statistiques exhaustives . . . . . . . . . . . . . . . . . . . . . . . . 34
1.6.3 Statistique exhaustive minimale . . . . . . . . . . . . . . . . . . . . 38
1.7 Construction d’estimateurs efficaces . . . . . . . . . . . . . . . . . . . . . . 40
1.7.1 Am´eliorer un estimateur . . . . . . . . . . . . . . . . . . . . . . . . 40
1.7.2 Statistiques compl`etes . . . . . . . . . . . . . . . . . . . . . . . . . 42
1.8 Familles exponentielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.9 In´egalit´e de Cramer-Rao et mod`ele exponentiel . . . . . . . . . . . . . . . 51
1.10 Estimation par intervalle (ou r´egion) de confiance . . . . . . . . . . . . . . 55
1.11 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.11.1 Lois de probabilit´e . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
1.11.2 Convergence des variables al´eatoires r´eelles . . . . . . . . . . . . . . 63
1.11.3 Statistiques d’ordre. Information de Kullback-Leibler. . . . . . . . . 65
1.11.4 Estimateurs : construction, propri´et´es asymptotiques, R-efficacit´e . 66
1.11.5 Statistiques exhaustives compl`etes, th´eor`eme de Lehmann-Scheff´e,
mod`eles exponentiels . . . . . . . . . . . . . . . . . . . . . . . . . . 68
1.11.6 Intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . . . 70
2 Th´eorie des tests d’hypoth`ese 73
2.1 Introduction et d´efinitions g´en´erales . . . . . . . . . . . . . . . . . . . . . . 73
2.2 Comparaison des tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.2.1 Tester une hypoth`ese simple contre une alternative simple . . . . . 75
3`4 TABLE DES MATIERES
2.2.2 Tests u.p.p. pour certains hypoth`eses composites . . . . . . . . . . . 79
2.2.3 Tests u.p.p.s.b. pour certains hypoth`eses composites . . . . . . . . . 86
2.3 Tester les param`etres des lois gaussiennes . . . . . . . . . . . . . . . . . . . 89
2.4 M´ethode de construction des tests . . . . . . . . . . . . . . . . . . . . . . . 91
2.5 Tests et intervalles de confiance . . . . . . . . . . . . . . . . . . . . . . . . 97
2.6 Mod`ele lin´eaire gaussien . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
2.7 Tests non param´etriques d’ajustement . . . . . . . . . . . . . . . . . . . . 105
22.7.1 Test du χ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
2.7.2 Test de Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . . . . . 109
2.8 Tests non-param´etriques de comparaison . . . . . . . . . . . . . . . . . . . 113
2.8.1 Comparaison de deux ´echantillons ind´ependants . . . . . . . . . . . 114
2.8.2 Comparaison de deux ´echantillons appari´es . . . . . . . . . . . . . . 117
2.9 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
2.9.1 Tests statistiques : construire et comparer . . . . . . . . . . . . . . 119
2.9.2 Tests statistiques : mod`ele lin´eaire, tests non-param´etriques . . . . 122
3 Sujets d’examens 2002-2005 125Chapitre 1
Estimation des param`etres
´1.1 Echantillon
On associe `a une exp´erience al´eatoire une variable al´eatoire X, d´efinie sur un espace
de probabilit´e (Ω,F,P). Sans perte de g´en´eralit´e on regardera l’espace mesurable d’arriv´ee
deX, not´e (E,B(E)), muni de la probabilit´eQ loi deX. Typiquement E estR si X estX
dune variable r´eelle ouR siX est un vecteur al´eatoired-dimensionnel ;B(E) est une tribu
sur E, par exemple la tribu bor´elienne de E.
On r´ep`ete l’exp´erience dans les mˆemes conditions n fois et on observe les valeurs
obs obsx ,...,x . On regardera ces valeurs comme les valeurs des variables ind´ependantes,1 n
de mˆeme loi que X, (X ,...,X ). Les valeurs possibles de (X ,...,X ) seront not´ees1 n 1 n
(x ,...,x ). On dit que X = (X ,...,X ) est un n-´echantillon de loi Q . Il s’agit d’un1 n 1 n X
nvecteur al´eatoire `a valeurs dans E de loi donn´ee par
nY
P(X∈B) =P(X ∈B ,...,X ∈B ) = P(X ∈B ), B =B ×...×B .1 1 n n i i 1 n
i=1
Soit S une fonction mesurable de n arguments. Alors S = S(X) = S(X ,...,X ) est1 n
obs obsappel´ee statistique. Lorsqu’on effectue l’exp´erience on observe s =S(x ).
La loi Q est enti`erement ou partiellement inconnue. Dans ce chapitre on ´etudieraX
l’estimation des param`etres inconnus. Ainsi siθ est un param`etre dont la loiQ d´epende,X
on cherche une statistique fonction d’´echantillon
∗ ∗θ =θ (X).n
obs obs obs ∗ obsLorsqu’on observe l’´echantillon x = (x ,...,x ), la valeur θ (x ) est une estima-1 n n
tion et devrait ˆetre assez proche de la vraie valeur du param`etre θ, lorsque n est assez
∗grand. On verra plus loin quand cela est possible. La statistique θ (X) s’appelle esti-n
mateur du param`etreθ. Un estimateur est une r`egle de construction d’estimations. Nous
∗appellerons estimateurθ les seules statistiques destin´ees `a remplacer le param`etre inconnun
θ.
1`2 CHAPITRE 1. ESTIMATION DES PARAMETRES
Souvent, dans un probl`eme d’estimation, on sp´ecifie l’ensemble Θ des valeurs possibles
du param`etre θ. C’est l’espace des param`etres. Aussi, dans des nombreux cas, on sait `a
l’avance que la loiQ de l’´echantillon ne peut ˆetre arbitraire, mais appartient `a une familleX
bien d´efinie de loisP.
Exemple. L’un des principaux param`etres caract´erisant la qualit´e d’un syst`eme (machine,
ampoule, ordinateur, etc) est la dur´ee de service. Mais cette dur´ee est en principe al´eatoire
et impossible `a d´eterminer `a l’avance. Il est toutefois raisonnable (si la fabrication est en
quelque sorte homog`ene) de penser que les dur´ees de service X ,X ,... sont des variables1 2
al´eatoires ind´ependantes de mˆeme loi. Il est naturel d’identifier le param`etre dur´ee de ser-
vice au nombre θ = E(X ). On veut d´eterminer la valeur de θ. On observe n syst`emes eti
obs obson trouve x ,...,x . On sait que, lorsque n→∞,1 n
nX1 p.s.¯X = X−→θ.i
n
i=1
Pnobs 1 obsIl est donc intuitif que le nombre x¯ = x soit proche de θ pour n assez grand.i=1 in
Un exemple de famille de lois estP ={E(λ) :λ> 0}, θ = 1/λ∈ Θ =]0,∞[.
1.2 Familles param´etriques
1. Distribution gaussienne sur R.
2N (m,σ ) de densit´e
2
(x−m)1 − 22σg 2(x) = √ em,σ
σ 2π
et
2X∼N (m,σ )⇔X =σG +m, avec G∼N (0, 1)
On a
2 2 2
λ σ λ 2k!λX λm+ λG 2k+1 2k
2 2E(e ) =e , E(e ) =e , E(G ) = 0, E(G ) =
kk!2
et
2 2λ σ
iλX iλm−
2E(e ) =e .
2. Distribution gaussienne multidimensionnelle. Pd
N (m,K), ou`K est une matriced×d sym´etrique positive, c’est-`a-dire telle que θK θ >d i ij ji,j=1
d0, et ou` m∈R . On a
1 ∗i<t,X> i<t,m>− t Kt
2X∼N (m,K)⇔ E(e ) =e .d
Si K est inversible, la densit´e est

1 1
∗ −1 dg (x) := √ exp − (x−m) K (x−m) , x∈R .m,K d
22(2π) detK´1.2. FAMILLES PARAMETRIQUES 3
3. Distribution gamma.
γ(p,λ), p,λ> 0 de densit´e
pλ p−1 −λxγ (x) := x e 1l ,p,λ x>0
Γ(p)
R∞ p−1 −xou` Γ(p) := x e dx.
0
Si X∼γ(p,λ), alors
p
λitXE(e ) =
λ−it
et
p p(p + 1) p2E(X) = , E(X ) = , Var(X) = .
2 2λ λ λ
4. Distribution de chi-deux.
2 ∗χ (k), ou` k∈N de densit´e
k
1 2
k x−1 −2
2 2f(x) := x e 1lx>0kΓ
2
2 2 2 k 1SiX =ξ +...+ξ , avecξ ind´ependantes de mˆeme loiN (0, 1), alorsX∼χ (k) =γ( , ).j1 k 2 2
2 2 2Si X∼χ (k) et Y∼χ (`) sont ind´ependantes alors X +Y∼χ (k +`).
∗ −1 2Si X∼N (m,K) avec K inversible, alors Q(X) := (X−m) K (X−m)∼χ (d).d
En effet,
Z Z
1 1
λQ(X) −d/2 −1/2 λQ(x)− Q(x) −d/2 −1/2 −(−2λ+1) Q(x)
2 2E e = (2π) (detK) e dx = (2π) (detK) e dx.

λQ(X)Effectuant le changement de variable 1− 2λ(x − m ) = y on trouve E e =j j j
−d/2(1− 2λ) , puis faire λ =it pour obtenir
d/2 1/2itQ(X) −d/2E e = (1− 2it) = .
1/2−it
2Notons aussi que si X∼χ (k), alors E(X) =k, Var(X) = 2k, d’ou`
X−k loi
√ −→N (0, 1), pour k→∞.
2k
On peut aussi montrer que
√ √ loi
2X− 2k− 1−→N (0, 1), pour k→∞.`4 CHAPITRE 1. ESTIMATION DES PARAMETRES
5. Distribution exponentielle.
E(λ), λ> 0, de densit´e
−λxf(x) :=λe 1l ,x>0
1 1c’est-`a-dire γ(1,λ). On a E(X) = et Var(X) = .2λ λ
6. Distribution de Fisher.
∗ 2 2Soient k ,k ∈N et χ (k ),χ (k ) ind´ependantes. Alors1 2 1 2
2χ (k )/k1 1
ξ =
2χ (k )/k2 2
kjsuit une loi de FisherF(k ,k ). La densit´e est, avec p = , j = 1, 2,1 2 j 2
p −11Γ(p +p ) t1 2
f (t) = 1l .ξ t>0p +p1 2Γ(p )Γ(p ) [1 + (p /p )t]1 2 1 2
On peut aussi voir que si ξ ,...,ξ ,η ,...,η sont des variables al´eatoires gaussiennes1 k 1 k1 2
centr´ees r´eduites ind´ependantes, alors
2 2(ξ +... +ξ )/k11 k1ξ∼ .
2 2(η +... +η )/k21 k2
On peut voir que
Γ(p +`)Γ(p −`)1 2`E(ξ ) = ,
Γ(p )Γ(p )1 2

k p k12 1pour `∈ 0, 1,..., − 1 . Par exemple E(ξ) = = .
2 p −1 k −22 2
Enfin on peut voir que 1/F∼F(k ,k ).2 1
7. Distribution de Student.
∗Soit k∈ N et soient ξ ,ξ ,...,ξ des variables al´eatoires gaussiennes centr´ees r´eduites0 1 k
ind´ependantes. Alors la variable al´eatoire
ξ0
T =qk
1 2 2(ξ +... +ξ )1 kk
suit la loi de Student `a k degr´es de libert´e. On voit que T a une loi sym´etrique, et quek
2kξ2 0T = ∼F(1,k).k 2 2ξ +... +ξ1 k
On en d´eduit
k+1Γ( )1 1
2f (t) =√ .Tk k+12k tΓ( )kπ 2(1 + )2 k´1.2. FAMILLES PARAMETRIQUES 5
De plus
Γ(p +`)Γ(p −`)1 22`+1 2` `E(T ) = 0, E(T ) =k ,k k Γ(p )Γ(p )1 2
Γ(p +1)Γ(p −1) kp1 k 2 1 2 1 kavec p = et p = . Par exemple E(T ) =k = = .1 2 k2 2 Γ(p )Γ(p ) p −1 k−21 2 2
Enfin, si on applique Stirling,
k+11 Γ( ) 1
2√ →√ , lorsque k→∞
kΓ( )kπ 2π
2
et aussi
2t k+1 2− −t /2
2(1 + ) →e , lorsque k→∞,
k
d’ou`
1 2−t /2lim F (t) =√ e .Tk
k→∞ 2π
8. Distribution beta.
β(p ,p ), avec p ,p > 0, de densit´e1 2 1 2
Γ(p +p )1 2 p −1 p −11 2f(x) = x (1−x) 1l (x).[0,1]
Γ(p )Γ(p )1 2
On utilise souvent la fonction beta
Γ(p )Γ(p )1 2
B(p ,p ) =1 2
Γ(p +p )1 2
η1Soient η ∼γ(p ,λ), j = 1, 2. Alors β = ∼β(p ,p ). En effetj j 1 2η +η1 2
η η /η ξ t1 1 2
P(β6t) = P( 6t) = P( 6t) = P( 6t) = P(ξ6 )
η +η 1 +η /η 1 +ξ 1−t1 2 1 2
avec ξ∼F(p ,p ). On trouve1 2
p −11t
Γ(p +p ) 1−t +t1 21−t
f (t) = β p +p1 2 2t Γ(p )Γ(p ) (1−t)1 + 1 2
1−t
p −11t Γ(p +p ) Γ(p +p )1 2 1 2p +p −2 p −1 p −11 2 1 2= (1−t) =t (1−t) .
1−t Γ(p )Γ(p ) Γ(p )Γ(p )1 2 1 2
De plus
Γ(p +p )Γ(p +`)1 2 1`E(β ) = .
Γ(p )Γ(p +p +`)1 1 2
p p (p +1)1 2 1 1Par exemple E(β) = et E(β ) = .
p +p (p +p )(p +p +1)1 2 1 2 1 2`6 CHAPITRE 1. ESTIMATION DES PARAMETRES
9. Distribution uniforme.
U , avec a<b, de densit´e[a,b]
1
f(x) = 1l (x).[a,b]
b−a
2(b−a)a+bOn a E(X) = et Var(X) = .
2 12
Pour a = 0,b = 1 il s’agit de la distribution β(1, 1).
10. Distribution de Cauchy.
2 2C(α,σ ), avec α∈R et σ > 0, de densit´e
1 1
f(x) = .2x−απσ 1 +
σ
2Si X ∼C(0, 1) alors X =α +σX ∼C(α,σ ).0 0
On a
itX −|t| itX itα−σ|t|0E(e ) =e , E(e ) =e .
2 2 2Enfin, siX∼C(α,σ ) etY∼C(β,τ ) sont ind´ependantes alorsX +Y∼C(α+β, (σ+τ) ).
11. Distribution log-normale.
2 ξ 2η est log-normale si logη∼N (m,σ ), ou η =e avec ξ∼N (m,σ ) ; η> 0.
ξOn ´ecrit, pour t> 0, P(η6t) = P(e 6t) = P(ξ6 logt), d’ou`
1
f (t) =g 2(logt) 1l .η m,σ t>0
t
2
σ 2 2 2m+ 2 2m+2σ 2m+σ σ
2On a E(η) =e , E(η ) =e et Var(η) =e (e − 1).
12. Loi binomiale.
k k n−kB(n,p). On a P(X = k) = C p (1−p) , k = 0,...,n, p∈]0, 1[. Aussi E(X) = np,n
itX it nVar(X) =np(1−p), E(e ) = (1−p +pe ) .
13. Distribution de Poisson.
k−λλP(λ). On a P(X =k) =e , k∈N, ou` λ> 0.
k!
itX itAussi E(X) = Var(X) =λ, E(e ) = exp(λ(e − 1)).
14. Distribution g´eom´etrique.
1−pk−1 1G(p). On a P(X = k) = p(1−p) , k > 1, p∈]0, 1[. Aussi E(X) = , Var(X) = ,2p p
itpeitXE(e ) = .it1−(1−t)e
15. Distribution uniforme.
(r+1)(2r+1)1 r+1U(1,...,r). On a P(X = x ) = , j = 1,...,r. E(X) = , Var(X) = etj r 2 6
irt1 1−eitϕ (t) = e .X itr 1−e

  • Accueil Accueil
  • Univers Univers
  • Ebooks Ebooks
  • Livres audio Livres audio
  • Presse Presse
  • BD BD
  • Documents Documents