Statistique Bayésienne
19 pages
Catalan

Statistique Bayésienne

-

Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres
19 pages
Catalan
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres

Description

Idee generale
x P( )
Statistique Bayesienne
1 x est l’observation Connue
2 le parametre inconnu, a estimerAnne Philippe
Laboratoire de Mathematiques Jean Leray
Universite de Nantes
Automne 2007
A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 1 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 2 / 1
Idee generale Quelques references
1 Congdon, Peter Applied Bayesian modelling. Wiley Series in
Probability and Statistics.
D’ou ca vient?
2 Andrew Gelman, John B. Carlin, Hal S. Stern, and Donald B. Rubin.
Fondement des probabilites (debut du 20 )
”Bayesian Data Analysis”Chapman and Hall Texts in Statistical
- Frequentiste Science Series.
- Subjectiviste
3 C.P. Robert The Bayesian Choice : from Decision-Theoretic
- Logiciste
Motivations to Computational Implementation (2001)
Kolmogorov : esperance conditionnelle Springer-Verlag, New York
4 C.P. Robert et G. Casella Monte Carlo Statistical Methods (1999)
Springer-Verlag, New York.
A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 3 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 4 / 1 Problematique Problematique
Modele parametrique
Observations x ,...,x1 n
x = (x ,...,x ) f (x), ∈ est inconnu1 n
Objectif
on veut estimer le parametre a partir de l’echantillon x ,...x .1 n
Exemple
2 2Observations suivant la loi normaleN(m, ) avec = (m, )
A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 5 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 6 / ...

Sujets

Informations

Publié par
Nombre de lectures 159
Langue Catalan

Exrait

Idee generale x P( ) Statistique Bayesienne 1 x est l’observation Connue 2 le parametre inconnu, a estimerAnne Philippe Laboratoire de Mathematiques Jean Leray Universite de Nantes Automne 2007 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 1 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 2 / 1 Idee generale Quelques references 1 Congdon, Peter Applied Bayesian modelling. Wiley Series in Probability and Statistics. D’ou ca vient? 2 Andrew Gelman, John B. Carlin, Hal S. Stern, and Donald B. Rubin. Fondement des probabilites (debut du 20 ) ”Bayesian Data Analysis”Chapman and Hall Texts in Statistical - Frequentiste Science Series. - Subjectiviste 3 C.P. Robert The Bayesian Choice : from Decision-Theoretic - Logiciste Motivations to Computational Implementation (2001) Kolmogorov : esperance conditionnelle Springer-Verlag, New York 4 C.P. Robert et G. Casella Monte Carlo Statistical Methods (1999) Springer-Verlag, New York. A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 3 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 4 / 1 Problematique Problematique Modele parametrique Observations x ,...,x1 n x = (x ,...,x ) f (x), ∈ est inconnu1 n Objectif on veut estimer le parametre a partir de l’echantillon x ,...x .1 n Exemple 2 2Observations suivant la loi normaleN(m, ) avec = (m, ) A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 5 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 6 / 1 Problematique Problematique Une approche classique : le maximum de vraisemblance Modele de Poisson Poisson dataset,* represente la moyenne vraisemblance +la vraisemblance : c’est une fonction de dans R ‘( )∝ f (x) 0 2 4 6 8 1 2 3 4 5 x lambda On cherche la valeur de qui maximise la vraisemblance. c’est a dire on cherche la valeur de qui rend l’observation de x la plus probable. 2 4 6 8 Index A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 7 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 8 / 1 dpois(z, 1) 0.0 0.1 0.2 0.3 0 2 4 6 8 10 ell <− l(lambda, n, x) 0e+00 2e+05 4e+05 6e+05 8e+05 6 Problematique Problematique Approche bayesienne Theoreme de Bayes Incertitude sur le parametre est representee par une probabilite sur . A et E des evenements P(E) = 0, Le parametre inconnu devient une variable aleatoire comme les P(A|E) et P(E|A) sont liees par la relation observations P(A) P(A|E) = P(E|A) P(E) De nition Inversion des probabilitesest la loi a priori sur . Thomas Bayes, 1764On interprete la loi des observations f comme la loi conditionnelle des observations sachant f(x| ) = f (x) A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 9 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 10 / 1 Problematique Problematique Inference Bayesienne Modele a priori La loi a priori sur : + ( , ( )) Observations suivant une loi f(x| ) ↓⇓ modele sur les observationsOn extrait des observations une information sur On actualise la loi sur a partir des observations (X,f(x| )) ( ) ↓ ( |x) = f(x| ) . Modele a posteriorim(x) ( , ( |x))De nition La loi conditionnelle de sachant les observations x est appelee loi a posteriori A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 11 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 12 / 1 Problematique Problematique Pieces conformes Traduction Bayesienne Loi a priori sur p : p U([0,1]) (p) = I (p)[0,1] X represente le nombre de pieces non-conformes dans un lot de taille Observation X : X B(n,p) n. La proportion p de pieces non conformes est inconnue n x n xP(X = x|p) = p (1 p) x Question Loi a posteriori sur p : p|x Be(x +1,n x +1)Etant donne X, que peut on dire de p? loi Beta x n x(p|X = x)∝ P(X = x|p) (p) = p (1 p) I (p)[0,1] A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 13 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 14 / 1 Problematique Problematique a abLoi Beta x Be(a,b), E(x) = et Var(x) = 2a+b (a+b) (a+b+1) 0.5 0.5 0.5 0.5 1 3 15 1 loi a priori sur p : loi uniforme 1la moyenne de p vaut 2 0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8 2 On observe x nombre de pieces defectueuses 1 1 1 1 0.5 3 15 ⇓ 0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8 3 loi a posteriori sur p : loi beta 3 3 3 3 0.5 1 15 la moyenne de p sachant x vaut x +1 1 n x E(p|x) = = + 0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8 n+2 2 2(n+1) n+2 15 15 15 15 0.5 1 3 0.0 0.8 0.0 0.8 0.0 0.8 0.0 0.8 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 15 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 16 / 1 deta dist deta dist deta dist deta dist 0 5 10 15 0 2 4 6 8 1 2 3 4 5 1.0 2.0 3.0 deta dist deta dist deta dist deta dist 0 5 10 15 0.0 1.0 2.0 3.0 0.6 0.8 1.0 1.2 1.4 1 2 3 4 5 deta dist deta dist deta dist deta dist 0 1 2 3 4 5 0.0 0.5 1.0 1.5 0.0 1.0 2.0 3.0 0 2 4 6 8 deta dist deta dist deta dist deta dist 0 1 2 3 4 0 1 2 3 4 5 0 5 10 15 0 5 10 15 Problematique Problematique la loi a priori uniforme suite des lois a posteriori quand le nb observations (n) loi a priori favorisant p < 1/2 ou p > 1/2 varie a priori 5 10 a priori 100 200 0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 p p p 0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 15 20 25 p p p 300 400 500 0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 p p p 0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 30 35 40p p p 600 700 800 0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 p p p 0.0 0.4 0.8 0.0 0.4 0.8 0.0 0.4 0.8 p p p A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 17 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 18 / 1 Problematique Problematique Les lois qui interviennent ... Evolution de l’information sur On se donne f(x| ) et ( ) ( ) [a priori] + x ,...x f(x| ) [n mesures]0 1 nla loi jointe de ( ,x), ⇓ ϕ( ,x) = f(x| ) ( ); |x ( |x ,...x ) [a posteriori]n 1 n la loi marginale de x, Updater Z Z ( |x ,...x ) [a priori]m(x) = ϕ( ,x)d = f(x| ) ( )d ; n 1 n La loi a posteriori a l’etape n devient la loi a priori +la loi a posteriori de , x f(x| ) [nouvelle observation ]n+1 f(x| ) ( ) ⇓ ( |x) = ; m(x) |x ( |x ,...x ,x ) [a posteriori]n 1 n n+1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 19 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 20 / 1 (p + 1)/(p + 1) 0 5 10 15 20 0 5 10 15 0.6 0.8 1.0 1.2 1.4 0 5 10 15 20 0 5 10 15 0 2 4 6 8 0 5 10 15 20 0 5 10 15 0 2 4 6 8 10 12 dbeta(p, 2, 5) 0 1 2 3 4 5 0 1 2 3 4 0.0 0.5 1.0 1.5 2.0 2.5 0 1 2 3 4 5 0 1 2 3 4 0.0 0.5 1.0 1.5 2.0 2.5 0 1 2 3 4 5 0 1 2 3 4 0.0 0.5 1.0 1.5 2.0 2.5 3.0 loi a priori loi a priori Choix de la loi a priori On dispose d’informations sur Question Comment traduire cette information en loi a priori? Question Comment traduire la qualite de cette information? !!! cas limite!!! : la loi a priori est concentree sur{ }0 ( |x) ( ) Absence d’information : Approche non informative On minimise le rolˆe de la loi a priori sur l’inference A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 21 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 22 / 1 loi a priori loi a priori Determination Subjective Strategie modele On restreint le choix de a une famille de lois parametriquesX le nombre de pieces defectueuses dans un lot issu de la machinet numero t : X B(n,p )t t ( | ) ∈ Information a priori sur p : la proportion de pieces defectueuses.t machine 1 2 3 4 5 De nition p Mean 0.3 0.4 0.5 0.2 0.2t 95% cred. int. [0.1,0.5] [0.2,0.6] [0.3,0.7] [0.05,0.4] [0.05,0.4] est appele un hyper-parametre On xe l’hyper-parametre a partir de l’information que l’on possede sur lesSi p suit une loi beta, on ajuste les parametres pour que la moyenne et lest moments ou/et les quartilesquartiles concident avec nos informations = 0 Time 1 2 3 4 5 Dist. Be(6,14) Be(8,12) Be(12,12) Be(3.5,14) Be(3.5,14) A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 23 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 24 / 1 loi a priori loi a priori Alternative : Structure hierarchique Lois conjuguees On met une loi sur l’hyper parametre : ( ) de moyenne et de variance0HP le choix de traduit la con ance que l’on accorde a l’information F une famille de lois sur contenue dans .0 De nition F est une famille conjuguee pour la vraisemblance f(x| ) Si pour toute loi a priori ∈F, la loi a posteriori ( |x)∈F. Preserve la structure sur la loi de l’information apportee par les observations se traduit uniquement par un changement de parametres. A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 25 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 26 / 1 loi a priori loi a priori Famille Exponentielle les lois classiques Cas particuliers : lois gaussiennes, betas binomiales ... f(x| ) ( ) ( |x) vraisemblance a priori a posteriori De nition Normal Normal Normal la densite est de la forme 2 2 2 2 2 2N( , ) N( , ) N( ( + x), ) 1 2 2= +f(x| ) = h(x)exp{ x ( )}, Binomial Beta Beta Construction de la famille des lois a priori conjuguees : B(n, ) Be( , ) Be( +x, +n x) Poisson Gamma Gamman o . ( )( | , ) = K( , )e , , P( ) G( , ) G( +x, +1) Normal Gamma Gamma 2A priori ( , ) A posteriori ( +x, +1) N( , 1/ ) Ga( , ) G( +0.5, +( x) /2) A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 27 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 28 / 1 loi a priori loi a priori les lois classiques suite ... Lois non informatives f(x| ) ( ) ( |x) Question vraisemblance a priori a posteriori Comment choisir la loi a priori lorsque l’on ne dispose pas d’information? Gamma Gamma Gamma G( , ) G( , ) G( + , +x) On distingue trois grandes familles de lois Negative Binomial Beta Beta 1 la loi uniforme (loi de Laplace) Neg(m, ) Be( , ) Be( +m, +x) 2 maximisation d’un critere d’information (loi de Je rey)Multinomial Dirichlet Dirichlet 3 argument frequentiste (loi de concordance)M ( ,..., ) D( ,..., ) D( +x ,..., +x )k 1 k 1 k 1 1 k k A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 29 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 30 / 1 loi a priori loi a priori choix uniforme Construction basee sur l’information ={ , , } ( ) = 1/p1 p i Principe : on maximise l’information apportee par les donnees c’est-a-direExtension au continu ( )∝ 1 on maximise la distance entre la loi priori et la loi a posteriori La loi a priori n’est pas une probabilite Z mais si Z n E ( |x )log( ( |x )/ ( ))dn n f(x| ) d <∞ on obtient , puis on prend la limite quand n→∞non peut de nir la loi a posteriori qui est bien une probabilite le choix depend de la parametrisation du modele A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 31 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 32 / 1 loi a priori loi a priori Resultat Exemples modele Gaussien La loi dite de Je rey La variance est connue ( )∝ 11/2( )∝|I( )| 1La moyenne est connue ( ) ou 2Les deux sont inconnues ( , )∂‘ ∂‘ I( ) =E t∂ ∂ modele binomial Information de Fisher x B(n, ) Be(1/2,1/2) A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 33 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 34 / 1 loi a priori loi a priori Un probleme classique : la regression la regression : estimateurs classiques On estime les parametres par la methode des moindres carres Voici le code R On observe x = (vitesse,distance) > lm(log(dist) ~ log(speed), data = cars) log(distance) = a+blog(vitesse)+erreur Call: lm(formula = log(dist) ~ log(speed), data = cars) 2= (a,b, ) log(distance) Coefficients: 2N(a+blog(vitesse), ) (Intercept) log(speed) -0.7297 1.6024 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 35 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 36 / 1 loi a priori loi a priori Le graphique suivant donne la regression : approche bayesienne dans la colonne de gauche les chaˆnes de Markov simulees par un algorithme de Gibbs Approche bayesienne non informative dans la colonne de droite la loi a posteriori marginale des di erents voici le code R : parametres library(MCMCpack) posterior <- MCMCregress(log(dist) ~ log(speed), data = cars) plot(posterior) Empirical mean and standard deviation for each variable, plus standard error of the mean: Mean SD Naive SE Time-series SE (Intercept) -0.7262 0.38441 0.0038441 0.0035905 log(speed) 1.6010 0.14294 0.0014294 0.0013524 sigma2 0.1719 0.03700 0.0003700 0.0004516 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 37 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 38 / 1 loi a priori loi a priori Argument frequentiste Loi de concordance en dimension 1 la loi de Je rey veri eConcordance des regions de con ance : On part d’une region de con ance frequentiste { ∈ C } de niveau 1x 1P( k (x)|x) = 1 +O(n ) c’est a dire Z P ( ∈C ) = f(x| )dx = 1x En dimension superieureCx on doit resoudre une equation de la formeOn cherche une loi a priori telle que la loi a posteriori veri e 00 1/2 0 t 0 00 1/2[I ( )] I ( )∇log ( )+∇ {I ( )[I ( )] } = 0.P( ∈ C |x) → 1x n→∞ A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 39 / 1 A. lippe (Univ. Nantes) Statistique Bayesienne Automne 2007 40 / 1
  • Accueil Accueil
  • Univers Univers
  • Ebooks Ebooks
  • Livres audio Livres audio
  • Presse Presse
  • BD BD
  • Documents Documents