cours-modelisation

Description

Chapter 4Rappels sur les chaˆınes de Markov `aespace d’´etat finiSoit(Ω,F,P)unespace deprobabilit´e. Onappelle processus (en tempsdiscret)unecollection devariables al´eatoires (X ) d´efinies sur (Ω,F,P)et a` valeurs dans un mˆeme espace S, appel´en n∈Nespace d’´etat. On interpr`ete (X ) comme l’´evolution au cours du temps d’une certainen n∈Ngrandeur al´eatoire.B Exemple: (X ) v.a.i.id: ce cas n’est pas passionnant en tant que processus, puisqu’iln n∈Nn’y a aucune d´ependance entre ce qui se passe au temps n et ce qui se passe au temps n+1.BExemple: (X ) marche al´eatoire surunegrille: a`chaque pas, on choisit la direction dansn n∈Nlaquelle on avance de fac¸on ´equiprobable. Ici, X d´epend `a la fois de la position pr´ec´edenten+1X et d’un certain al´ea: c’est un cas typique de chaˆıne de Markov .n4.1 D´efinitionsSoit S un ensemble fini, de cardinal k≥ 2, dont les ´el´ements sont not´es s ,...,s .1 k4.1.1 Chaˆıne de Markov (homog`ene)On dit que la suite de variables al´eatoires (X ) est une chaˆıne de Markov a` valeurs dans Sn n∈Nsi et seulement si1. (X ) est un processus `a valeur dans S.n n∈N2. (Propri´et´e de Markov) La position X `a l’instant n+1 ne d´epend des positions pass´eesn+1X ,...,X que par la derni`ere position X . Autrement dit, pour tout n∈N, pour tout0 n nn+2(i ,...,i )∈S , on a0 n+1P(X =i |X =i ,X =i ,...,X =i ) =P(X =i |X =i ).n+1 n+1 0 0 1 1 n n n+1 n+1 n n3. (Homog´en´eit´e) Pour tout n∈N, pour tous i,j ∈S,P(X =j|X =i) =P(X =j|X =i) ...

Informations

• Publié par: Inyo
• Nombre de lectures: 20
• Langue: Français

Extrait

Chapter

4

Rappels sur les chaˆınes espaced’e´tatfini

de

Markov

`a

Soit (Ω,F,Pnesp)ueproacedil´tabibpaep.enOellprocessus(en temps discret) une collection de variablesal´eatoires(X n ) n∈N infieusseΩr(´d,F,Pemsemneˆnausrudspace`aetleva)Sepel´,ap espaced’e´tat.Oninterpr`ete(X n ) n∈N ocuadsrumetu’dspmeom´el’luvoontiuncecertaine grandeural´eatoire.

BExemple:(X n ) n∈N v.a.i.id: ce cas n’est pas passionnant en tant que processus, puisqu’il n’yaaucuned´ependanceentrecequisepasseautempsnet ce qui se passe au tempsn+ 1.

BExemple:(X n ) n∈N sanquepachanchoas,oalidsitioidnertcle:`grilruneresutaiolae´creham laquelleonavancedefa¸cone´quiprobable.Ici,X n+1 ladesipoonti´eprde´cetnede´epdna`alofsi X n .vokraMedenıˆahctenu’dc:e’´laeiaanectruedeypiqcaststun

4.1

D´efinitions

SoitSun ensemblefini, de cardinalk≥me´lstneltnoe´sees2,dntsot´nos 1 , . . . , s k .

4.1.1

ChaˆınedeMarkov(homoge`ne)

Onditquelasuitedevariablesal´eatoires(X n ) n∈N est unerkovahcenıˆaMeds`avaleursdanS si et seulement si

1. (X n ) n∈N urleva`ausssceropnutseadsnS.

2.)rkovdeMaet´erp´iP(orLa positionX n+1 `i’latansntnss´eestioisnapdnedpssoed1npe´e+ X 0 , . . . , X n erni`erequeparladopisitnoX n dit, pour tout. Autrement n∈N, pour tout n+2 (i 0 , . . . , i n+1 )∈S, on a

P(X n+1 =i n+1 |X 0 =i 0 , X 1 =i 1 , . . . , X n =i n ) =P(X n+1 =i n+1 |X n =i n ).

3.´en´eit´e)H(mogoPour toutn∈N, pour tousi, j∈S,

P(X n+1 =j|X n =i) =P(X 1 =j|X 0 =i) =p i,j .

34

La matriceP= (p i,j ) 1≤i≤k,1≤j≤k est lamatrice de transitionnı.ehcˆaedalmentcileitfaOnvo quePest unematrice stochastiqueeocsessusstneicffid`atestoueeqirest,’contpositifsounul que les sommes des coefficients sur chacune des lignes vaut 1. Autrement dit, les deux conditions suivantes sont satisfaites:

1.∀i∈[1..k]∀j∈[1..k]p i,j ≥0.

k X 2.∀i∈[1..k]p i,j = 1. j=1 Danstoutelasuite,unechaıˆnedeMarkovseratoujoursimplicitementneemog`ho`tvaerlaue dans un ensembleSfiniedstnepourra,quitte`arnemoemlrsee´´lme.ruoPpmisefiilno,rS, supposer queS= [1..k].

BExemple:uesrrahcUmnasareauhplaced´euqeemmo’dstrusdssele.onhaAcpeunagnt pas,illanceunepi`ecee´quilibr´eeetvaausommetsuivantdanslesenstrigonom´etriquesipile sort,etsuivantdanslesensantitrigonome´triquesinon.Lasuitedespositionsdumarcheurest unechaıˆnedeMarkov`avaleurdansl’ensembledessommetsdupentagone.

♣Exercice 1: pentagone.

4.1.2

Ecrirelamatricedetransitiondelamarcheale´atoiresurlessommetsdu

D´efinitionalgorithmiqueetfonctiondemise`ajour

SoitPune matrice de transition surS= [1..k]. u∈]0,1[, latcoidnmesi`ejauorassoci´eeonf:

Onde´finit,pourtousi, j∈S, pour tout

j−1j X X Φ(i, u) =j⇔p i,l ≤u < p i,l . l=0l=0

SoitUaviruenlae´baelredeatoiunri[f0orlmoeisu,1]. Pour tousi, j∈S,  ! j−1jj j −1 X X X X P(Φ(i, U) =j) =Pp i,l ≤U < p i,l =p i,l −p i,l =p i,j . l=0l=0l=0l=0 X Remarque:Soiti∈SitinednoraP.fie´d´efixn,itiortcialamarsndetep i,j δ j est une j∈S probabilit´esurS, qui donne la loi de la position de la chaˆıne de Markov partant deis`erpa un pas. Ainsi, Φ(i, U), quandUformiunidelooire0[serutuestae´laelbairaven,1], n’est rien d’autre que la simulation standard de cette loi. Proposition 4.1.1SoitX 0 adsnravenu´laelbaie`irtoearseualavSet(U n ) n≥1 des vaiid de loi uniforme sur[0,1],´dnienepntdadeesX 0 dne´nfitiaprre´ucrrenceunprocessus.O(X n ) n∈N en posant, pour toutn∈N X n+1 = Φ(X n , U n+1 ).

Alors(X n ) n∈N est une chaˆıne de Markov de matrice de transitionP.

35

De´monstration: 1. CommePest une matrice de transition surS, le processus (X n ) n∈N ase`t valeurs dansS. 2. On constate que pour construireX n , on utiliseX 0 et lesU i pour 1≤i≤n. Soit n+2 n∈Net (i 0 , . . . , i n+1 )∈S. CommeU n+1 dentadnepe´dnitseX 0 , . . . , X n , on a

= = =

P(X 0 =i 0 , X 1 =i 1 X. . , , . n =i n , X n+1 =i n+1 ) P(X 0 =i 0 , X 1 =i 1 X. . , , . n =i n ,Φ(i n , U n+1 ) =i n+1 ) P(X 0 =i 0 , X 1 =i 1 . . , , . X n =i n )P(Φ(i n , U n+1 ) =i n+1 ) P(X 0 =i 0 , X 1 =i 1 . . , X, . n =i n )p i n ,i n+1 .

Un calcul analogue montre queP(X n =i n , X n+1 =i n+1 ) =P(X n =i n )p i n ,i n+1 . Onend´eduitalorsque

P(X n+1 =i n+1 |X 0 =i 0 , X 1 =i 1 X, . . . , n =i n ) =P(X n+1 =i n+1 |X n =i n ) =p i n ,i n+1 ,

cequidonne`alafoislaproprie´te´deMarkov,l’homog´en´eit´eetlamatricede transitionP.

Remarque:rtnoeuqeere`mno,meˆenimaDamel

P(X 0 =i 0 , X 1 =i 1 , . . . , X n =i n , X n+1 =i n+1 ) =P(X 0 =i 0 )p i 0 ,i 1 . . . p i n ,i n+1 .

Remarque:ptsanuqieu!aLcnofnoitmide`aseurjoesn’



♦En pratique:Cetteprop’dnuitevıˆenceahrkovdeMa,dnoitisodenuennoioitfin´enaerltna et donne aussi le moyen de la simuler. Si on se donne une matrice de transitionP, on construit unefonctionΦdemisea`jourassoci´ee,onsimuleunesuite(U n ) n≥1 des vaiid de loi uniforme sur [0,1]. Pour simulerX n :

•on simuleX 0 ,

•pouri∈[0..n−1], on poseX i+1 = Φ(X i , U i+1 ),

•on afficheX n .

Cetteme´thodemarchetoujours.Maissouvent,lesparticularit´esdelachaıˆnedeMarkova` simuler permettent de trouver un algorithme bien plus simple.

♣Exercice 2:Ecrire une fonctiony=suivant(x,u),fndiocton`ejamesiuolruoprcheamar al´eatoiresurlessommetsdupentagone.Simuleralorsetrepre´sentergraphiquementplusieurs trajectoiresdelachaıˆnedeMarkovpartantdusommet1.

36