La lecture en ligne est gratuite
Le téléchargement nécessite un accès à la bibliothèque YouScribe
Tout savoir sur nos offres
Télécharger Lire

cours-modelisation

10 pages
Chapter 4Rappels sur les chaˆınes de Markov `aespace d’´etat finiSoit(Ω,F,P)unespace deprobabilit´e. Onappelle processus (en tempsdiscret)unecollection devariables al´eatoires (X ) d´efinies sur (Ω,F,P)et a` valeurs dans un mˆeme espace S, appel´en n∈Nespace d’´etat. On interpr`ete (X ) comme l’´evolution au cours du temps d’une certainen n∈Ngrandeur al´eatoire.B Exemple: (X ) v.a.i.id: ce cas n’est pas passionnant en tant que processus, puisqu’iln n∈Nn’y a aucune d´ependance entre ce qui se passe au temps n et ce qui se passe au temps n+1.BExemple: (X ) marche al´eatoire surunegrille: a`chaque pas, on choisit la direction dansn n∈Nlaquelle on avance de fac¸on ´equiprobable. Ici, X d´epend `a la fois de la position pr´ec´edenten+1X et d’un certain al´ea: c’est un cas typique de chaˆıne de Markov .n4.1 D´efinitionsSoit S un ensemble fini, de cardinal k≥ 2, dont les ´el´ements sont not´es s ,...,s .1 k4.1.1 Chaˆıne de Markov (homog`ene)On dit que la suite de variables al´eatoires (X ) est une chaˆıne de Markov a` valeurs dans Sn n∈Nsi et seulement si1. (X ) est un processus `a valeur dans S.n n∈N2. (Propri´et´e de Markov) La position X `a l’instant n+1 ne d´epend des positions pass´eesn+1X ,...,X que par la derni`ere position X . Autrement dit, pour tout n∈N, pour tout0 n nn+2(i ,...,i )∈S , on a0 n+1P(X =i |X =i ,X =i ,...,X =i ) =P(X =i |X =i ).n+1 n+1 0 0 1 1 n n n+1 n+1 n n3. (Homog´en´eit´e) Pour tout n∈N, pour tous i,j ∈S,P(X =j|X =i) =P(X =j|X =i) ...
Voir plus Voir moins

Vous aimerez aussi

Chapter
4
Rappels sur les chaˆınes espacede´tatni
de
Markov
`a
Soit (Ω,F,Pnesp)ueproacedil´tabibpaep.enOellprocessus(en temps discret) une collection de variablesal´eatoires(Xn)nNineusseΩr(´d,F,Pemsemneˆnausrudspace`aetleva)Sepel´,ap espacede´tat.Oninterpr`ete(Xn)nNocuadsrumetudspmeom´elluvoontiuncecertaine grandeural´eatoire.
BExemple:(Xn)nNv.a.i.id: ce cas n’est pas passionnant en tant que processus, puisqu’il nyaaucuned´ependanceentrecequisepasseautempsnet ce qui se passe au tempsn+ 1.
BExemple:(Xn)nNsanquepachanchoas,oalidsitioidnertcle:`grilruneresutaiolae´creham laquelleonavancedefa¸cone´quiprobable.Ici,Xn+1ladesipoonti´eprde´cetnede´epdna`alofsi Xn.vokraMedenıˆahctenudc:e´laeiaanectruedeypiqcaststun
4.1
D´enitions
SoitSun ensemblefini, de cardinalkme´lstneltnoe´sees2,dntsot´nos1, . . . , sk.
4.1.1
ChaˆınedeMarkov(homoge`ne)
Onditquelasuitedevariablesal´eatoires(Xn)nNest unerkovahcenıˆaMeds`avaleursdanS si et seulement si
1. (Xn)nNurleva`ausssceropnutseadsnS.
2.)rkovdeMaet´erp´iP(orLa positionXn+1`ilatansntnss´eestioisnapdnedpssoed1npe´e+ X0, . . . , Xnerni`erequeparladopisitnoXndit, pour tout. Autrement nN, pour tout n+2 (i0, . . . , in+1)S, on a
P(Xn+1=in+1|X0=i0, X1=i1, . . . , Xn=in) =P(Xn+1=in+1|Xn=in).
3.´en´eit´e)H(mogoPour toutnN, pour tousi, jS,
P(Xn+1=j|Xn=i) =P(X1=j|X0=i) =pi,j.
34
La matriceP= (pi,j)1ik,1jkest lamatrice de transitionnı.ehcˆaedalmentcileitfaOnvo quePest unematrice stochastiqueeocsessusstneicd`atestoueeqirest,contpositifsounul que les sommes des coefficients sur chacune des lignes vaut 1. Autrement dit, les deux conditions suivantes sont satisfaites:
1.i[1..k]j[1..k]pi,j0.
k X 2.i[1..k]pi,j= 1. j=1 Danstoutelasuite,unechaıˆnedeMarkovseratoujoursimplicitementneemog`ho`tvaerlaue dans un ensembleSfiniedstnepourra,quitte`arnemoemlrsee´´lme.ruoPpmiseilno,rS, supposer queS= [1..k].
BExemple:uesrrahcUmnasareauhplaced´euqeemmodstrusdssele.onhaAcpeunagnt pas,illanceunepi`ecee´quilibr´eeetvaausommetsuivantdanslesenstrigonom´etriquesipile sort,etsuivantdanslesensantitrigonome´triquesinon.Lasuitedespositionsdumarcheurest unechaıˆnedeMarkov`avaleurdanslensembledessommetsdupentagone.
Exercice 1: pentagone.
4.1.2
Ecrirelamatricedetransitiondelamarcheale´atoiresurlessommetsdu
D´enitionalgorithmiqueetfonctiondemise`ajour
SoitPune matrice de transition surS= [1..k]. u]0,1[, latcoidnmesi`ejauorassoci´eeonf:
Onde´nit,pourtousi, jS, pour tout
j1j X X Φ(i, u) =jpi,lu < pi,l. l=0l=0
SoitUaviruenlae´baelredeatoiunri[f0orlmoeisu,1]. Pour tousi, jS,  ! j1jj j 1 X X X X P(Φ(i, U) =j) =Ppi,lU < pi,l=pi,lpi,l=pi,j. l=0l=0l=0l=0 X Remarque:SoitiSitinednoraP.e´d´exn,itiortcialamarsndetepi,jδjest une jS probabilit´esurS, qui donne la loi de la position de la chaˆıne de Markov partant deis`erpa un pas. Ainsi, Φ(i, U), quandUformiunidelooire0[serutuestae´laelbairaven,1], n’est rien d’autre que la simulation standard de cette loi. Proposition 4.1.1SoitX0adsnravenu´laelbaie`irtoearseualavSet(Un)n1des vaiid de loi uniforme sur[0,1],´dnienepntdadeesX0dne´ntiaprre´ucrrenceunprocessus.O(Xn)nNen posant, pour toutnN Xn+1= Φ(Xn, Un+1).
Alors(Xn)nNest une chaˆıne de Markov de matrice de transitionP.
35
De´monstration: 1. CommePest une matrice de transition surS, le processus (Xn)nNase`t valeurs dansS. 2. On constate que pour construireXn, on utiliseX0et lesUipour 1in. Soit n+2 nNet (i0, . . . , in+1)S. CommeUn+1dentadnepe´dnitseX0, . . . , Xn, on a
= = =
P(X0=i0, X1=i1X. . , , . n=in, Xn+1=in+1) P(X0=i0, X1=i1X. . , , . n=in,Φ(in, Un+1) =in+1) P(X0=i0, X1=i1. . , , . Xn=in)P(Φ(in, Un+1) =in+1) P(X0=i0, X1=i1. . , X, . n=in)pin,in+1.
Un calcul analogue montre queP(Xn=in, Xn+1=in+1) =P(Xn=in)pin,in+1. Onend´eduitalorsque
P(Xn+1=in+1|X0=i0, X1=i1X, . . . , n=in) =P(Xn+1=in+1|Xn=in) =pin,in+1,
cequidonne`alafoislaproprie´te´deMarkov,lhomog´en´eit´eetlamatricede transitionP.
Remarque:rtnoeuqeere`mno,meˆenimaDamel
P(X0=i0, X1=i1, . . . , Xn=in, Xn+1=in+1) =P(X0=i0)pi0,i1. . . pin,in+1.
Remarque:ptsanuqieu!aLcnofnoitmide`aseurjoesn
En pratique:CettepropdnuitevıˆenceahrkovdeMa,dnoitisodenuennoioitn´enaerltna et donne aussi le moyen de la simuler. Si on se donne une matrice de transitionP, on construit unefonctionΦdemisea`jourassoci´ee,onsimuleunesuite(Un)n1des vaiid de loi uniforme sur [0,1]. Pour simulerXn:
on simuleX0,
pouri[0..n1], on poseXi+1= Φ(Xi, Ui+1),
on afficheXn.
Cetteme´thodemarchetoujours.Maissouvent,lesparticularit´esdelachaıˆnedeMarkova` simuler permettent de trouver un algorithme bien plus simple.
Exercice 2:Ecrire une fonctiony=suivant(x,u),fndiocton`ejamesiuolruoprcheamar al´eatoiresurlessommetsdupentagone.Simuleralorsetrepre´sentergraphiquementplusieurs trajectoiresdelachaıˆnedeMarkovpartantdusommet1.
36
Un pour Un
Permettre à tous d'accéder à la lecture
Pour chaque accès à la bibliothèque, YouScribe donne un accès à une personne dans le besoin