Chaines de Markov complements

Description

Niveau: Supérieur, Master, Bac+5
Chapitre 2 Chaines de Markov : complements Dans cette lec¸on, nous examinons quelles sont les principales proprietes des chaınes de Markov et nous etudions quelques exemples suplementaires. 2.1 Proprietes de Markov Lorsqu'un systeme est modelise par une equation differentielle son avenir est uniquement determine par sa situation presente, d'ou son nom de dynamique deterministe. Pour une chaıne de Markov au contraire, on fait l'hypothese qu'il y a plusieures evolutions possibles a partir de la situation presente, chacune d'elles ayant une certaine probabilite de se realiser. C'est cette incertitude sur l'avenir qui est prise en compte par les modeles markoviens que l'on appelle pour cette raison dynamiques aleatoires ou stochastiques. Il existe bien d'autres dynamiques aleatoires que les chaınes de Markov mais celles-ci ont une propriete bien speciale, que l'on appelle absence de memoire (ou simplement propriete de Markov) que nous allons indiquer a present. Losqu'un systeme a plusieurs avenirs possibles a partir de son etat present, il se pourrait que la probabilite que l'un ou l'autre de ces avenirs se realise depende non seulement de son etat present mais aussi de son histoire recente : dans ce cas, il faudrait par exemple prendre en compte le fait que la probabilite pij = P (Xt+1 = xj/Xt = xi) pourrait etre differente selon que Xt?1 = xk ou que Xt?1 = xl. Il n'y aurait plus moyen alors de definir de matrice de transition.

• trajectoire


• invariance dans le temps des probabilites de transitions


• probabilite


• dite irreductible


• interessant de chaıne recurrente


• chaıne de markov


• pi0 ·


• temps fini

Sujets

• Trajectoire
• Probabilité
• Chaîne de Markov

Informations

• Publié par: profil-afte-2012
• Nombre de lectures: 87
• Langue: Français

Extrait

Chapitre 2

ChainesdeMarkov:comple´ments

Danscettelec¸on,nousexaminonsquellessontlesprincipalespropri´ete´sdeschaˆınesde Markovetnous´etudionsquelquesexemplessupl´ementaires.

2.1Propri´et´esdeMarkov Lorsqu’unsyste`meestmod´elis´eparunee´quationdiffe´rentiellesonavenirestuniquement d´etermin´eparsasituationpr´esente,d’ou`sonnomdeetsinimrminadyte´eedquınechaˆenuruoP. deMarkovaucontraire,onfaitl’hypothe`sequ’ilyaplusieures´evolutionspossibles`apartirde lasituationpre´sente,chacuned’ellesayantunecertaineprobabilit´edeser´ealiser.C’estcette incertitudesurl’avenirquiestpriseencompteparlesmod`elesmarkoviensquel’onappelle pour cette raisonseotrinydqimaaseuae´loustochastiques. Il existe bien d’autres dynamiques al´eatoiresqueleschaıˆnesdeMarkovmaiscelles-ciontuneproprie´te´bienspe´ciale,quel’on appelleedecnesberiome´ma(ou simplementtee´rp´ikrvoedaMprouqida`reue)qusnoloalinns pre´sent.Losqu’unsyst`emeaplusieursavenirspossiblesa`partirdeson´etatpre´sent,ilsepourrait quelaprobabilite´quel’unoul’autredecesavenirssere´alisede´pendenonseulementdeson ´etatpr´esentmaisaussidesonhistoirer´ecente:danscecas,ilfaudraitparexempleprendreen comptelefaitquelaprobabilite´p ij =P(X t+1 =x j /X t =x i )opruartieˆtrediff´erenteseluqnoe X t−1 =x k ou queX t−1 =x l lpsuartianolomeyd´efirsdeematnirdrtedecirnoitisna.ln.Iau’y Enr´ealit´e,lorsqu’onadopteunemode´lisationparunechaˆınedeMarkov,onsupposedefaitque ladynamiqueale´atoireconsid´er´eeposs`edelapropri´ete´suivante,appele´eei´prport´ede Markov: P(X t+1 =x j /X t =x i , X t−1 =x k , X t−2 =x l , . . .) =P(X t+1 =x j /X t =x i ).

2.2ChainesdeMarkovirre´ductibles UnechaıˆnedeMarkovestditeirlbecuit´rdescatets´seustouese’c,tneuqinummoet-`a-dirroqsl lorsque,pourtoutepaired’e´tats(x i , x j la)e´tila’dborplibaleu’eldra’tu`nlatstrreesmenticte positive.Cettepropri´et´epeutselirege´n´eralementsurlediagrammeenpointsetfle`ches.Eneffet, ons’assurequelachaˆıneestirre´ductibleenv´erifiantquechaquepairedepointsestreli´eesoit parunefle`cheuniquesoitparunesuccessiondefle`ches.Ainsi,l’exempledelachaıˆne{h, a, f} delalec¸onpre´c´edenteestunechaˆınedeMarkovirre´ductibledemeˆmequeceluidessourisdans le labyrinthe{1,2,3,4,5}lio’mndofiicetexesouri.Mais,sqtnaoleuuqsrsaleplemnceesionerd´ aatteintlecompartiment5(quicontientlefromage)elleyresteavecprobabilite´1,alorscette chaˆınen’estplusunechaıˆneirre´ductiblecariln’yapasdefle`cheallantdel’´etat5versl’un quelconquedesautres´etats.Un´etatdecetype,danslequelonreste`acoupsurlorsqu’ony parvients’appelleun´etat absorbantteˆserepenaptuhcenU.epr´aˆıntantesenatatnue´abtnsbro irre´ductible. 13