Cours Agay 2004

Jean-Pierre Nadal

Description

Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes-Equilibre(s).-Dynamiquesavec apprentissage par renforcement.Jean-Pierre NadalLaboratoire de Physique Statistique de l’ENSet CENECC (CENtre d’Etude des systèmes Complexes et de la Cognition, ENS)[e-mail]ématique CNRS d ’Agay Roches Rouges 8 - 17 mars 2004ƒƒ999ƒƒƒ9ƒƒƒplan• Notations, rappels• EquilibresPoint fixe d’une dynamique déterministe Dyn. stochastique avec potentiel (énergie) : BoltzmannNashEquilibre de Nash en Stratégie Mixte (MSE)Quantal Response Equilibrium (QRE)Expérimentation : comparaison comportements / modèles• Dynamique avec apprentissage / adaptationPrincipe de l’apprentissage par renforcementIllustrations : Jeu à deux joueurs - QRE versus dynamique de populationsEl Farol / Minority GameMarché aux poissons de Marseille Mémoire à court-terme (variante du modèle de Hopfield)• Logit or not logit ? (le principe d’entropie maximale).mars 2004 école Systèmes Complexes 2notations, rappels• N agents : i = 1, 2,…, N Choix discrets - exemple du cas binaire :• choix de l’agent numéro i : ω = 1 / ω = 0 ou : S = +1 / S = -1i i i i assister/ne pas assister, acheter/ne pas acheter, groupe A/groupe B,neurone actif/inactif, spin d’Ising +/-, automate 1/0, action 1/action 2,stratégie 1/ stratégie 2 (coopérer/trahir, signaler/ne pas signaler,…) …• Pour chaque agent i : u (S , S ) = utilité = surplus = gain = - frustrationi i ...

Informations

• Publié par: Ermey
• Nombre de lectures: 47
• Langue: Français

Extrait

Dynamique des ssyètem socpmelexets pp acaliontiua sHS x m : S lèdoconces,  méteptssohed

Jean-Pierre Nadal Laboratoire de Physique Statistique de lENS et CENECC (CENtre dEtude des systèmes Complexes et de la Cognition, ENS) [e-mail]

-Equilibre(s). -Dynamiques avec apprentissage par renforcement.

EcoleThématiqueCNRS dAgay Roches Rouges 8 -17 mars 2004

esèmom Ce olstSy02 scé40ram appels  tions, r al  n oNat lpxese p 2 

Equilibres ƒPoint fixe dune dynamique déterministe ƒDyn. stochastique avec potentiel (énergie) : Boltzmann ƒNash ƒEquilibre de Nash en Stratégie Mixte(MSE) ƒQuantal Response Equilibrium(QRE) ƒExpérimentation : comparaison comportements / modèles Dynamique avec apprentissage / adaptation ƒPrincipe de l apprentissage par renforcement ƒIllustrations :   9srsu Eevimuqydan joudeux -QReurs à ueJdee op patulnsio 9El Farol / Minority Game 9Marché aux poissons de Marseille 9Mémoire à court-terme (variante du modèle de Hopfield) Logitor not logit? (le principe dentropie maximale).



notations, rappels  Nagents :i= 1, 2,, discrets - exemple du cas binaire :N Choix    choix de lagent numéroi:ω i = 1 /ω i  S : ou= 0 i = +1 / S i = -1 assister/ne pas assister, acheter/ne pas acheter, groupe A/groupe B, neurone actif/inactif, spin dIsing +/-, automate 1/0, action 1/action 2, stratégie 1/ stratégie 2 (coopérer/trahir, signaler/ne pas signaler,)   Pour chaque agenti:u i (S i , S -i ) =utilité= surplus = gain = - frustration S -i = { choix des autres agents } ou { choix des agents voisins dei}  Exemples :u i (S i , S -i ) = S i h i avec : h i (S -i ) = Σ k J i k S k + H i u i (ω i ,ω -i ) = S i h i avec : h i (S -i ) = Σ k J i k ω k + H i J i k = influence de lagent numéroksur lagent numéroi(0,> 0ou< 0) H i = préférence individuelle / prix de réserve  prix /,  H i = - θ i :θ i = seuil dactivation  « Energie »E( S ) = -½Σ i,k J i k S i S k -Σ i H i S i  « Utilité sociale » U ( S ) = Σ i u i (S i , S -i ) similaire à, mais différent de, - E(S) avec S = { choix de tous les agents} = {S 1 , S 2 , , S N } = « configuration » mars 2004 école Systèmes Complexes 3

)ueiqsttita seuqisyhp ,seuqimdynames ystè es (s ilrbqEiu ex4spmel nimie:st dueerétnyDƒqima = )1)1+  1 P(S i (t+ 1/ T) 0  e = β =(eptn elocsyS emètoC sma 2rs4é00 amixuq i x i ShcioS -i (S i ,  u i (mise ér erueliem ed  = ) +1(tS i e)nspo  = Σ   J kki h  ( i )t  H i > 0,  S k (t) +   tio ( i S :) )ts ,    1  :si1)t+ + = utide l/ militéasitinim ealnod  t ou t àt anstin mixam  ,t  noitasi e ou séquentiell)e:   s(rttagéei ru frastonti dy   (iman euqaraplèll  ).} }{=uesrartca{tt le: tielquene sé S (E ed aminim{  = }esix ftsinpo aC sdni = -  1 ƒ . S i (t+1)sinon :  anyduqim uqir  , se snsétymrateioct

h i (t)

ƒDynamique stochastique (bain thermique, bruit synaptique, main temblante) avec interactions symétriques + logit : p(S i = 1/[1 + exp  2= +1) β h i ] T = température = 1/β P équ.  (1/Z( S ) = ) exp βE( S ). = distribution deBoltzmann(1844 - 1906) (→potential games en théorie des jeux)

½

Equilibres(économie)  Nash :   S* est un équilibre de Nash si, pour touti: u i (S* i , S* -i )≥u i (S i , S* -i ) quel que soit S i .  cas, il existe 0, 1 ou plusieurs équilibres de Nash.selon les  un point fixe attractif de la dynamique déterministe est un équilibre de Nash.  Equilibre deNashenStratégieMixte (Mixed-StrategyEquilibrium) Chaque joueurijoue la stratégie S i avec une probabilité p i (S i ) Gain anticipé pari: <u i (S i ) > = Σ p (S -i )u i (S i , S i ) - { S -i } MSE : <u i (S i  quel que soit S identique) > i .  il existe toujours un MSE. mars 2004 école Systèmes Complexes 5

Stratégies mixtes et comportement  QuantalResponseEquilibrium(QRE) p i (S i ) =f(< u i (S i ) > ) / Σ {s} f(< u i (s) > )    ( <u i (S i ) > = gain anticipé parisil choisit la stratégie S i ) Exemple (logit !) : f(x) =exp(βx ).  remarque : QRE≈« approximation dechamp moyen» en physique Expériences: comparaison des comportements avec les prédictions MSE et QRE Réf.: McKelvey and Palfrey, alrmnor gam or fliuqe esof airbiG maem,sdn sea er lnopsuQatna economic behavior, 7:6-38 (1995) Colin F.Camerer, « Behavorial Game Theory », Princeton Univ. Press 2003 mars 2004 école Systèmes Complexes 6

mars 2004

Dynamique : Apprentissage par renforcement

école Systèmes Complexes

7

Apprentissage par renforcement  Gain / utilité / profitnon connuà lavance  Exploration: lexpérience (la sienne et/ou celle des autres) permet dévaluer le bénéfice dune action (dune stratégie, dun choix)  Renforcementdes actions qui se révèlent les plus efficaces :   augmentation de la probabilité de choisir cette action dans le futur (exploitationdes connaissances acquises) Cas le plus simple :le gain dune action est connu immédiatement (exemple : jeux usuels de la théorie des jeux, gain distribué après chaque tour) Cas plus difficile : gain connu uniquement après une suite dactions Encore plus difficile (mais très réaliste) : gain = information purement qualitative : «cest bien / cest mal» (réf. : R. S. Sutton & A. G. Barto, « Reinforcement learning », The MIT Press, 1998) mars 2004 école Systèmes Complexes 8

arning  ( (EWA) le  &oH1 99aCemer r e-ncigWexp  Eieertcar noidethttA  téréeu i 91) J n 19 tsna eniahuqA:c  gesaisntrepp  A 9) adroJ(  neiseyab   7 ;aCemer r9189)  Belief-learnin sill ret1991te ,; c llWaeris99 1 B or83; 59 1nw1 bins; Ro951)on 1 tcif ,gp suoiti Co   ( yla 18t nour p egr ratnerassi l)ra pp  A eh(bioavetemtnla eocpmroentissag xes9 Appr AcM ; 1991  ruhtr A ;7319s osCr; 59 5re1 etllM soBush ent ( rcemenfo metèys SlempCos 2 sramelocé400  )= = S (   )t(  i S  : p i QREde a mo , s(A(f Σ   / ) t), S  i ( Af(   x(=)xe(p pmel:  f   par exe  t)) avec  )βx

{s} i

. e à ribuue achaql   a  t,t aittegtndsoi punratta (op noitcS elbiss ( ≈ estimation d tcoin ) i AS( ,)t  dixS i e t)   ( l à u <e)S( i   >  ohC )

A i (S i , t)

stratégies (actions possibles)

la probabilité que lagentichoisisse S i =S est dautant plus grande que est A i (S, t) est grand

S i = 1

S i = 3

S i = 2  

gain u i  S(3 , −i (t) )

S i = 4

C semètssexelpmo enprAp 10 e agsstierfnap remtnroec  3choisie à t locéyS e sra4002m

S i = 3  

S i = 4  

gains u i−i t

stratégies (actions possibles)

A i (S i , t)

S i = 2  

S i = 1  

la probabilité que lagentichoisisse S i =S est dautant plus grande que est A i (S, t) est grand

« fictitious play »

4,S 1=2,3, ,S((Ss nuurpo ))on c ntap eer rrofnemec 11es prAptienagss yStsmèseC molpxemars 2004école