Prospect theory multi-agent based simulations for non-rational route choice decision making modelling [Elektronische Ressource] / vorgelegt von Gustavo Kuhn Andriotti

Sujets

• Mathematics

Informations

• Publié par: julius-maximilians-universitat_wurzburg
• Publié le: 01 janvier 2009
• Nombre de lectures: 8
• Langue: English
• Poids de l'ouvrage: 1 Mo

Extrait

Prospect Theory Multi-Agent Based
Simulations for Non-Rational Route
Choice Decision Making Modelling
Dissertation zur Erlangung des
naturwissenschaftlichen Doktorgrades
der Julius{Maximilians{Universit at Wurzbur g
vorgelegt von
Gustavo Kuhn Andriotti
aus
Passo Fundo - RS - Brasilien
Wurzburg, 2009Eingereicht am: 12. Juni 2009
bei der Fakult at fur Mathematik und InformatikContents
1 Introduction 13
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2 Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1 Rationality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.2 Non-Rationality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Agent Reasoning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.4 Contribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.5 Experiments And Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.6 Main Findings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.7 State-Of-The-Art Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.8 Text Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
I Basis 21
2 Utility Theory 23
2.1 Scales Of Measurement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2 Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.1 A Note On Parameters And Utility Function . . . . . . . . . . . . . . . . . 26
2.3 Utility Determinism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4 General Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.5 Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.5.1 Calibrating . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.5.2 Non-Captured Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3 Rationality And EUT 31
3.1 Concepts Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.2 Saint Petersburg Paradox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.3 Expected Utility Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3.1 von Neumann’s Formalization . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4 Discrete Choice Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4 Beyond Perfect Rationality 37
4.1 Concepts Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2 Criticisms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
4.2.1 Bi-Parted Decision-Making System . . . . . . . . . . . . . . . . . . . . . . . 38
4.2.2 Reference Dependency And Status Quo . . . . . . . . . . . . . . . . . . . . 39
4.3 Bounded Rationality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4.4 Rationality Deviation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
4.4.1 The Allais Paradox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3CONTENTS CONTENTS
4.4.2 The Ellsberg Paradox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.5 The Prospect Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.5.1 Status Quo And Reference Dependence . . . . . . . . . . . . . . . . . . . . 42
4.5.2 Probability Distortion Function . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.5.3 Allais Paradox . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.6 Editing Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.1 Coping With The Editing Phase . . . . . . . . . . . . . . . . . . . . . . . . 45
4.6.2 Why Not Use Standard Clustering Methods . . . . . . . . . . . . . . . . . . 45
4.7 Advances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.7.1 Cumulative Prospect Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.7.2 The Prospect Theory For Continuous Prospects . . . . . . . . . . . . . . . . 47
4.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
II Contribution 49
5 PT BasedQ-Learning 51
5.1 Concepts Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.2 Why Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5.3 Why MDP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
5.4 StandardQ-Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.4.1 Learning Factor And Exploration Rate . . . . . . . . . . . . . . . . . . . 55
5.4.2 How To Transform The StandardQ-Learning To Be PT Based . . . . . . . 56
5.5 Editing Phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
5.5.1 Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.6 Modi ed Q-Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
6 Tra c And Route Choice 63
6.1 Concepts Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.2 Tra c Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
6.3 The Four-Step Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6.3.1 Route Choice Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6.3.2 Equilibrium And Utility Functions . . . . . . . . . . . . . . . . . . . . . . . 65
6.4 Tra c Assignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
6.4.1 Travel-Time Calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.4.2 Translating Route Choice To Link Load . . . . . . . . . . . . . . . . . . . . 67
6.5 Tra c As An MDP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
7 Agent Architecture 71
7.1 Concepts Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
7.2 Why An Agent Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
7.3 Proposed Agent Arc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7.3.1 Memories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7.3.2 Action Choice Generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7.3.3 Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7.3.4 System 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7.3.5 Situation Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
7.3.6 System 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
7.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4CONTENTS CONTENTS
8 Evaluation 77
8.1 Concepts Review . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
8.2 Evaluation Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
8.3 Di erent Algorithm For System 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
8.4 Common Parameters Across The Experiments . . . . . . . . . . . . . . . . . . . . 79
8.5 Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
8.6 Microeconomics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
8.7 Results Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
8.8 El Farol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
8.8.1 Clustering Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
8.8.2 Scenario Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
8.9 Selten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
8.10 Burgdorf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
8.11 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
9 State-Of-The-Art 95
9.1 Discrete Choice Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
9.1.1 Utility Based Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
9.1.2 Non-Utility Based Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . 96
9.2 Tra c Assignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
9.2.1 Microeconomics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
9.2.2 Arti cial Intelligence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98