Resource management in virtualized data centers regarding performance and energy aspects [Elektronische Ressource] / vorgelegt von Marko Hoyer

Sujets

• Informatik

Informations

• Publié par: carl_von_ossietzky_universitat_oldenburg
• Publié le: 01 janvier 2011
• Nombre de lectures: 8
• Langue: English
• Poids de l'ouvrage: 1 Mo

Extrait

Fakultat II { Informatik, Wirtschafts- und Rechtswissenschaften
Department fur Informatik
Resource Management in Virtualized Data
Centers Regarding Performance and
Energy Aspects
Dissertation zur Erlangung des Grades eines
Doktors der Ingenieurwissenschaften
vorgelegt von
Dipl.-Inform. Marko Hoyer
Datum der Disputation
24. Mai, 2011
Gutachter
Prof. Dr. Wolfgang Nebel
Prof. Dr. Michael SonnenscheinContents
1 Introduction 1
1.1 Static Resource Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Dynamic Resourcet . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Contributions of this Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Document Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Context and Related Work 7
2.1 IT Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2 Data Center Infrastructure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 Operating Systems, IT Services, and Software . . . . . . . . . . . . . . . . . . . 8
2.3.1 Power Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.3.2 Resourcet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3 Problem Statement 13
3.1 Technical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.1.1 Service Level Agreements . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.1.2 Server Virtualization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.1.3 Server and Live Migration . . . . . . . . . . . . . . . . . 17
3.1.4 Dealing with Shared Resources in Virtualized Data Centers . . . . . . . 18
3.1.5 Power States of Servers . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2 Conceptual View . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.1 Pessimistic Static Resource Management . . . . . . . . . . . . . . . . . . 23
3.2.2 Optimized Static Management . . . . . . . . . . . . . . . . . . 24
3.2.3 Dynamic Resource Management . . . . . . . . . . . . . . . . . . . . . . 24
3.3 System Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3.1 Involved Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3.2 Limited Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.3.3 Overhead and Prerequisites of Control Mechanisms . . . . . . . . . . . . 30
3.3.4 Service Level Agreements . . . . . . . . . . . . . . . . . . . . . . . . . . 32
iiiContents
3.4 Formal De nition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.4.1 Terminology and Declarations . . . . . . . . . . . . . . . . . . . . . . . . 33
3.4.2 Problem De nition: Static Resource Management . . . . . . . . . . . . 36
3.4.3 Dynamic Resourcet . . . . . . . . . . . 37
3.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
4 Pessimistic Static Resource Management 41
4.1 Service Level Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 Modeling the Resource Demand . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3 Static Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
4.3.1 Known Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
4.3.2 Vector Bin Packing and Resource Management . . . . . . . . . . . . . . 43
5 Statistical Static Resource Management 45
5.1 Mathematical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
5.1.1 Discrete Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . 46
5.1.2 Operations on Discrete Random Variables . . . . . . . . . . . . . . . . . 46
5.1.3 Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5.1.4 Probabilities of Realizations of Stochastic Processes . . . . . . . . . . . 49
5.2 Service Level Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2.1 Known Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
5.2.2 Fine Grained SLO Speci cation . . . . . . . . . . . . . . . . . . . . . . . 51
5.2.3 Mapping Performance Metrics on Required Resource Capacity . . . . . 52
5.2.4 Deriving Constraints for Autonomous Resource Management . . . . . . 54
5.2.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
5.3 Modeling the Resource Demand . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.3.1 Requirements on the Model . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.3.2 Known Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.3.3 Modelingh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
5.3.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
5.4 Static Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
5.4.1 Known Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.4.2 Pessimistic Statistical Scheduling . . . . . . . . . . . . . . . . . . . . . . 67
5.4.3 Interdependence between Required and Provided Resource Capacity . . 73
5.4.4 Separating Seasonal Trend and Noise from Long Term Trend . . . . . . 75
5.4.5 Using Correlations for Improved Statistical Scheduling . . . . . . . . . . 76
5.4.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
ivContents
5.5 Changes in Demand Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.5.1 Impact of Changed Demand Behavior . . . . . . . . . . . . . . . . . . . 81
5.5.2 Detecting Behavior . . . . . . . . . . . . . . . . . . . 82
5.5.3 Preventing SLO Violations Caused by Changed Demand Behavior . . . 82
5.5.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
5.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6 Dynamic Resource Management 85
6.1 Theoretical Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1.1 Autocorrelation Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . 86
6.1.2 Testing Whether a Graph is Acyclic . . . . . . . . . . . . . . . . . . . . 86
6.2 Service Level Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.3 Modeling the Resource Demand . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.3.1 Requirements on the Model . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.3.2 Known Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
6.3.3 Modeling Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
6.3.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.4 Dynamic Scheduling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.4.1 Known Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
6.4.2 Basic Idea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
6.4.3 Ensuring Resource Constraints . . . . . . . . . . . . . . . . . . . . . . . 100
6.4.4 Extracting a Set of Feasible Operations . . . . . . . . . . . . . . . . . . 103
6.4.5 Ensuring Time Constraints . . . . . . . . . . . . . . . . . . . . . . . . . 105
6.4.6 Scheduling Algorithm - Overview . . . . . . . . . . . . . . . . . . . . . . 108
6.4.7 Scheduling - Consolidating VMs . . . . . . . . . . . . . . . . 109
6.4.8 Scheduling Algorithm - Resolving Resource Shortages . . . . . . . . . . 110
6.4.9 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
6.5 Changes in Demand Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
6.5.1 Impact of Changed Demand Behavior . . . . . . . . . . . . . . . . . . . 121
6.5.2 Detecting Behavior . . . . . . . . . . . . . . . . . . . 121
6.5.3 Adapting the Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
6.5.4 Resolving Resource Shortages . . . . . . . . . . . . . . . . . . . . . . . . 123
6.5.5 Limiting the Impact of Changed Demand Behavior . . . . . . . . . . . . 123
6.5.6 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
6.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
vContents
7 Experimental Assessment 127
7.1 Fine Grained QoS Speci cation . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
7.1.1 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
7.1.2 Comparison to Known Approaches . . . . . . . . . . . . . . . . . . . . . 131
7.1.3 In uence of the Number of De ned Performance Goals . . . . . . . . . . 132
7.1.4 Conclusion and Limits of the Analyses . . . . . . . . . . . . . . . . . . . 133
7.2 Resource Demand Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.2.1 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
7.2.2 Comparison to Known Approaches . . . . . . . . . . . . . . . . . . . . . 136
7.2.3 Finding the Predominant Period . . . . . . . . . . . . . . . . . . . . . . 139
7.2.4 In uence of Minimal Duration of Saving Intervals . . . . . . . . . . . . . 140
7.2.5 of Long Term Trends . . . . . . . . . . . . . . . . . . . . . . . 141
7.2.6 Di erent VMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141<