Multimodal metaphors for generic interaction tasks in virtual environments [Elektronische Ressource] / vorgelegt von Frank Steinicke

Sujets

• Informatik

Informations

• Publié par: westfalische_wilhelms-universitat_munster
• Publié le: 01 janvier 2006
• Nombre de lectures: 26
• Poids de l'ouvrage: 21 Mo

Extrait

Frank Steinicke
Multimodal Metaphors
for Generic Interaction Tasks
in Virtual Environments
Munster¨
- 2006 -Fach Informatik
Multimodal Metaphors
for Generic Interaction Tasks
in Virtual Environments
Inaugural-Dissertation
zur Erlangung des Doktorgrades
der Naturwissenschaften im Fachbereich
Mathematik und Informatik
der Mathematisch-Naturwissenschaftlichen Fakult¨at
der Westf¨alischen Wilhelms-Universit¨at Mu¨nster
vorgelegt von
Frank Steinicke
aus Rheine
- 2006 -Dekan: Prof. Dr. Klaus H. Hinrichs
Erster Gutachter: Prof. Dr. Klaus H. Hinrichs
Zweiter Gutachter: Prof. Dr. Antonio Kruger¨
Tag der mu¨ndlichen Pru¨fung:
Tag der Promotion:Contents
Abstract xi
Acknowledgements xiii
1 Introduction 1
2 Concepts of Human-Computer Interaction 5
2.1 Human-Computer Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.1 Multimodality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.2 Visual Perception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.3 Auditory Perception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.4 Haptic Perception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.5 Cognitive Psychological Aspects . . . . . . . . . . . . . . . . . . . . . . . 13
2.3 Computer Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.1 Traditional 2D Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.2 3D Interaction with 2D Interfaces . . . . . . . . . . . . . . . . . . . . . . 14
2.3.3 3D User Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2.3.4 Virtual Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.4 Interaction Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4.1 Basic Terms of Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.4.2 General Interaction Cycle . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4.3 Layered Interaction Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.4.4 Interaction Metaphors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.4.5 Taxonomy of Interaction Tasks . . . . . . . . . . . . . . . . . . . . . . . . 24
3 A Generic Virtual Reality Software System 27
3.1 VR Software Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1.1 Model-View-Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.1.2 Generic Architecture of VR Systems . . . . . . . . . . . . . . . . . . . . . 28
3.1.3 The Rendering Pipeline . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.2 Concepts of VR Software Systems . . . . . . . . . . . . . . . . . . . . . . . . . . 33
iContents
3.2.1 Requirements on VR Software Systems . . . . . . . . . . . . . . . . . . . 34
3.2.2 Overview of current VR Software Systems . . . . . . . . . . . . . . . . . . 34
3.3 Virtual Rendering System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.1 Scenegraphs and Behavior Graphs in VRS . . . . . . . . . . . . . . . . . . 36
3.3.2 Scene Evaluation in VRS . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3.3 Multipass-Rendering in VRS . . . . . . . . . . . . . . . . . . . . . . . . . 41
23.4 VR S: Virtual Reality Rendering System. . . . . . . . . . . . . . . . . . . . . . . 43
3.4.1 Software Architecture Overview . . . . . . . . . . . . . . . . . . . . . . . . 43
3.4.2 Stereographic Rendering . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
23.4.3 Tracking Systems in VR S . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.4.4 VR User Interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
23.4.5 Integration of Multisensory Feedback in VR S . . . . . . . . . . . . . . . 54
23.4.6 Hello, VR S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4 Selection and Manipulation of Virtual Objects 59
4.1 Direct Interaction Metaphors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.2 Improved Virtual Pointer Metaphor . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.1 Selection Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.2 Manipulation of Virtual Objects . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.3 Multimodal Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
24.2.4 Integration of the IVP Metaphor into VR S . . . . . . . . . . . . . . . . . 70
4.2.5 Usability Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 Dual-Purpose Interaction Metaphor . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 Desktop-based Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
24.3.2 Integration of the Dual-Purpose Interaction Metaphor into VR S . . . . . 78
4.3.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4 Virtual Reality Widgets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.1 VR Menus. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.2 Personal-Interaction-Panel . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
5 Exploration of Virtual Environments 83
5.1 Co-located Exploration in Projection-based Virtual Reality Systems . . . . . . . 83
5.1.1 Related Collaborative Interaction Concepts . . . . . . . . . . . . . . . . . 85
5.1.2 Projection-Based Collaboration Concepts . . . . . . . . . . . . . . . . . . 87
25.1.3 Integration of Co-located Interaction Concepts into VR S . . . . . . . . . 93
5.1.4 Preliminary Usability Study . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.2 Advanced Mixed Reality System Environments . . . . . . . . . . . . . . . . . . . 95
5.2.1 Mixed Reality Environments . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.2.2 Global Illumination Concepts for MR Environments . . . . . . . . . . . . 96
5.2.3 Mixed Reality Environment Setup . . . . . . . . . . . . . . . . . . . . . . 97
- ii -Contents
6 Case Studies: Applications for Semi-Immersive Virtual Reality Systems 105
6.1 The Responsive Workbench Environment . . . . . . . . . . . . . . . . . . . . . . 106
6.2 The Passive Rear Projection System . . . . . . . . . . . . . . . . . . . . . . . . . 107
6.3 3D Residential City Planning Environment . . . . . . . . . . . . . . . . . . . . . 109
6.3.1 Main Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.3.2 Software Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
6.3.3 Interaction Concepts for Urban Planning . . . . . . . . . . . . . . . . . . 113
6.4 Focus and Context Visualization for Seismic Volume Datasets . . . . . . . . . . . 115
6.4.1 Visualization of Volumetric Subsurface Data . . . . . . . . . . . . . . . . 118
6.4.2 Interaction Strategies for VR-based Exploration . . . . . . . . . . . . . . 123
7 Conclusions 127
Bibliography 129
- iii -Contents
- iv -