Teleoperation interfaces in human-robot teams [Elektronische Ressource] / vorgelegt von Frauke Driewer

Sujets

• Informatik

Informations

• Publié par: julius-maximilians-universitat_wurzburg
• Publié le: 01 janvier 2009
• Nombre de lectures: 38
• Langue: Deutsch
• Poids de l'ouvrage: 7 Mo

Extrait

Institut für Informatik
Lehrstuhl für Robotik und Telematik
Prof. Dr. K. Schilling
Würzburger Forschungsberichte
in Robotik und Telematik
Uni Wuerzburg Research Notes
in Robotics and Telematics
Frauke Driewer
Teleoperation Interfaces
in Human-Robot Teams
Band 1Teleoperation Interfaces
in Human-Robot Teams
Dissertation zur Erlangung des
naturwissenschaftlichen Doktorgrades
der Julius-Maximilians-Universit¨at Wur¨ zburg
vorgelegt von
Frauke Driewer
aus
Ettlingen
Wurzburg¨ 2008Eingereicht am: 01.10.2008
bei der Fakult¨at fur¨ Mathematik und Informatik
1. Gutachter: Prof. Dr. Klaus Schilling
2. Gutachter: Prof. Dr. Aarne Halme
Tag der mu¨ndlichen Pru¨fung: 08.05.2009Danksagung
An erster Stelle gilt mein allerherzlichster Dank meinem Doktorvater Prof. Dr.
Klaus Schilling fur¨ die Moglic¨ hkeit an diesem spannenden Thema zu arbeiten und
fu¨r seine Unterstut¨ zung bei der Bearbeitung. In meiner Zeit an seinem Lehrstuhl
habe ich viel von ihm lernen k¨onnen und ich bin besonders dankbar fu¨r das Ver-
trauen,daserindenzuruc¨ kliegendenJahrenimmerinmichgesetzthat. Weiterhin
m¨ochteichProf. Dr. AarneHalmeherzlichfur¨ dieErstellungdesZweitgutachtens
danken, sowie den Mitgliedern der Pru¨fungskommission Prof. Dr. Rainer Kolla
und Prof. Dr. Ju¨rgen Albert.
Am Lehrstuhl fu¨r Robotik und Telematik des Instituts fu¨r Informatik an
der Universit¨at Wurzbu¨ rg hatte ich die Chance in einem aussergewoh¨ nlichen
Team mitzuarbeiten, in dem die Arbeit jeden Tag Freude gemacht hat. Danke
dafur¨ besonders an Markus Sauer, Florian Zeiger, Dr. Lei Ma, Rajesh Shankar
Priya, Marco Schmidt, Daniel Eck, Christian Herrmann, Martin Hess, Dr. Peter
Hokayem, Dieter Ziegler, Annette Zillenbiller, Edith Reuter und Heidi Schaber.
Weiterhin m¨ochte ich mich bei den Studenten bedanken mit denen ich zusammen-
arbeiten durfte, im Rahmen dieser Arbeit besonders bei Florian Leutert, Koami
Edem Missoh und Matthias Wiedemann.
Ein Teil dieser Arbeit entstand im Rahmen meiner Mitarbeit im EU-Projekt
“PeLoTe”. Die Zusammenarbeit im europ¨aischen Konsortium war immer span-
nend, bereichernd und erfolgreich. Dafur¨ danke ich den beteiligten Kollegen
an der Czech Technical University Prague, der Helsinki University of Technol-
ogy, der CertiCon a.s., dem Steinbeis Transferzentrum ARS und insbesondere
meinen Wur¨ zburger Projekt-Kollegen Dr. Herbert Baier sowie Grzegorz Zysko.
Dr. Andreas Muh¨ lberger danke fur¨ die Unterstu¨tzung bei der Auswertung der
Benutzertests. Ebenfalls danke ich allen Teilnehmern, besonders der freiwilligen
Feuerwehr Binsfeld und der Feuerwehrschule Wurzbu¨ rg.
Mein grosser Dank gilt Markus Schniertshauer fur¨ den vielf¨altigen Beistand
und die permanente Motivierung wah¨ rend der ganzen Promotionszeit. Meinen
Eltern und Geschwistern, sowie meinen Grosseltern danke ich fur¨ die jahrelange
Unterstutzun¨ g. Ihnen ist diese Arbeit gewidmet.
iiiContents
1 Introduction 1
1.1 Exemplary Application: Supporting Fire-Fighters . . . . . . . . . . 3
1.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2 Background 9
2.1 Human-Robot Interaction . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.1 HRI versus HCI . . . . . . . . . . . . . . . . . . . . . . . . 9
2.1.2 Areas of HRI Research . . . . . . . . . . . . . . . . . . . . . 11
2.1.3 Taxonomies . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1.4 Social and Ethical Aspects of HRI . . . . . . . . . . . . . . 14
2.2 Evaluation of Human-Robot Interaction . . . . . . . . . . . . . . . 14
2.2.1 Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.2 Experiment Design . . . . . . . . . . . . . . . . . . . . . . . 15
2.2.3 Metrics for HRI . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3 Robot User Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.3.1 Vehicle Teleoperation . . . . . . . . . . . . . . . . . . . . . 18
2.3.2 Example Interfaces . . . . . . . . . . . . . . . . . . . . . . . 18
2.3.3 Studies and Guidelines . . . . . . . . . . . . . . . . . . . . . 24
2.4 Human-Robot Teams . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.4.1 Multi-Entity Systems . . . . . . . . . . . . . . . . . . . . . 27
2.4.2 Interacting with Autonomy . . . . . . . . . . . . . . . . . . 27
2.4.3 Acting as a Team . . . . . . . . . . . . . . . . . . . . . . . . 29
2.5 Mixed Reality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
iii2.5.1 From Real to Virtual . . . . . . . . . . . . . . . . . . . . . . 29
2.5.2 Mixed Reality in Robotics . . . . . . . . . . . . . . . . . . . 31
2.5.3 Robot User Interface in the Virtuality Continuum . . . . . 32
3 Framework for Human-Robot Teams 35
3.1 Sheridan’s Supervisory Control . . . . . . . . . . . . . . . . . . . . 35
3.1.1 Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
3.1.2 Supervisor’s Tasks . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 System Perspective on Human-Robot Teams . . . . . . . . . . . . 38
3.2.1 Supervisory Concept for Human-Robot Teams . . . . . . . 38
3.2.2 Supervisory Functions Extended to Teams . . . . . . . . . . 40
3.3 Autonomy Design. . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.3.1 Autonomy Levels . . . . . . . . . . . . . . . . . . . . . . . . 42
3.3.2 Problems with Autonomous Systems . . . . . . . . . . . . . 45
3.4 Situation Awareness . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.4.1 Situation Awareness in Robotics . . . . . . . . . . . . . . . 47
3.4.2 Situation Awareness in Human-Robot Systems . . . . . . . 48
3.4.3 DesigningtheHuman-RobotInterfacesforSituationAware-
ness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5 Implementation of Concept . . . . . . . . . . . . . . . . . . . . . . 52
3.5.1 System for Team Support and System Autonomy . . . . . . 52
3.5.2 Robot Team Member . . . . . . . . . . . . . . . . . . . . . 53
3.5.3 User Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.6 Integration of Team Support . . . . . . . . . . . . . . . . . . . . . 55
3.6.1 Autonomy Support for Information Analysis . . . . . . . . 55
3.6.2 Improvement of the Robot’s SA . . . . . . . . . . . . . . . . 55
3.6.3 Team Organization . . . . . . . . . . . . . . . . . . . . . . . 56
4 Interfacing Humans and Robots 57
4.1 Role Allocation in Human-Robot Teams . . . . . . . . . . . . . . . 57
4.1.1 Interaction Roles . . . . . . . . . . . . . . . . . . . . . . . . 57
4.1.2 Team Configuration . . . . . . . . . . . . . . . . . . . . . . 58
4.2 Interface Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . 61
iv4.2.1 Information Display . . . . . . . . . . . . . . . . . . . . . . 61
4.2.2 Communication . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2.3 Control and Navigation . . . . . . . . . . . . . . . . . . . . 63
4.2.4 Awareness of Autonomous Behaviors . . . . . . . . . . . . . 64
4.2.5 Support for Coordination and Task Allocation . . . . . . . 64
4.2.6 Interaction between Human Team Members . . . . . . . . . 64
4.3 Information Demand for Team Members . . . . . . . . . . . . . . . 65
4.3.1 Supervisor and Teammate . . . . . . . . . . . . . . . . . . . 65
4.3.2 Robot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.4 Requirement Analysis for Exemplary Scenario . . . . . . . . . . . . 67
4.4.1 Information Demand . . . . . . . . . . . . . . . . . . . . . . 67
4.4.2 Rescue Robots . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.4.3 Rescue Map . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.5 Information Demand as Basis for the User Interface Implementation 71
4.6 Extending the Map Organization . . . . . . . . . . . . . . . . . . . 73
4.6.1 Improved Human-Robot Communication . . . . . . . . . . 73
4.6.2 Decisions on Visualization . . . . . . . . . . . . . . . . . . . 74
5 Designing the User Interfaces 75
5.1 Graphical User Interfaces . . . . . . . . . . . . . . . . . . . . . . . 76
5.2 Designing a Usable Human-Robot Interface . . . . . . . . . . . . . 77
5.2.1 Provide Feedback from System and Team Members in a
Suitable Manner . . . . . . . . . . . . . . . . . . . . . . . . 78
5.2.2 Present Sufficient Information about the Situation with a
Suitable Design . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.2.3 Design Input and Command Methods Carefully . . . . . . . 83
5.2.4 Consistency within the System and the Task . . . . . . . . 84
5.2.5 Allow Flexibility . . . . . . . . . . . . . . . . . . . . . . . . 85
5.2.6 Errors and Recovery, Safety . . . . . . . . . . . . . . . . . . 85
5.3 Mixed Reality Approach . . . . . . . . . . . . . . . . . . . . . . . . 86
5.4 Realization of the User Interfaces . . . . . . . . . . . . . . . . . . . 88
5.4.1 Graphical User Interface for Supervisor . . . . . . . . . . . 88
5.4.2 Graphical User Interface for Teammate . . . . . . . . . . . 91
v5.5 Expanding the User Interface Concepts . . . . . . . . . . . . . . . 92
5.5.1 Integration of 3D Sensor Data . . .