Mixed-reality for enhanced robot teleoperation [Elektronische Ressource] / vorgelegt von Markus Sauer

Sujets

• Informatik

Informations

• Publié par: julius-maximilians-universitat_wurzburg
• Publié le: 01 janvier 2011
• Nombre de lectures: 33
• Langue: Deutsch
• Poids de l'ouvrage: 15 Mo

Extrait

Institut für Informatik
Lehrstuhl für Robotik und Telematik
Prof. Dr. K. Schilling
Würzburger Forschungsberichte
in Robotik und Telematik
Uni Wuerzburg Research Notes
in Robotics and Telematics
Markus Sauer
Mixed-Reality for
Enhanced Robot
Teleoperation
Band 5Die Schriftenreihe
wird vom Lehrstuhl für Informatik VII: Robotik und
Telematik der Universität Würzburg herausgegeben und
präsentiert innovative Forschung aus den Bereichen der
Robotik und der Telematik.
Die Kombination fortgeschrittener Informationsverar-
beitungsmethoden mit Verfahren der Regelungstechnik
eröffnet hier interessante Forschungs- und Anwendungs-
perspektiven. Es werden dabei folgende interdisziplinäre
Aufgabenschwerpunkte bearbeitet:
Robotik und Mechatronik: Kombination von Informa-Ÿ
tik, Elektronik, Mechanik, Sensorik, Regelungs- und
Steuerungstechnik, um Roboter adaptiv und flexibel
ihrer Arbeitsumgebung anzupassen.
Telematik: Integration von Telekommunikation, Infor-Ÿ
matik und Steuerungstechnik, um Dienstleistungen
an entfernten Standorten zu erbringen.
Anwendungsschwerpunkte sind u.a. mobile Roboter, Tele-
Robotik, Raumfahrtsysteme und Medizin-Robotik.
Lehrstuhl Informatik VII
Robotik und Telematik
Am Hubland
D-97074 Wuerzburg
Tel.: +49 (0) 931 - 31 - 86678
Fax: +49 (0) 931 - 31 - 86679
[e-mail]
http://www7.informatik.uni-wuerzburg.de
Dieses Dokument wird bereitgestellt
durch den Online-Publikationsserver der
Universität Würzburg.
Universitätsbibliothek Würzburg
Am Hubland
D-97074 Würzburg
Tel.: +49 (0) 931 - 31 - 85917
Fax: +49 (0) 931 - 31 - 85970
Zitation dieser [e-mail]
http://www.opus-bayern.de/uni-
wuerzburg/ SAUER, M. (2010). Mixed-reality for enhanced robot
teleoperation. Schriftenreihe Würzburger
ISSN (Internet): 1868-7474
Forschungsberichte in Robotik und Telematik, Band 5. ISSN (Print): 1868-7466
Würzburg: Universität Würzburg.eISBN: 978-3-923959-67-9Mixed-Reality for Enhanced Robot
Teleoperation
Dissertation zur Erlangung des
naturwissenschaftlichen Doktorgrades
der Bayerischen Julius–Maximilians–Universität Würzburg
vorgelegt von
Markus Sauer
aus
Würzburg
Würzburg 2010Eingereicht am: 22.07.2010
bei der Fakultät für Mathematik und Informatik
1. Gutachter: Prof. Dr. Klaus Schilling
2. Gutachter: Prof. Dr. Aarne Halme
Tag der mündlichen Prüfung: 01.02.2011Danksagung
Die vorliegende Dissertation wäre nicht möglich gewesen ohne die tatkräftige
Unterstützung von vielen Menschen, denen ich im Folgenden noch einmal her-
zlich danken möchte.
Zuerst bedanke ich mich bei meinem Doktorvater Prof. Dr. Klaus Schilling für
die Möglichkeit eine Promotion unter seiner Betreuung durchzuführen, aber auch
für die vielen spannenden Dinge, die ich die letzten Jahre erleben durfte, und
die Erfahrungen, die ich dabei sammeln konnte. Er ermöglichte mir eine beru-
fliche und persönliche Weiterentwicklung, die sonst bei einer Promotion nicht
selbstverständlich ist. Prof. Dr. Aarne Halme einen herzlichen Dank für seine
unkomplizierte Art und die zügige Erstellung des Zweitgutachtens. Ein weiterer
Dank gilt meinen beiden Prüfern Prof. Dr. Phuoc Tran-Gia und Prof. Dr. Jürgen
Albert. Beide habe ich schon während meines Studiums, aber auch jetzt während
meiner Promotionszeit sowohl menschlich als auch fachlich sehr schätzen ge-
lernt.
Durch die Arbeit während der Promotion am Lehrstuhl für Robotik und
Telematik der Universität Würzburg und dem Zentrum für Telematik hatte ich
die Gelegenheit mit einem außergewöhnlichen Team zusammenzuarbeiten, was
sich auch in privaten gemeinsamen Unternehmungen außerhalb der Arbeit wider-
spiegelte. Danke hierfür im Besonderen an Maximilian Drentschew, Daniel
Eck, Matthias Görs, Christian Herrmann, Dr. Martin Hess, Robin Heß, Dr. Pe-
ter Hokayem, Markus Krauß, Florian Leutert, Dr. Lei Ma, Marco Schmidt,
Rajesh Shankar Priya, Prof. Dr. Dušan Stipanovic´ und Lothar Stolz, sowie
Heidi Frankenberger, Ulrike Walter, Eberhard von Deuster, Dieter Ziegler, Edith
Reuter und Annette Zillenbiller. Bei zwei Kollegen und Freunden möchte ich
mich nochmal separat besonders bedanken - Dr. Frauke Driewer und Dr. Flo-
rian Zeiger. Mit beiden habe ich in meiner Promotionszeit am engsten zusam-
mengearbeitet und fachliche aber auch persönliche Diskussionen geführt, was
ich immer sehr zu schätzen wusste. Danke auch nochmal an Dr. Florian Zeiger,
iDanksagung
dass er in unserem gemeinsamen Endspurt der Doktorarbeit in den letzten bei-
den Jahren egal unter welchen Umständen immer wieder den nötigen Zug aufge-
baut hat und, dass er immer als Freund zur Verfügung stand. Herzlichen Dank
an alle Kollegen vom Lehrstuhl III - unserem zweiten Zuhause. Die unzähli-
gen Lehrstuhl III - Aktivitäten, bei denen wir dabei waren, haben eine bleibende
Erinnerung hinterlassen, die ich nicht missen möchte. Hier nochmal einen ganz
besonderen Dank an Dr. Rastin Pries und Dr. Robert Henjes für die unzähli-
gen gemeinsamen Abende und die tolle Zeit, die wir hoffentlich in Zukunft mit
allen aufrecht erhalten, bzw. immer wieder regelmäßig aufleben lassen werden.
Danke auch an meinen Kommilitonen Marco Schörger für die über zehnjährige
Freundschaft und seine immer positive Grundeinstellung und Art. In den letzten
Jahren durfte ich im Rahmen dieser Arbeit auch mit einer Vielzahl von Studenten
zusammenarbeiten. Stellvertretend für alle diese Studenten möchte ich mich ins-
besondere bei meinen Diplomanden Stephan Toth, Matthias Wiedemann, Manuel
Göllnitz, Koami Edem Missoh, Hossein Shahrabi Farahani, Lakshminarasimhan
Srinivasan und Thomas Peretzki bedanken.
Vielen Dank an meine Eltern Brigitte und Klaus und meinen Brüdern Florian
und Benedikt für die uneingeschränkte Unterstützung und den Rückhalt in all den
Jahren. Das Bewusstsein über diese Unterstützung und diesen Rückhalt gab mir
die Sicherheit, die in vielen Situation für diese Arbeit wichtig war. Zu guter Letzt
möchte ich mich bei dem wichtigsten Menschen in meinem Leben bedanken -
meiner Freundin Carolin Lamprecht. In all den Jahren, die wir bisher gemeinsam
gegangen sind, war sie immer meine Kraft und meine Stärke. Wann immer ich
jemand brauchte, war sie für mich da, egal zu welcher Zeit, oder an welchem
Ort. Wann immer ich Zweifel hatte, hat sie an mich geglaubt und mich wieder
aufgebaut. Danke für alles!
iiContents
1 Introduction 1
1.1 Exemplary Application: Robots in Urban Search and Rescue . . . 2
1.2 Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 Innovations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2 Human in the Loop 9
2.1 Human-Robot Interaction (HRI) . . . . . . . . . . . . . . . . . . 9
2.1.1 Characteristics of HRI . . . . . . . . . . . . . . . . . . . 10
2.1.2 Interaction Roles . . . . . . . . . . . . . . . . . . . . . 12
2.2 Teleoperation . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.2.1 Interaction between Humans and Autonomy . . . . . . . 16
2.2.2 User Interfaces . . . . . . . . . . . . . . . . . . . . . . 17
2.2.3 Studies and User Interface Guidelines . . . . . . . . . . 19
2.3 Human Factors . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.1 Telepresence . . . . . . . . . . . . . . . . . . . . . . . . 22
2.3.2 Situation Awareness . . . . . . . . . . . . . . . . . . . . 23
2.3.3 Common Ground . . . . . . . . . . . . . . . . . . . . . 24
2.3.4 Workload . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3.5 Spatial Cognition . . . . . . . . . . . . . . . . . . . . . 26
2.4 Evaluation of Human-Robot Interaction . . . . . . . . . . . . . . 29
2.5 Designing the Teleoperation System . . . . . . . . . . . . . . . . 31
2.5.1 Model of the Teleoperation System . . . . . . . . . . . . 31
2.5.2 Design Goals and Demands . . . . . . . . . . . . . . . . 34
3 3D-Perception and Communication Networks for Teleopera-
tion Systems 39
3.1 Enabling Technologies . . . . . . . . . . . . . . . . . . . . . . . 40
3.1.1 Communication Technologies . . . . . . . . . . . . . . . 40
iiiContents
3.1.2 Network Parameters and Video Streams . . . . . . . . . 45
3.1.3 Three-Dimensional Perception . . . . . . . . . . . . . . 47
3.1.4 3D-Time-of-Flight Cameras . . . . . . . . . . . . . . . . 47
3.1.5 Optical Camera Calibration . . . . . . . . . . . . . . . . 52
3.1.6 Sensor Data Fusion, Localization and Mapping . . . . . . 55
3.2 A Concept for Intelligent Traffic Shaping in Wireless Networks . 56
3.2.1 Scenarios . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.2.2 Concept . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.2.3 Network Feedback and Adaptive Video Quality . . . . . 60
3.2.4 Experiments and Validation . . . . . . . . . . . . . . . . 64
3.2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . 75
3.3 Three-Dimensional Pe