Aspects of visual attention for autonomous mobile robots [Elektronische Ressource] / Tingting Xu

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2010
• Nombre de lectures: 16
• Langue: English
• Poids de l'ouvrage: 10 Mo

Extrait

Lehrstuhl fu¨r Steuerungs- und Regelungstechnik
Technische Universit¨at Mu¨nchen
Univ.-Prof. Dr.-Ing./Univ. Tokio Martin Buss
Aspects of Visual Attention for Autonomous
Mobile Robots
Tingting Xu
Vollst¨andiger Abdruck der von der Fakult¨at fu¨r Elektrotechnik und Informationstechnik
der Technischen Universit¨at Mu¨nchen zur Erlangung des akademischen Grades eines
Doktor-Ingenieurs (Dr.-Ing.)
genehmigten Dissertation.
Vorsitzender: Univ.-Prof. Paulo Lugli, Ph.D.
Pru¨fer der Dissertation:
1. TUM Junior Fellow Dr.-Ing. Kolja Ku¨hnlenz
2. Univ.-Prof. Gordon Cheng, Ph.D.
Die Dissertation wurde am 16.12.2009 bei der Technischen Universit¨at Mu¨nchen einge-
reicht und durch die Fakult¨at fu¨r Elektrotechnik und Informationstechnik am 13.04.2010
angenommen.Foreword
This thesis summarizes my three-year research work carried out at the Institute of Au-
tomatic Control Engineering (LSR) of the Technische Universit¨at Mu¨nchen from 2006 to
2009.
First of all, I would like to express my profound gratitude towards my doctoral ad-
visor, my “Doktorvater”, Dr.-Ing. Kolja Ku¨hnlenz, who always supported me with his
immense experience and invaluable advice, took the time for all my questions, and made
me believe in myself. I sincerely thank my “Doktorgroßvater” Prof. Dr.-Ing./Univ. Tokio
Martin Buss, who gave me the opportunity to conduct research in an inspiring working
environment, for his encouragement and trust.
I would like to thank Prof. Gordon Cheng, Prof. Werner Schneider, Prof. Laurent Itti,
and Dr. Jan Zwickel for their valuable discussions and encouragement. Great thanks also
go to the other ACE team members – Andrea Bauer, Klaas Klasing, Georgios Lidoris,
Quirin Mu¨hlbauer, Florian Rohrmu¨ller, Stefan Sosnowski, Tianguang Zhang, and Dirk
Wollherr – for their fruitful discussions and immense assistance in all the phases of my
work. Special thanksgotomycolleagues/friends Andrea Bauer, HaoDing, Michelle Karg,
Micheal Scheint, Zheng Wang, and Haiyan Wu, for their continuous support, encourage-
ment, and friendship as well as their careful proofreading of this thesis. I am very lucky
to have them and I have really enjoyed the happy hours we spent together both in the
office and in the TU-Mensa. I would also like to thank all the students who contributed
to this thesis: Dong Chen, Nikolay Chenkov, Timo Fritzsch, Yuan Gong, Patrik Leyen-
decker, ThomasPototschnig, HaoWu, andLeiYing, fortheirextraordinaryassistance and
efforts. I greatly appreciate the technical supports from my colleagues Jens H¨olldampf,
Quirin Mu¨hlbauer, Matthias Rugger, Thomas Schauß, Nikolay Stefanov, Ulrich Unterhin-
ninghofen, Herr Jaschik, Herr Gradl, Herr Kubick, Herr Stoeber, and Herr Lowitz, as well
as all the help in administrative issues from Frau Schmid, Frau Werner, and Frau Renner.
Finally, I would like to thank my husband Tianguang and my parents for their uncon-
ditional love, patience, and encouragement.
Munich, December 2009 Tingting Xu
iiito Tianguang
...
ivAbstract
The deployment of technical systems in complex and unstructured everyday environments
has become an essential direction of robotic research, where the limited computation ca-
pacity and the real-time requirements become the bottleneck of the system development.
Cognitive abilities to interpret and select essential information from a large amount of
sensory data are important and necessary, especially for a mobile robotic system.
From the extensive works in biology, cognitive psychology, and neuroscience, visual
attention is considered to be one of the most powerful cognitive processes dealing with
visual informationselection. Considering the challenges arising in the aforementioned con-
text, bothbiologicallyplausibleandtechnically applicablerobotvisual attentionstrategies
should be developed to bridge the gap between fundamental studies and specific technical
realizations.
Thisthesisfocusesontheinvestigationofgoal-directedvisualattentionstrategiesforau-
tonomousmobilerobots,exploredfromthreedifferentperspectives: thestimulus-dependent
aspect, the task-relevant spatial aspect, and the task-relevant temporal aspect. Two
information-based metrics are proposed to enable well-timed perception of temporal and
spatialstimuli,whichisacriticalfactorforawarenessofunexpectedeventsandforensuring
the working order of robots. Integrated approaches to top-down and bottom-up attention
selection are elaborated, where the determination of robot spatial attention allocation for
task-relevant information is investigated. A human-inspired temporal attention control
strategy is proposed, considering the challenge of a limited field of view in multi-object
tasks. Evaluation and demonstration are carried out in simulations and experiments. The
maincontributions arequalitative improvements ofsensitive awareness ofenvironment dy-
namics, efficient, flexible, and adaptable enhancement of task-relevant information, as well
as significant reduction of the overall perception uncertainty through temporal attention
planning.
In this work, application-oriented attention control considering characteristics of mobile
robots functioning in dynamic environments is studied in a general and integrated manner
for the first time. The contributions advance the state of the art in cognitive robot design
and provide valuable insights for future research.
vZusammenfassung
Eine wesentliche Forschungsrichtung im Bereich der Robotik ist der Einsatz von tech-
nischen Systemen in komplexen, unstrukturierten, allt¨aglichen Umgebungen, in denen die
begrenzte Rechenleistung und dieEchtzeitanforderungen dieEngpasse derSystementwick-¨
lung darstellen. Kognitive Fahigkeiten spielen eine Schlusselrolle, um die wesentlichen In-¨ ¨
formationen aus umfangreichen Sensordaten zu extrahieren und zu interpretieren, insbe-
sondere fu¨r mobile Robotersysteme.
In zahlreichen Arbeiten in Biologie, kognitiver Psychologie und Neurowissenschaft wird
die visuelle Aufmerksamkeit als eine der m¨achtigsten kognitiven Prozesse fu¨r die Auswahl
visueller Information angesehen. Unter Berucksichtigung der obengenannten Herausforde-¨
rungen, sollen biologisch plausible und technisch anwendbare visuelle Aufmerksamkeits-
strategien fur Roboter entwickelt werden, um die Lucke zwischen den fundamentalen For-¨ ¨
schungen und spezifischen technischen Realisierungen zu schließen.
Der Fokus dieser Arbeit befasst sich mit der Entwicklung zielgerichteter visueller Auf-
merksamkeitsstrategien fu¨rmobileRoboter,dieausdreiverschiedenen Perspektiven unter-
sucht wird:der reizbasierte Aspekt, der aufgabenorientierte raumliche Aspekt undder auf-¨
gabenorientierte zeitliche Aspekt. Zwei informationsbasierte Metriken werden vorgeschla-
gen,umeinerechtzeitigeWahrnehmungderraumlichenundzeitlichenReizezuermoglichen,¨ ¨
die einen kritischen Faktor fu¨r die Erkenntnis unerwarteter Erreignisse und Garantie des
Arbeitszustandes eines Robotersdarstellt. Integrierte Konzepte fu¨r top-down und bottom-
up basierte Aufmerksamkeitsselektion sind entwickelt, wobei die raumliche Bestimmung¨
der Roboteraufmerksamkeit fur aufgabenrelevante Objekte betrachtet wird. Eine Strate-¨
gie zur zeitlichen Koordination der Aufmerksamkeitssteuerung inspiriert vom menschli-
chen Verhalten wird vorgeschlagen, die die Problematik begrenzter visueller Sichtfelder in
Multi-Objekt-Aufgaben beru¨cksichtigt. Evaluierung und Demonstration erfolgen in Simu-
lationenundExperimenten.Beitr¨agesinddiequalitativeVerbesserungderEmpfindlichkeit
fu¨r Wahrnehmung einer dynamischen Umgebung, effiziente, flexible und anpassungsf¨ahige
PerformanzsteigerungderaufgabenrelevantenInformationsselektion,sowieeinesignifikante
Reduktion der gesamten Wahrnehmungsunsicherheit durch die zeitliche Aufmerksamkeits-
planung.
In dieser Arbeit werden erstmalig anwendungsorientierte Aufmerksamkeitssteuerungen,
die Eigenschaften von Robotern beru¨cksichtigen, in einer integrierten und allgemeinen
Form untersucht. Die Beitr¨age verbessern den Stand der Technik im Design kognitiver
Roboter und liefern wertvolle Einblicke fur die zukunftige Forschung.¨ ¨
viiContents
1 Introduction 1
1.1 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Main Contributions and Outline of the Thesis . . . . . . . . . . . . . . . . 4
2 Related Work 8
2.1 Biological Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2 Fundamental Theories in Cognitive Psychology and Neuroscience . . . . . 9
2.3 Computational Models of Visual Attention . . . . . . . . . . . . . . . . . . 11
2.4 Technical Realizations in the Robotics Domain . . . . . . . . . . . . . . . . 13
2.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3 Information-Based Bottom-Up Perception for Attention Control 20
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.2 Local Surprise for Unexpected Stimuli . . . . . . . . . . . . . . . . . . . . 21
3.2.1 State of the Art . . . . . . . . . . . . . .