Visual SLAM from image sequences acquired by unmanned aerial vehicles [Elektronische Ressource] / von Richard Steffen

Richard Steffen

Informations

• Publié par: rheinische_friedrich-wilhelms-universitat_bonn
• Publié le: 01 janvier 2009
• Nombre de lectures: 22
• Langue: English
• Poids de l'ouvrage: 3 Mo

Extrait

Institut fur Geodasie und Geoinformation
Bereich Photogrammetrie
D 98
Visual SLAM from image sequences acquired by
unmanned aerial vehicles
Inaugural-Dissertation
zur
Erlangung des Grades
Doktor-Ingenieur
(Dr.-Ing.)
der
Hohen Landwirtschaftlichen Fakultat
der
Rheinischen Friedrich-Wilhelms-Universitat
zu Bonn
vorgelegt am 27. Juli 2009 von
Richard Ste en
aus Schwerin2
Referent: Prof. Dr. Wolfgang F orstner
Korreferent: Prof. Dr. Wolf-Dieter Schuh
Tag der mundlic hen Prufung: 20.11.2009
Erscheinungsjahr: 2009
Gedruckt bei: Diese Dissertation ist auf dem Hochschulschriften-
server der ULB Bonn
http://hss.ulb.uni-bonn.de/diss online
elektronisch publiziert.3
Never try, never know ...4
This dissertation is dedicated to my parents and to my sister. Thank you for giving
me the strength and hope. Foremost, this work would not have been possible without Prof.
Wolfgang F orstner. It was the best decision in my life to join your research group. Thank you
for your excellent advise, patience and all your support. I will never forget this time. A special
thanks goes to my colleagues at the Department of Photogrammetry for all the productive
discussions. The genial work atmosphere was one of the reasons that made this thesis a
success. In particular, I thank Hanns-Florian Schuster, Mark Luxen, Christian Beder and
Jochen Meidow for giving me the opportunity to learn from you. A special thanks to Heidi
for checking the English spellings. I will remember you as the good spirit of the department.
Finally, I am grateful to all my friends who shared the path of my lifeThis is much more
important to me, than you can imagine.5
Zusammenfassung
Visuelle gleichzeitige Lokalisierung und Kartierung aus Bildfolgen von unbemannten
Flugkorpern
Diese Arbeit zeigt, dass die Kalman lter basierte L osung der Triangulation zur Lokali-
sierung und Kartierung aus Bildfolgen von unbemannten Flugkorpern realisierbar ist. Auf-
grund von Echtzeitanforderungen autonomer Systeme erreichen rekursive Schatz-verfahren,
insbesondere Kalman lter basierte Ans atze, gro e Beliebheit. Bedauerlicherweise treten da-
bei durch die Nichtlinearitat der Triangulation einige E ekte auf, welche die Konsistenz und
Genauigkeit der Losung hinsichtlich der geschatzten Parameter ma geblich beein ussen.
Der erste Beitrag dieser Arbeit besteht in der Herleitung eines generellen Verfahrens
zum rekursiven Verbessern im Kalman lter mit impliziten Beobachtungsgleichungen. Wir
zeigen, dass die klassischen Verfahren im Kalman lter eine Spezialisierung unseres Ansatzes
darstellen.
Im zweiten Beitrag erweitern wir die klassische Modellierung fur ein Einkameramodell zu
einem Mehrkameramodell im Kalman lter. Diese Erweiterung erlaubt es uns, die Pr adiktion
fur eine lineares Bewegungsmodell vollkommen linear zu berechnen.
In einem dritten Hauptbeitrag stellen wir ein neues Verfahren zur Initialisierung von Neu-
punkten im Kalman lter vor. Anhand von empirischen Untersuchungen unter Verwendung
simulierter und realer Daten einer Bildfolge eines photogrammetrischen Streifens zeigen und
vergleichen wir, welchen Ein u die Initialisierungsmethoden f ur Neupunkte im Kalman lter
haben und welche Genauigkeiten fur diese Szenarien erreichbar sind.
Am Beispiel von Bildfolgen eines unbemannten Flugkorpern zeigen wir in dieser Arbeit
als vierten Beitrag, welche Genauigkeit zur Lokalisierung und Kartierung durch Triangula-
tion moglic h ist. Diese theoretische Analyse kann wiederum zu Planungszwecken verwendet
werden.6
Abstract
Visual SLAM from image sequences acquired by unmanned aerial vehicles
This thesis shows that Kalman lter based approaches are su cient for the task of si-
multaneous localization and mapping from image sequences acquired by unmanned aerial
vehicles. Using solely direction measurements to solve the problem of simultaneous localiza-
tion and mapping (SLAM) is an important part of autonomous systems. Because the need for
real-time capable systems, recursive estimation techniques, Kalman lter based approaches
are the main focus of interest. Unfortunately, the non-linearity of the triangulation using the
direction measurements cause decrease of accuracy and consistency of the results.
The rst contribution of this work is a general derivation of the recursive update of the
Kalman lter. This derivation is based on implicit measurement equations, having the classi-
cal iterative non-linear as well as the non-iterative and linear Kalman lter as specializations
of our general derivation.
Second, a new formulation of linear-motion models for the single camera state model
and the sliding window camera state model are given, that make it possible to compute the
prediction in a fully linear manner.
The third major contribution is a novel method for the initialization of new object points
in the Kalman lter. Empirical studies using synthetic and real data of an image sequence
of a photogrammetric strip are made, that demonstrate and compare the in uences of the
initialization methods of new object points in the Kalman lter.
Forth, the accuracy potential of monoscopic image sequences from unmanned aerial ve-
hicles for autonomous localization and mapping is theoretically analyzed, which can be used
for planning purposes.Contents
1 Introduction 11
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2 Collaborations and publications . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.3 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
2 Previous work 19
2.1 Previous work on general estimation techniques . . . . . . . . . . . . . . . . . 21
2.2 Previous work with di erent sensor types . . . . . . . . . . . . . . . . . . . . 25
2.3 Previous work with di erent map representations . . . . . . . . . . . . . . . . 26
2.4 Previous work with di erent ambiances . . . . . . . . . . . . . . . . . . . . . 27
2.5 Previous work for large scenes . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3 Background theory 31
3.1 Geometric entities and transformations . . . . . . . . . . . . . . . . . . . . . . 31
3.1.1 Geometric entities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.1.1.1 Points and lines in the 2d space . . . . . . . . . . . . . . . . 32
3.1.1.2 Points, planes and lines in the 3d space . . . . . . . . . . . . 32
3.1.1.3 Incidence constrains and entity construction . . . . . . . . . 34
3.1.2 Rotations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.1.3 Motions and homographies . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2 Basic image geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.2.1 The of the single image . . . . . . . . . . . . . . . . . . . . . 41
3.2.2 The geometry of the image pair . . . . . . . . . . . . . . . . . . . . . . 44
3.3 Least squares . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.3.1 Least squares optimization . . . . . . . . . . . . . . . . . . . . . . . . 47
78 CONTENTS
3.3.2 Outlier detection and robusti cation . . . . . . . . . . . . . . . . . . . 51
3.3.3 Parameter elimination in the normal equation system . . . . . . . . . 54
3.4 Recursive state estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.4.1 General recursive state estimation . . . . . . . . . . . . . . . . . . . . 56
3.4.2 The derivation of Kalman ltering . . . . . . . . . . . . . . . . . . . . 57
3.4.3 The particle based Kalman ltering . . . . . . . . . . . . . . . . . . . 63
3.4.4 Outlier detection and robusti cation of Kalman ltering . . . . . . . . 66
4 Kalman lter based localization and mapping with a single camera 69
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
4.2 Feature extraction, tracking and matching . . . . . . . . . . . . . . . . . . . . 72
4.3 State representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.3.1 Single camera state . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.2 Sliding window camera state . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.3 Feature representation and update models . . . . . . . . . . . . . . . . 81
4.3.4 The initialization problem . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.3.4.1 Control point initialization . . . . . . . . . . . . . . . . . . . 84
4.3.4.2 Scale free bundle adjustment initialization . . . . . . . . . . 84
4.3.4.3 Inverse distance feature initialization and reduction . . . . . 86
4.3.4.4 Stable feature initialization procedure . . . . . . . . . . . . . 89
4.4 Georeferencing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.5 On particle based Kalman ltering for simultaneous localization and mapping 93
5 Evaluation of the proposed methods 97
5.1 On the theoretical accuracy of photogrammetric strips from image sequences 98
5.1.1 Experimental setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.1.2 The in uence of the eld of view . . . . . . . . . . . . . . . . . . . . . 103
5.1.3 The in uence of the base length . . . . . . . . . . . . . . . . . . . . . 104
5.1.4 The in uence of measurement accuracy . . . . . . . . . . . . . . . . . 105
5.1.5 The in uence of map density . . . . . . . . . . . . . . . . . . . . .