Vehicle tracking and motion estimation based on stereo vision sequences [Elektronische Ressource] / von Alexander Barth

Alexander Barth

Informations

• Publié par: rheinische_friedrich-wilhelms-universitat_bonn
• Publié le: 01 janvier 2010
• Nombre de lectures: 13
• Langue: Deutsch
• Poids de l'ouvrage: 8 Mo

Extrait

Institut für Geodäsie und Geoinformation
Bereich Photogrammetrie
Vehicle Tracking and Motion Estimation
Based on Stereo Vision Sequences
Inaugural-Dissertation
zur
Erlangung des Grades
Doktor-Ingenieur
(Dr.-Ing.)
der
Hohen Landwirtschaftlichen Fakultät
der
Rheinischen Friedrich-Wilhelms-Universität
zu Bonn
vorgelegt am 09. September 2010 von
Alexander Barth
aus LüdenscheidReferent: Prof. Dr. Wolfgang Förstner
Korreferent: Prof. Dr. Wolf-Dieter Schuh
Tag der mündlichen Prüfung: 26. November 2010
Erscheinungsjahr: 2010
iiDeutsche Zusammenfassung
IndieserDissertationwirdeinAnsatzzurTrajektorienschätzungvonStraßenfahrzeugen
(PKW, Lieferwagen, Motorräder,...) anhand von Stereo-Bildfolgen vorgestellt. Bewegte
Objekte werden in Echtzeit aus einem fahrenden Auto heraus automatisch detektiert,
vermessen und deren Bewegungszustand relativ zum eigenen Fahrzeug zuverlässig be-
stimmt. Die gewonnenen Informationen liefern einen entscheidenden Grundstein für
zukünftige Fahrerassistenz- und Sicherheitssysteme im Automobilbereich, beispielswei-
se zur Kollisionsprädiktion.
Während der Großteil der existierenden Literatur das Detektieren und Verfolgen
vorausfahrender Fahrzeuge in Autobahnszenarien adressiert, setzt diese Arbeit einen
Schwerpunkt auf den Gegenverkehr, speziell an städtischen Kreuzungen. Der Ansatz ist
jedoch grundsätzlich generisch und skalierbar für eine Vielzahl an Verkehrssituationen
(Innenstadt, Landstraße, Autobahn).
Die zu schätzenden Parameter beinhalten die räumliche Lage des anderen Fahrzeugs
relativ zum eigenen Fahrzeug, die Objekt-Geschwindigkeit und -Längsbeschleunigung,
sowie die Rotationsgeschwindigkeit (Gierrate) des beobachteten Objektes. Zusätzlich
werden die Objektabmaße sowie die Objektform rekonstruiert.
Die Grundidee ist es, diese Parameter anhand der Transformation von beobachteten
3D Punkten, welche eine ortsfeste Position auf der Objektoberfläche besitzen, mittels
eines rekursiven Schätzers (Kalman Filter) zu bestimmen. Ein wesentlicher Beitrag
dieser Arbeit liegt in der Kombination des Starrkörpermodells der Punktewolke mit
einem Fahrzeugbewegungsmodell.
An Kreuzungen können sehr unterschiedliche Dynamiken auftreten, von einer Ge-
radeausfahrt mit konstanter Geschwindigkeit bis hin zum raschen Abbiegen. Um eine
manuelle Parameteradaption abhängig von der jeweiligen Szene zu vermeiden, werden
drei verschiedene Ansätze zur automatisierten Anpassung der Filterparameter an die
vorliegende Situation vorgestellt und verglichen. Dies stellt den zweiten Hauptbeitrag
der Arbeit dar.
WeiterewichtigeBeiträgesindzweialternativeInitialisierungsmethoden,einerobuste
Ausreißerbehandlung, ein probabilistischer Ansatz zur Zuordnung neuer Objektpunkte,
sowie die Fusion des bildbasierten Verfahrens mit einem Radar-Sensor.
Das Gesamtsystem wird im Rahmen dieser Arbeit systematisch anhand von simu-
lierten und realen Straßenverkehrsszenen evaluiert. Die Ergebnisse zeigen, dass das
vorgestellte Verfahren in der Lage ist, die unbekannten Objektparameter auch unter
schwierigen Umgebungsbedingungen, beispielsweise bei Nacht, schnellen Abbiegemanö-
vern oder unter Teilverdeckungen, sehr präzise zu schätzen. Die Grenzen des Systems
werden ebenfalls sorgfältig untersucht.
iiiAbstract
In this dissertation, a novel approach for estimating trajectories of road vehicles such as
cars, vans, ormotorbikes, basedonstereoimagesequencesispresented. Movingobjects
are detected and reliably tracked in real-time from within a moving car. The resulting
information on the pose and motion state of other moving objects with respect to the
own vehicle is an essential basis for future driver assistance and safety systems, e.g., for
collision prediction.
Thefocusofthiscontributionisononcomingtraffic, whilemostexistingworkinthelit-
eratureaddressestrackingtheleadvehicle. Theoverallapproachisgenericandscalable
to a variety of traffic scenes including inner city, country road, and highway scenarios.
A considerable part of this thesis addresses oncoming traffic at urban intersections.
The parameters to be estimated include the 3D position and orientation of an object
relativetotheego-vehicle,aswellastheobject’sshape,dimension,velocity,acceleration
and the rotational velocity (yaw rate).
The key idea is to derive these parameters from a set of tracked 3D points on the
object’s surface, which are registered to a time-consistent object coordinate system, by
means of an extended Kalman filter. Combining the rigid 3D point cloud model with
the dynamic model of a vehicle is one main contribution of this thesis.
Vehicle tracking at intersections requires covering a wide range of different object dy-
namics, since vehicles can turn quickly. Three different approaches for tracking objects
during highly dynamic turn maneuvers up to extreme maneuvers such as skidding are
presented and compared. These approaches allow for an online adaptation of the filter
parameter values, overcoming manual parameter tuning depending on the dynamics of
the tracked object in the scene. This is the second main contribution.
Further issues include the introduction of two initialization methods, a robust outlier
handling, a probabilistic approach for assigning new points to a tracked object, as well
as mid-level fusion of the vision-based approach with a radar sensor.
The overall system is systematically evaluated both on simulated and real-world data.
The experimental results show the proposed system is able to accurately estimate the
objectposeandmotionparametersinavarietyofchallengingsituations,includingnight
scenes, quick turn maneuvers, and partial occlusions. The limits of the system are also
carefully investigated.
vAcknowledgements
Writing a dissertation involves the efforts and generous support from many people.
First, I would like to thank my doctoral advisor Prof. Dr. Wolfgang Förstner (Uni-
versity of Bonn) and Dr. Uwe Franke (Daimler AG) for mentoring my PhD work
and giving me valuable support throughout all stages of my research. Discussing my
ideas with these excellent scientists has provided me with an optimal balance between
theoretical aspects and practical engineering expertise.
The warm, creative, and productive atmosphere at the Daimler Environment Per-
ception group in Böblingen, Germany, has provided me with a perfect working envi-
ronment, helping my ideas flourish. My gratitude goes to all colleagues, co-authors,
students, and friends at Daimler for supporting my work with fruitful discussions and
the state-of-the-art technological platform on which I could base my work.
Inaddition, IwouldliketoparticularlythankDr. StefanGehrig, Prof. Dr. Christian
Wöhler, Clemens Rabe, Dr. Andreas Wedel, Heidi Loose, David Pfeiffer, Thomas
Müller, Friedrich Erbs, and Annemarie Meissner.
My special thank goes to Clemens for his amazing software tools and to Heidi for
keeping up my health with citrus fruits.
Although mainly located in Böblingen, I have always felt very welcome at the image
processing group at the University of Bonn, Department of Photogrammetry, which I
gratefully appreciate. Special thanks to Jan Siegemund and Dr. Richard Steffen for
their patience and imagination, while discussing mathematical equations and ideas on
endless just-one-minute phone calls.
Special credits also to Tobi Vaudrey and Sanaz Jahanbakhsh for proof-reading my
thesis and papers, to my family and friends for constantly supporting me during this
time, and to my lovely fiancée. Thank you, Steffi!
I finally want to express my gratitude to the members of the committee, Prof. Dr.
Wolf-Dieter Schuh, Prof. Dr. Jürgen Kusche, and Prof. Dr. Lutz Plümer.
viiContents
Deutsche Zusammenfassung iii
Abstract v
Acknowledgements vii
Notation xiii
1. Introduction 1
1.1. Motivation .................................. 1
1.2. State Of The Art............................... 2
1.2.1. Driver Assistance Systems...................... 2
1.2.2. Vehicle Tracking Using Computer Vision.............. 3
1.3. Thesis Contributions............. 8
1.4. Problem Statement.............................. 9
1.5. Organization of the Thesis.......................... 12
2. Technical Background 13
2.1. Sensors and Sensor Data........................... 13
2.2. Geometric Image Formation and Camera Models ............. 14
2.2.1. Finite Perspective Camera...................... 14
2.2.2. General Projective Camera ..................... 15
2.2.3. Camera Calibration ......... 16
2.3. Stereo Vision ........ 17
2.3.1. Ideal Stereo Configuration 17
2.3.2. Stereo Calibration .... 18
2.3.3. Review on Stereo Algorithms .................... 19
2.3.4. Stixel World ............................. 20
2.4. Vision-based Motion Estimation..... 21
2.4.1. Optical Flow ............................. 21
2.4.2. Scene Flow .............................. 24
2.5. Motion Models ................................ 26
2.5.1. Affine Motion Models ........................ 28
2.5.2. Generic Rigid Body Motion ..................... 28
2.5.3. Vehicle Motion Models........................ 29
2.6. State Estimation ...................