Purposive Three-Dimensional Reconstruction by Means of a Controlled Environment [Elektronische Ressource] / Michael Trummer. Gutachter: Joachim Denzler ; Heinrich Niemann ; Vaclav Hlavac

Michael Trummer

Sujets

• Informatik

Informations

• Publié par: friedrich-schiller-universitat_jena
• Publié le: 01 janvier 2012
• Nombre de lectures: 25
• Langue: Deutsch
• Poids de l'ouvrage: 7 Mo

Extrait

Purposive
Three-dimensional Reconstruction
by Means of a
Controlled Environment
Dissertation
zur Erlangung des akademischen Grades
doctor rerum naturalium (Dr.rer.nat.)
vorgelegt dem Rat der Fakult¨at fu¨r Mathematik und Informatik
der Friedrich-Schiller-Universit¨at Jena
von Diplom-Informatiker Michael Trummer
geboren am 12. September 1980 in Zwickauii
Gutachter
1. Prof.Joachim Denzler, Friedrich-Schiller-Universit¨at, Jena
2. Prof.Heinrich Niemann, Friedrich-Alexander-Universit¨at,
Erlangen-Nu¨rnberg
3. Prof.Vaclav Hlavac, Czech Technical University, Prag
Tag der ¨offentlichen Verteidigung: 24. Juni 2011iii
Versicherung an Eides statt
Gem¨aߧ5 der heute gu¨ltigen Promotionsordnung vom 8.7.2009 der Fakult¨at
fu¨r Mathematik und Informatik der Friedrich-Schiller-Universit¨at Jena
best¨atige ich hiermit folgende Sachverhalte eidesstattlich. Die eben bezeich-
nete Promotionsordnung der Fakult¨at ist mir bekannt. Die vorliegende Dis-
sertation habe ich pers¨onlich angefertigt, ohne hierbei Textabschnitte oder
Ergebnisse von Dritten oder aus eigenen Pru¨fungsarbeiten ohne Kennzeich-
nung u¨bernommen zu haben. Eine Zitierung von Textpassagen anderer
Autoren ist stets mit Quellenangaben versehen. Auswahl und Auswer-
tung des der Dissertation zugrundeliegenden Materials als auch die Erstel-
lung des Manuskriptes erfolgten eigenst¨andig. Dabei habe ich weder die
Hilfe eines Promotionsberaters beansprucht noch geldwerte Leistungen an
Dritteerbracht,diemitdemInhaltderPromotioninZusammenhangstehen.
Die vorliegende Dissertation ist bei keiner anderen Stelle als der Fakult¨at
fu¨r Mathematik und Informatik der Friedrich-Schiller-Universit¨at Jena als
Pru¨fungsleistung eingebracht oder als Dissertation eingereicht.
Ort, Datum Unterschriftiv
Abstract
Retrievingthree-dimensionaldatausingimagingdevicesisarelevanttask
formanyapplicationsinmedicalimaging,surveillance,industrialqualitycon-
trol, and others. As soon as we gain procedural control over parameters of
theimagingdevice, weencounterthenecessityofwell-definedreconstruction
goals and we need methods to achieve them. Hence, we enter next-best-view
planning. The vast part of relevant literature discusses planning approaches
tosamplethewholesurfaceofanobjectusingarangescanningdevice. Inthis
work, we present a formalization of the abstract view planning problem and
deal with different planning aspects, whereat we focus on using an intensity
camerawithoutactiveillumination. Asoneaspectofviewplanning,employ-
ing a controlled environment also provides the planning and reconstruction
methods with additional information. We incorporate the additional know-
ledge of camera parameters into the Kanade-Lucas-Tomasi method used for
featuretracking. TheresultingGuidedKLTtrackingmethodbenefitsfroma
constrainedoptimizationspaceandyieldsimprovedaccuracywhileregarding
theuncertaintyoftheadditionalinput. Servingotherplanningtasksdealing
with known objects, we propose a method for coarse registration of three-
dimensional surface triangulations. By the means of exact surface moments
of surface triangulations we establish invariant surface descriptors based on
moment invariants. These descriptors allow to tackle tasks of surface re-
gistration, classification, retrieval, and clustering, which are also relevant to
view planning. In the main part of this work, we present a modular, online
approach to view planning for three-dimensional reconstruction. Based on
the outcome of the Guided KLT tracking, we design a planning module for
accuracyoptimizationwithrespecttoanextendedE-criterion. Furtherplan-
ning modules endow non-discrete surface estimation and visibility analysis.
The modular nature of the proposed planning system allows to address a
wide range of specific instances of view planning. The theoretical findings in
this work are underlined by experiments evaluating the relevant terms.¨v vU g
Zusammenfassung
Die Rekonstruktion dreidimensionaler Modelle von Objekten unter Verwen-
dungbildgebenderSensorenisteinebedeutendeAufgabenstellunghinsichtlich
¨vieler Anwendungsbereiche in der Medizin, bei der Uberwachung, bei der
industriellen Qualit¨atskontrolle und anderswo. Sobald sich die Sensorik
innerhalb einer kontrollierten Umgebung befindet, also gewisse Parameter
zur Laufzeit angepaßt werden k¨onnen und mu¨ssen, befindet man sich im
Anwendungsfeld der Ansichtenplanung. Die Ansichtenplanung zur dreidi-
mensionalenRekonstruktioninnerhalbeinerkontrolliertenUmgebungumfaßt
MethodenmitderZielstellung, wohldefinierteRekonstruktionszieledurchab-
sichtsvolle Wahl der Parameter der kontrollierten Umgebung zu erreichen.
Ein Großteil der Literatur zur Ansichtenplanung besch¨aftigt sich mit der
Aufgabe, die Oberfl¨ache eines Objektes mit einem Tiefensensor vollst¨andig
abzutasten. Diese Arbeit befaßt sich, basierend auf einer abstrakten For-
malisierung, mit verschiedenen Teilaspekten der Ansichtenplanung, wobei die
Verwendung einer Intensit¨atskamera ohne aktive Lichtprojektion angenom-
men wird. Ein Aspekt der Ansichtenplanung ist die Anwendung zus¨atzlicher
Information, die durch die kontrollierte Umgebung geliefert wird. Hin-
sichtlich dessen stellt diese Arbeit eine Erweiterung der Merkmalsverfolgung
nach Kanade, Lucas und Tomasi vor. Als Ergebnis nutzt die erweiterte
Merkmalsverfolgung Wissen u¨ber die Kameraparameter zur Einschr¨ankung
des Suchraumes der Optimierung unter Beru¨cksichtigung von Unsicherheit,
was erh¨ohte Genauigkeit zur Folge hat. Des weiteren pr¨asentiert diese Ar-
beit ein Verfahren zur Grobregistrierung von dreidimensionalen Ober߬achen-
triangulationen mittels Momentinvarianten. Zu diesem Zweck werden exakte
Ober߬achenmomente berechnet, welche die Grundlage bilden zur Erstel-
lung von Momentinvarianten. Die so erzeugten Merkmale von Ober߬achen-
triangulationen k¨onnen ebenfalls in Klassifikations- und Erkennungsaufgaben
Anwendung finden, so zum Beispiel in der modellbasierten Ansichtenpla-
nung, die Planungsziele bezu¨glich bekannter Objektmodelle umsetzt. Im
Hauptteil der Arbeit wird ein modularer, schritthaltender Ansatz zur An-
sichtenplanung bezu¨glich verschiedenster Teilziele vorgestellt. Basierend auf
der erweiterten Merkmalsverfolgung wird eine Methode zur Genauigkeits-
optimierung entwickelt. Weitere Planungsmodule leisten die Sch¨atzung einer
kontinuierlichen Ober߬ache und Sichtbarkeitsanalyse, wodurch der Weg zum
Planungsziel Vollst¨andigkeit bereitet wird. Der modulare Aufbau des Pla-
nungssystems bietet die M¨oglichkeit, viele konkrete Instanzen des abstrak-
ten Problems Ansichtenplanung zu bearbeiten. Die theoretischen Ergeb-
nissedieserArbeitwerdendurchExperimenteundAuswertungderrelevanten
Gr¨oßen untermauert.vi
Owing to the fact that all experience is a process, no point of view
can ever be the last one.
William JamesContents
1 Introduction 1
1.1 3D Reconstruction and View Planning . . . . . . . . . . . . . . . 1
1.1.1 Problem Existence and Motivation . . . . . . . . . . . . 3
1.1.2 Problem Formalization . . . . . . . . . . . . . . . . . . . 5
1.1.3 Applications of Solutions. . . . . . . . . . . . . . . . . . 7
1.2 Theoretical Approaches to View Planning . . . . . . . . . . . . . 11
1.2.1 Sampling and Interpolation . . . . . . . . . . . . . . . . 11
1.2.2 Probabilistic State Estimation . . . . . . . . . . . . . . . 15
1.3 Selected Approach and Contribution . . . . . . . . . . . . . . . . 18
1.4 Structure of this Work . . . . . . . . . . . . . . . . . . . . . . . 21
2 Literature Review of View Planning Methods 23
2.1 Model-based View Planning Approaches for 3D Reconstruction . 24
2.2 Data-driven View Planning Approaches for 3D Reconstruction . . 26
2.3 Further Aspects of View Planning . . . . . . . . . . . . . . . . . 29
2.4 Critical Acclaim . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3 Relevant Basics of Computer Vision 33
3.1 Camera Models . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.1.1 Affine Camera Models . . . . . . . . . . . . . . . . . . . 36
3.1.1.1 The Orthographic Camera Model . . . . . . . . 36
3.1.1.2 The Isotropically Scaled Orthographic Camera
Model . . . . . . . . . . . . . . . . . . . . . . 37
3.1.1.3 The Anisotropically Scaled Orthographic Cam-
era Model . . . . . . . . . . . . . . . . . . . . 37
3.1.1.4 The Paraperspective Camera Model. . . . . . . 38
3.1.2 Non-affine, Projective Camera Models . . . . . . . . . . . 40
3.1.2.1 The Pinhole Camera Model . . . . . . . . . . . 41
viiviii CONTENTS
3.2 Camera Calibration . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2.1 Direct Calibration . . . . . . . . . . . . . . . . . . . . . 43
3.2.2 Self-Calibration . . . . . . . . . . . . . . . . . . . . . . . 45
3.3 3D Reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 The Epipolar Geometry . . . . . . . . . . . . . . . . . . . . . . 51
3.5 The Correspondence Problem for Data Registration . . . . . . . 56
3.5.1 RANSAC Approaches . . . . . . . . . . . . . . . . . . . 57
3.5.2 The Correspondence Problem for Image Data . . . . . . . 59
3.5.2.1 Stereo Matchi