Design and implementation of a passive stereo infrared imaging system for the surface reconstruction of water waves [Elektronische Ressource] / presented by Volker Hilsenstein

Volker Hilsenstein

Informations

• Publié par: ruprecht-karls-universitat_heidelberg
• Publié le: 01 janvier 2004
• Nombre de lectures: 37
• Langue: Deutsch
• Poids de l'ouvrage: 14 Mo

Extrait

Dissertation
submitted to the
Combined Faculties for the Natural Sciences and for Mathematics
of the Ruperto-Carola University of Heidelberg, Germany
for the degree of
Doctor of Natural Sciences
presented by
Diplom-Physiker Volker Hilsenstein
born in Mannheim, Germany
Oral examination: 5. May 2004Design and Implementation of a Passive Stereo-Infrared
Imaging System for the Surface Reconstruction of Water
Waves
Referees: Prof. Dr. Bernd J˜ahne
Prof. Dr. Kurt RothZusammenfassung
EinequantitativeBeschreibungderAustauschprozessezwischenOzeanundAtmosphare˜
erfordert ein Verstandnis des Ein usses von Wellen auf diese Prozesse. Diese Arbeit˜
stellteinbildgebendes,passivesInfrarot-StereokamerasystemzurRekonstruktionwellen-
bewegter Wasserober ac˜ hen vor. Da keine Lichtquelle unterhalb der Wasserober ˜ache
benotigt wird, ist das System feldgangig. Zunachst werden bestehende Verfahren zur˜ ˜ ˜
WellenvisualisierungbesprochenunddieHauptproblemederstereo-photogrammetrischen
Rekonstruktion von Wasserober achen herausgearbeitet: Transparenz, unzureichende˜
Bildstruktur und spiegelnde Re ektion. Es wird aufgezeigt, da… sich durch Bildauf-
nahme im infraroten Wellenlangenbereich viele dieser Probleme vermeiden lassen. Nach˜
einerWiederholungderInfrarotradiometriewerdendiewichtigstenKomponentenderauf
demStereoprinzipberuhendenOber achenrekonstruktionerlautert: Kamerakalibration,˜ ˜
Epipolargeometrie sowie Disparit˜atssuche. Im Anschlu… wird das verwendete Stereo-
kamerasystem beschrieben. Eine experimentelle Validierung des Systems erfolgte am
Heidelberger Wind-Wellenkanal. Anhand mehrerer dort aufgenommer Infrarot-Stereo-
bildsequenzen von Wasserwellen wird gezeigt, da… das Instrument eine dichte Rekon-
struktion der Wasserober ache ermoglicht. Eine experimentelle Beurteilung der Ge-˜ ˜
nauigkeitdesVerfahrenserfolgtanhandderRekonstruktioneinerruhendenWasserober-
?ache, welche als Referenzebene verwendet wird.˜
Abstract
To quantify air-sea exchange processes, an understanding of how they are in uenced by
water waves is necessary. This work presents a passive, infrared stereo-imaging system
for the reconstruction of a wavy water surface. The system does not require a sub-
merged light source, so it is suitable for fleld operation. The structure of the thesis is
as follows. Previous work on water wave imaging is reviewed and the major problems
with stereo-based reconstruction of water surfaces are identifled: transparency, lack of
textureandspecularre ections. Itisshownthatmanyoftheseproblemscanbeavoided
by imaging at infrared wavelengths. Following a review of infrared radiometry, the key
ingredients of surface reconstruction using the stereo principle are explained, including
camera calibration, epipolar geometry and disparity estimation. A description of the
stereo infrared camera system used in this work is given. An experimental validation of
the system was performed at the Heidelberg wind-wave channel. Several stereo infrared
image sequences of water waves recorded at this facility are used to demonstrate that a
dense surface reconstruction of water waves is possible using this system. The accuracy
of the reconstruction is experimentally assessed using a at water surface as a reference
plane.Contents
1 Introduction 7
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.1.1 Air-Sea Interactions and their Efiects on Climate . . . 7
1.1.2 Factors In uencing Air-Sea Exchange Processes . . . 9
1.1.3 Heat Flux Measurements using Thermography . . . . 11
1.2 Related work . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.1 Stereo Measurements of Water Waves . . . . . . . . . 13
1.2.2 Slopets of Waves . . . . . . . . . . . . . 16
1.3 Why is wave imaging di–cult ? . . . . . . . . . . . . . . . . . 18
1.4 Aim and own contribution . . . . . . . . . . . . . . . . . . . . 21
1.5 Thesis Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2 Basics of Infrared Imaging 25
2.1 Radiometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.1 Deflnitions . . . . . . . . . . . . . . . . . . . . . . . . 26
2.1.2 Electromagnetic Radiation of a Blackbody . . . . . . 30
2.1.3 Emissive Properties of Real Surfaces . . . . . . . . . . 34
2.1.4 Optical Properties of Water in the Infrared Region . . 35
2.2 Infrared Detectors . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.2.1 Types of detectors . . . . . . . . . . . . . . . . . . . . 41
2.2.2 Sensitivity . . . . . . . . . . . . . . . . . . . . . . . . 42
2.2.3 Detector Output and Temperature Measurements . . 43
3 Geometry 47
3.1 Projective Geometry . . . . . . . . . . . . . . . . . . . . . . . 48
23.1.1 The Projective PlaneP . . . . . . . . . . . . . . . . 48
33.1.2 The Projective SpaceP . . . . . . . . . . . . . . . . 49
3.1.3 Homographies . . . . . . . . . . . . . . . . . . . . . . 492 Contents
3.2 Single View Geometry and Camera Models . . . . . . . . . . . 50
3.2.1 Pinhole camera model . . . . . . . . . . . . . . . . . . 50
3.2.2 World Coordinate System . . . . . . . . . . . . . . . 52
3.2.3 CCD-type cameras . . . . . . . . . . . . . . . . . . . 53
3.3 Non-Linear Distortion . . . . . . . . . . . . . . . . . . . . . . 53
3.3.1 Modeling Non-Linear Distortion . . . . . . . . . . . . 54
3.3.2 Correcting for Non-Linear Distortion . . . . . . . . . 55
3.4 Estimation of Camera Parameters using Zhang’s Method . . . 55
3.4.1 The Calibration Process . . . . . . . . . . . . . . . . 57
3.4.2 Initial Guess through Closed-Form Solution . . . . . . 58
3.4.3 Full Solution Minimization of Geometric Error 61
3.5 Two View Geometry . . . . . . . . . . . . . . . . . . . . . . . 62
3.5.1 Calibration of a Stereo Camera System . . . . . . . . 62
3.5.2 Epipolar Constraint and the Fundamental Matrix . . 65
3.5.3 Image Rectiflcation . . . . . . . . . . . . . . . . . . . 67
3.5.4 Projective Distortion-Minimizing Rectiflcation . . . . 69
3.5.5 Triangulation . . . . . . . . . . . . . . . . . . . . . . 73
4 Solving the Correspondence Problem 75
4.1 Classiflcation of Matching Algorithms . . . . . . . . . . . . . . 75
4.1.1 Feature-based Stereo Matching . . . . . . . . . . . . . 76
4.1.2 Area-Based Stereo Matching . . . . . . . . . . . . . . 76
4.2 Prerequisites for Area-Based Matching . . . . . . . . . . . . . 79
4.2.1 Fronto-Parallel . . . . . . . . . . . . . . . . . . . . . . 79
4.2.2 Lambertian Surface . . . . . . . . . . . . . . . . . . . 80
4.2.3 Opacity . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.2.4 Texture . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.2.5 Conclusions Regarding Wave Imaging . . . . . . . . . 82
4.3 Matching Algorithm . . . . . . . . . . . . . . . . . . . . . . . 83
4.3.1 Matching Score . . . . . . . . . . . . . . . . . . . . . 84Contents 3
4.3.2 E–cient Implementation . . . . . . . . . . . . . . . . 84
4.3.3 Computation of Disparity. . . . . . . . . . . . . . . . 87
4.3.4 Sub-Pixel Reflnement . . . . . . . . . . . . . . . . . . 87
4.3.5 Validation of Matches . . . . . . . . . . . . . . . . . . 88
4.3.6 Multi-Scale Approach . . . . . . . . . . . . . . . . . . 89
5 Image Pre- and Postprocessing 93
5.1 Non-Uniformity Correction and Radiometric Calibration . . . 93
5.2 Outlier Removal . . . . . . . . . . . . . . . . . . . . . . . . . . 95
5.3 Regularization: Filling in the Gaps . . . . . . . . . . . . . . . 96
5.3.1 Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.3.2 Filling in Defective Pixels . . . . . . . . . . . . . . . . 98
5.3.3 Regularization of Disparity Estimates . . . . . . . . . 99
6 Experimental Setup and Procedures 101
6.1 Infrared Cameras . . . . . . . . . . . . . . . . . . . . . . . . . 101
6.1.1 Speciflcations . . . . . . . . . . . . . . . . . . . . . . 101
6.1.2 Stereo Setup . . . . . . . . . . . . . . . . . . . . . . . 103
6.2 Blackbody . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
6.3 Acquisition System . . . . . . . . . . . . . . . . . . . . . . . . 104
6.3.1 Frame Grabber . . . . . . . . . . . . . . . . . . . . . 104
6.3.2 Camera Synchronization . . . . . . . . . . . . . . . . 106
6.3.3 PC and RAID . . . . . . . . . . . . . . . . . . . . . . 106
6.4 Geometric Calibration Target . . . . . . . . . . . . . . . . . . 108
6.5 Aeolotron . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
6.6 Experimental Procedure . . . . . . . . . . . . . . . . . . . . . 110
6.6.1 Radiometric Calibration Procedure . . . . . . . . . . 110
6.6.2 Geometric Procedure . . . . . . . . . . . 110
6.6.3 Deployment . . . . . . . . . . . . . . . . . . . . . . . 111
6.6.4 Acquisition of Image Sequences . . . . . . . . . . . . 1124 Contents
7 Results 113
7.1 Radiometric Calibration and Non-Uniformity Correction . . . 113
7.1.1 Thermosensorik CMT Camera . . . . . . . . . . . . . 114
7.1.2 Amber Radiance Camera . . . . . . . . . . . . . . . . 115
7.2 Geometric Camera Calibration . . . . . . . . . . . . . . . . . . 118
7.2.1 Interior Parameters . . . . . . . . . . . . . . . . . . . 120
7.2.2 Exterior P . . . . . . . . . . . . . . . . . . . 122
7.3 Rectiflcation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
7.4 Disparity Estimation . . . . . . . . . . . . . . . . . . . . . . . 128
7.4.1 Test Image Results . . . . . . . . . . . . . . . . . . . 128
7.4.2 Multi-Scale Disparity Estimation . . . . . . .