Illumination invariant interest point detection for vision based recognition tasks [Elektronische Ressource] / Flore Faille

Sujets

• Informatik

Informations

• Publié par: technische_universitat_munchen
• Publié le: 01 janvier 2007
• Nombre de lectures: 21
• Langue: English
• Poids de l'ouvrage: 12 Mo

Extrait

Illumination invariant interest point
detection for vision based recognition
tasks
Flore Faille
Ph.D. ThesisLehrstuhl fu¨r Realzeit-Computersysteme
Illumination invariant interest point detection for
vision based recognition tasks
Flore Faille
Vollst¨andiger Abdruck der von der Fakult¨at fu¨r Elektrotechnik und Informationstechnik der
Technischen Universit¨at Mun¨ chen zur Erlangung des akademischen Grades eines
Doktor-Ingenieurs (Dr.-Ing.)
genehmigten Dissertation.
Vorsitzender: Univ.-Prof. Dr.-Ing. habil. G. Rigoll
Pru¨fer der Dissertation: 1. Univ.-Prof. Dr.-Ing. G. F¨arber
2. Univ.-Prof. Dr.-Ing. E. Steinbach
Die Dissertation wurde am 25. September 2006 bei der Technischen Universit¨at Mun¨ chen
eingereicht und durch die Fakult¨at fur¨ Elektrotechnik und Informationstechnik am 17. Januar
2007 angenommen.Contents
List of Figures vi
List of Tables ix
List of Symbols x
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Main contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Outline of the thesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 State of the art and related work 6
2.1 Image formation model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.2 Interest point detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.1 State of the art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2.2 The Harris detector . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.3 Extension of the Harris detector for colour images . . . . . . . . . . 14
2.3 Handling illumination variations . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.1 Grey value image processing . . . . . . . . . . . . . . . . . . . . . . 16
2.3.2 Colour image processing . . . . . . . . . . . . . . . . . . . . . . . . 18
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3 Illumination invariant interest point detection for grey value images 25
3.1 Illumination influence on the Harris detector . . . . . . . . . . . . . . . . . 25
3.2 Local normalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3 Homomorphic Harris detector . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4 Local threshold adaptation . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5 Local clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.6 Handling of saturated areas . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.7 Comparison framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.7.1 Quantitative evaluation of the detection stability . . . . . . . . . . 47
3.7.2 Compared interest point detectors . . . . . . . . . . . . . . . . . . . 49
3.7.3 Image data set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.8 Detector evaluation and comparison . . . . . . . . . . . . . . . . . . . . . . 53
3.8.1 Simple illumination changes . . . . . . . . . . . . . . . . . . . . . . 53
3.8.2 Complex illumination changes . . . . . . . . . . . . . . . . . . . . . 55
3.8.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
iiiContents
3.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4 Illumination invariant interest point detection for colour images 63
4.1 Colour image acquisition and demosaicing . . . . . . . . . . . . . . . . . . 63
4.1.1 Presentation of the demosaicing algorithms . . . . . . . . . . . . . . 66
4.1.2 Comparison of the algorithms . . . . . . . . . . . . . . 69
4.1.3 Selection of the most appropriate demosaicing method . . . . . . . 73
4.2 Image formation model and Harris detector for colour images . . . . . . . . 75
4.3 Robust invariant interest point detector . . . . . . . . . . . . . . . . . . . . 78
4.4 Homomorphic colour interest point detector . . . . . . . . . . . . . . . . . 81
4.5 M space interest point detector . . . . . . . . . . . . . . . . . . . . . . . . 84
4.6 Preprocessing for the M space detector . . . . . . . . . . . . . . . . . . . . 91
4.7 Comparison framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
4.7.1 Compared interest point detectors . . . . . . . . . . . . . . . . . . . 95
4.7.2 Image data set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.8 Detector evaluation and comparison . . . . . . . . . . . . . . . . . . . . . . 97
4.8.1 Simple illumination changes . . . . . . . . . . . . . . . . . . . . . . 97
4.8.2 Complex illumination changes . . . . . . . . . . . . . . . . . . . . . 100
4.8.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5 Application to a recognition task 108
5.1 System overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
5.2 Interest point characterisation . . . . . . . . . . . . . . . . . . . . . . . . . 110
5.2.1 Choice of the descriptor algorithm . . . . . . . . . . . . . . . . . . . 110
5.2.2 SIFT descriptors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.3 Stereo reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.3.1 Principles of stereo vision . . . . . . . . . . . . . . . . . . . . . . . 115
5.3.2 Finding correspondences . . . . . . . . . . . . . . . . . . . . . . . . 117
5.3.3 3D reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.4 Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.4.1 Descriptor similarity constraint . . . . . . . . . . . . . . . . . . . . 123
5.4.2 Geometric constraints . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.4.3 Match list constraints. . . . . . . . . . . . . . . . . . . . . . . . . . 128
5.5 Recognition and localisation . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.5.1 Choice of the recognition and localisation algorithm . . . . . . . . . 131
5.5.2 Filling the accumulators . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.3 Taking uncertainties into account . . . . . . . . . . . . . . . . . . . 134
5.5.4 Interpreting the accumulators . . . . . . . . . . . . . . . . . . . . . 136
5.6 Evaluation framework . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.6.1 Evaluation criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.6.2 Compared interest point detectors . . . . . . . . . . . . . . . . . . . 141
5.6.3 Object database and test images . . . . . . . . . . . . . . . . . . . 142
5.7 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
ivContents
5.7.1 Recognition and localisation quality . . . . . . . . . . . . . . . . . . 145
5.7.2 Detector suitability for recognition and localisation . . . . . . . . . 151
5.7.3 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
5.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6 Conclusion 157
6.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.2 Further research . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Bibliography 161
vList of Figures
1.1 Overview of a general object recognition system . . . . . . . . . . . . . . . 2
2.1 The different elements of the image formation model. . . . . . . . . . . . . 7
2.2 Border handling for convolution. . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 Detection example with the Harris detector. . . . . . . . . . . . . . . . . . 15
2.4le with the Harrisr for colour images. . . . . . . . 15
3.1 Detection example for the HD on the same scene under two different illu-
minations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.2 Suppression of the illumination influence on the derivatives with energy
normalisation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Detection example for the N–HD on the same scene under two different
illuminations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4 Suppressionoftheilluminationinfluenceonthederivativeswithhomomor-
phic processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.5 Detection example for the H–HD on the same scene under two different
illuminations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.6 BehaviouroftheratioCF/CF inanimageseriesofasceneunderdifferent
illuminations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.7 Grey value image and corresponding local standard deviation of CF . . . . 35
3.8 Mean and standard deviation of the noise on|CF| . . . . . . . . . . . . . . 36
3.9 Mean and standard deviation of the noise on ln(|CF|) . . . . . . . . . . . . 37
3.10 Detection of the textured areas with the local standard deviation of ln(|CF|) 38
3.11 Histogram of the noise standard deviation on ln(|CF|). . . . . . . . . . . . 39
3.12 Detection example for the AT–HD on the same scene under two different
illuminations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.13 Discretisation for