Plant leaf motion estimation using a 5D affine optical flow model [Elektronische Ressource] / Tobias Schuchert. . Forschungszentrum Jülich GmbH, Institute of Chemistry and Dynamics of the Geosphere, Phytosphere. [Publ.: Forschungszentrum Jülich GmbH, Zentralbibliothek]

Tobias Schuchert

Sujets

• Informatik
• Biologie

Informations

• Publié par: rheinisch-westfalischen_technischen_hochschule_-rwth-_aachen
• Publié le: 01 janvier 2010
• Nombre de lectures: 16
• Langue: Deutsch
• Poids de l'ouvrage: 14 Mo

Extrait

Plant Leaf Motion Estimation Using A
5D A ne Optical Flow Model
Von der Fakultat fur Elektrotechnik und Informationstechnik
der Rheinisch-Westfalisc hen Technischen Hochschule Aachen
zur Erlangung des akademischen Grades eines
Doktors der Ingenieurwissenschaften
genehmigte Dissertation
vorgelegt von
Diplom-Ingenieur
Tobias Schuchert
aus Essen
Berichter: Univ.-Prof. Dr.-Ing. Til Aach Jens-Rainer Ohm
Prof. Dr. Uli Schurr
Tag der mundlichen Prufung: 09.02.2010
Diese Dissertation ist auf den Internetseiten der Hochschulbibliothek online
verfugbar.Forschungszentrum Jülich GmbH
Institute of Chemistry and Dynamics of the Geosphere (ICG)
Phytosphere (ICG-3)
Plant Leaf Motion Estimation Using
A 5D Affine Optical Flow Model
Tobias Schuchert
Schriften des Forschungszentrums Jülich
Reihe Energie & Umwelt / Energy & Environment Band / Volume 57
ISSN 1866-1793 ISBN 978-3-89336-613-2Bibliographic information published by the Deutsche Nationalbibliothek.
The Deutsche Nationalbibliothek lists this publication in the Deutsche
Nationalbibliografie; detailed bibliographic data are available in the
Internet at http://dnb.d-nb.de.
Publisher and Forschungszentrum Jülich GmbH
Distributor: Zentralbibliothek, Verlag
D-52425 Jülich
phone:[phone] · fax:[phone]
e-mail: [e-mail]
Internet: http://www.fz-juelich.de/zb
Cover Design: Grafische Medien, Forschungszentrum Jülich GmbH
Printer: Grafors
Copyright: Forschungszentrum Jülich 2010
Schriften des Forschungszentrums Jülich
Reihe Energie & Umwelt / Energy & Environment Band / Volume 57
D 82 (Diss., RWTH Aachen, Univ., 2010)
ISSN 1866-1793
ISBN: 978-3-89336-613-2
The complete volume is freely available on the Internet on the Jülicher Open Access Server (JUWEL) at
http://www.fz-juelich.de/zb/juwel
Neither this book nor any part may be reproduced or transmitted in any form or by any means, electronic
or mechanical, including photocopying, microfilming, and recording, or by any information storage and
retrieval system, without permission in writing from the publisher.Abstract
High accuracy motion analysis of plant leafs is of great interest for plant physiology,
e.g., estimation of plant leaf orientation, or temporal and spatial growth maps, which
are determined by divergence of 3D leaf motion. In this work a new method for plant
leaf motion estimation is presented. The model is based on 5D a ne optical ow,
which allows simultaneous estimation of 3D structure, normals and 3D motion of
objects using multi camera data.
The method consists of several consecutive estimation procedures. In a rst step
the a ne transformation in a 5D data set, i.e., 3D image sequences ( x,y,t) of a 2D
camera grid (s ,s ) is estimated within a di erential framework. In this work thex y
di erential framework, based on an optical ow model, is extended by explicitly
modeling of illumination changes.
A second estimation process yields 3D structure and 3D motion parameters from
the a ne optical ow parameters. Modeling the 3D scene with local surface patches
allows to derive a matrix de ning the projection of 3D structure and 3D motion onto
each camera sensor. The inverse projection matrix is used to estimate 3D structure
(depth and surface normals) and 3D motion, including translation, rotation and
acceleration from up to 24 a ne optical ow parameters.
In order to stabilize the estimation process optical ow parameters are estimated
additionally separated for all cameras. A least squares estimator yields the solution
minimizing the di erence between optical ow parameters and the back projection
of the 3D scene motion onto all cameras.
Experiments on synthetic data demonstrate improved accuracy and improved ro-
bustness against illumination changes compared to methods proposed in recent
literature. Moreover the new method allows estimation of additional parameters
like surface normals, rotation and acceleration. Finally, plant data acquired under
typical laboratory conditions is analyzed, showing the applicability of the method
for plant physiology.
iiiivKurzfassung
Eine detaillierte Bewegungsanalyse von P anzenbl attern ist fur die P anzenphy-
siologie von gro em Interesse, z.B. die Bestimmung der Blattwinkelstellung oder
zeitlich und raumlich hochaufgeloster Blattwachstumskarten, welche sich aus der
3-D-Bewegung eines Blattes berechnen lassen. Im Rahmen dieser Arbeit wurde eine
neue Methode zur Analyse von P anzenblattbewegungen entwickelt. Die Methode
basiert auf dem 5-D-a nen optischen Fluss und erm oglic ht die simultane Bestim-
mung von 3-D-Struktur, Ober achennormalen und 3-D-Bewegung eines Objektes
aus Multi-Kamerasequenzen.
Die Methode basiert auf mehreren, hintereinander ausgefuhrten Schatzungen. Zu-
nachst wird die a ne Transformation einer Umgebung innerhalb eines 5-D-Daten-
satzes, d.h. 3-D-Bildsequenzen (x,y,t) eines 2-D-Kamera-Arrays (s ,s ), mit einemx y
di erentiellen Ansatz nach dem Prinzip des optischen Flusses bestimmt. Das in dieser
Arbeit vorgestellte erweiterte Modell des optischen modelliert auftretende
Helligkeitsanderungen explizit und erhoht somit die Robustheit gegenuber Beleuch-
tungsanderungen.
Nach Bestimmung der 5-D-optischen Flussparameter werden die 3-D-Struktur und
die 3-D-Bewegung, basierend auf einem sogenannten Surface Patch Model, geschatzt.
Die Matrix, die die Projektion der 3-D-Struktur und der 3-D-Bewegung des Surface
Patches auf den jeweiligen Kamerasensor beschreibt, kann mit Hilfe projektiver Geo-
metrie bestimmt werden. Die Inverse dieser Projektionsmatrix ermoglicht dann die
Ermittlung von 3-D-Struktur (Tiefe und Ober achennormalen) und 3-D-Bewegung
(Translation, Beschleunigung und Rotation) aus den bis zu 24 Parametern des a nen
optischen Flusses.
Zur Stabilisierung der Schatzung werden Parameter des optischen Flusses zusatzlic h
separat in allen Kameras geschatzt. Ein Least-Squares Schatzer liefert dann die
Losung, welche die Di erenz zwischen den einzelnen Parametern des optischen Flus-
ses und der Ruckprojektion der 3-D-Bewegung in die einzelnen Kameras minimiert.
Experimente mit synthetischen Daten belegen die hohere Genauigkeit und die hohere
Robustheit gegenuber Beleuchtungsanderungen im Vergleich zu bekannten Verfah-
ren aus der Literatur. Zudem ist die explizite Bestimmung zusatzlicher Parameter
wie Ober achennormalen, Beschleunigung und Rotation moglich. Die erfolgreiche
Auswertung von unter normalen Laborbedingungen erhobenen P anzensequenzen
belegt die Anwendbarkeit der neuen Methode in der P anzenphysiologie.
vviContents
1 Introduction 1
1.1 Motivation and Approach . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Thesis Outline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Parameter Estimation of Dynamic Processes 5
2.1 Model Derivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1 Modeling of Flow Fields . . . . . . . . . . . . . . . . . . . . . 8
2.1.2 Model Limitations . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 Discretization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.3 Parameter Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.1 Least Squares . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3.2 Total Least Squares . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.3 Respecting Known Measurement Errors in Estimation Schemes 17
2.3.4 Robust Estimation . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3 Approaches to 3D Motion Estimation 31
3.1 Scene Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.2 Range Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.2.1 The Range Constraint . . . . . . . . . . . . . . . . . . . . . . 33
3.2.2 The Intensityt . . . . . . . . . . . . . . . . . . . . . 34
3.2.3 Range Flow Estimation . . . . . . . . . . . . . . . . . . . . . . 34
3.3 A ne Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.3.1 Derivation of the BCCE . . . . . . . . . . . . . . . . . . . . . 36
3.3.2 Parameter Estimation . . . . . . . . . . . . . . . . . . . . . . 42
3.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.4.1 Sinusoidal Pattern . . . . . . . . . . . . . . . . . . . . . . . . 45
3.4.2 Synthetic Cube . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.4.3 Plant Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
viiCONTENTS
4 Modeling Brightness Changes 57
4.1 Pre ltering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
4.2 Brightness Constraints . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.2.1 The Gradient Constancy Constraint . . . . . . . . . . . . . . . 60
4.2.2 Combined Intensity and
Gradient Constancy Constraint . . . . . . . . . . . . . . . . . 60
4.2.3 A Physics-Based Brightness Change Model . . . . . . . . . . . 60
4.3 Extension of 3D Motion Estimation Models . . . . . . . . . . . . . . 63
4.3.1 Scene Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.3.2 Range Flow . . . .