Detection and height estimation of buildings from SAR and optical images using conditional random fields [Elektronische Ressource] / Jan Dirk Wegner

Jan Dirk Wegner

Informations

• Publié par: gottfried_wilhelm_leibniz_universitat_hannover
• Publié le: 01 janvier 2011
• Nombre de lectures: 12
• Langue: English
• Poids de l'ouvrage: 6 Mo

Extrait

Detection and height estimation
of buildings
from SAR and optical images
using conditional random fields
Von der Fakultät für Bauingenieurwesen und Geodäsie
der Gottfried Wilhelm Leibniz Universität Hannover
zur Erlangung des Grades
DOKTOR-INGENIEUR (Dr.-Ing.)
genehmigte Dissertation
von
Dipl.-Ing. Jan Dirk Wegner
geboren am 09.02.1982 in Oldenburg
2011Vorsitzender der Prüfungskommission: Prof. Dr.-Ing. Udo Nackenhorst
Referenten: Prof. Uwe Sörgel
Prof. Dr.-Ing. Uwe Stilla
Prof. Monika Sester
Tag der mündlichen Prüfung: 02. August 2011
Die Dissertation wurde am 20. Juni 2011 bei der
Fakultät für Bauingenieurwesen und Geodäsie
der Gottfried Wilhelm Leibniz Universität Hannover eingereicht.Erklärung
Ich erkläre, dass ich die vorliegende Dissertation selbständig verfasst habe, die benutzten
Hilfsmittel vollständig angegeben sind und die Dissertation nicht als Diplomarbeit,
Masterarbeit oder andere Prüfungsarbeit verwendet wurde. Weiterhin erkläre ich, dass ich
keine anderen Promotionsgesuche eingereicht habe.
Hannover, 20. Juni 2011
Statement
I state that this dissertation has been written entirely by myself. No further sources besides
the ones noted in the bibliography have been used and this dissertation has not been
submitted as Diploma thesis, Master thesis or any other written examination. Furthermore
I state that I have not applied for any other conferral of a doctorate.
Hannover, 20th June 2011Abstract
Single buildings in urban scenes are visible in very high-resolution data of synthetic aper-
ture radar (SAR) sensors like TerraSAR-X or Aes-1. All-weather and all-day data acquisition
capability make SAR a valuable tool for rapid mapping in crisis situations, but geometric
effects as layover and the narrow signal spectrum hamper automatic data analysis. Com-
plementary information derived from a multi-spectral optical high-resolution image can ease
interpretability, but both data cannot be fused pixel-wise due to three-dimensional effects
calling for feature-based fusion.
Contextual information can significantly improve classification if features are insufficient
to discriminate different object categories. Usually rule-based methods are used, needing
manual parameter tuning anew for each scene. Novel methods have to be developed to
detect building objects with a comprehensive contextual probabilistic approach, learning its
parameters from training data in order to guarantee applicability to any scene.
Estimation of building heights is important to determine whether particular buildings are
higher than an expected flooding level, for example. Current methods rely on only few single
measurements or simulations without a sound stochastic interpretation thus struggling in
terms of validity and reliability.
This thesis adresses four essential aspects: First, appropriate features in SAR and optical
data are extracted. Second, novel approaches to probabilistic formulation of urban scene con-
text are introduced. Third, new techniques to measure building heights based on a combination
of one SAR acquisition and an optical image are proposed. Finally, a rigorous stochastic ap-
proach is suggested to derive a single robust height per building with a corresponding precision.
Novel object-context formulations within a Conditional Random Field (CRF) framework
are introduced. A graph is set up on image regions generated by a segmentation, better
preserving object boundaries than standard patch grids. Its irregular structure, representing
the scene topology, is exploited for contextual learning and object detection. A novel way to
capture patterns in partially labeled data, so-called implicit scene context (ISC), is proposed.
Concerning building height estimation, measures relying on combined SAR and optical obser-
vations are developed. Multiple heights per building are combined in a stringent stochastic
framework based on least squares adjustment with functionally dependent parameters. It
allows to assess height accuracies that can be achieved under optimal conditions.
Experiments with one SAR acquisition and an optical image reveal potentials and limita-
tions of the proposed methods. The developed CRF approaches can easily be transferred to
different scenes and to entirely different data overcoming characteristic drawbacks of rule-
based or only partially probabilistic methods. Building detection results are very promising,
but unveil need for, first, more sophisticated features, second, an even higher level of detail
concerning context formulation within the CRF. Least squares adjustment proves to provide
robust building heights, enabling the assessment of their validity and reliability through pre-
cision values. Height estimation with meter accuracy is possible.
Keywords: random fields, contextual classification, height estimationZusammenfassung
In sehr hoch aufgelösten SAR-Daten können einzelne städtische Gebäude erkannt werden.
Geometrische Effekte und schmales Signalspektrum erschweren jedoch die automatisierte Da-
tenanalyse. MultispektraleoptischeFernerkundungsbildertragenkomplementäreInformatio-
nenbei; allerdingsistdiepixel-basierteFusionbeiderDatentypenaufgrunddreidimensionaler
Effekte insbesondere in städtischen Gebieten nicht zielführend.
Genügen direkte Merkmale nicht zur Objektdetektion, kann Kontextwissen diese entschei-
dend verbessern. Aktuelle Ansätze basieren häufig auf einer großen Anzahl Regeln, deren Pa-
rameter für jede Szene manuell eingestellt werden. Die Entwicklung neuer kontext-basierter
probabilistischer Ansätze, die ihre Parameter auf Grundlage von Trainingsdaten erlernen,
ermöglicht eine automatische Anpassung an neue Szenen.
AktuelleAnsätzezurBestimmungvonGebäudehöhennutzenoftnureinzelneMöglichkeiten
zur Höhenmessung. Zudem sind diese in der Regel nicht stochastisch interpretierbar, essen-
tielle Aussagen zu Genauigkeit und Zuverlässigkeit können nicht getroffen werden.
Diese Doktorarbeit behandelt vier wesentliche Aspekte: 1) Die Extraktion von Gebäude-
merkmalen in SAR-Daten und optischen Bildern, 2) neue Ansätze zur probabilistischen For-
mulierung von urbanem Szenenkontext, 3) innovative Methoden zur Höhenbestimmung von
Gebäuden mittels Kombination eines SAR-Datensatzes und eines optischen Bildes, 4) einen
stochastisch strengen Ansatz zur Schätzung einer einzigen Höhe pro Gebäude aus mehreren
gemessenen, der jeweils eine Genauigkeitsaussage trifft.
Neue Möglichkeiten der Formulierung von Kontextwissen basierend auf Conditional Ran-
dom Fields (CRF) werden eingeführt. Unregelmäßige Graphstrukturen von Bildregionen,
die die Szenentopologie repräsentieren, ersetzen Gitter quadratischer Bildteilflächen. Diese
Graphen werden zum umfassenden Erlernen von Objektkontext und zur anschließenden Ob-
jektdetektiongenutzt. EinneuesDiskontinuitätskriteriumalsFunktiondesGrauwertgradien-
tenwirdeingeführt, umbenachbarteRegionenunterschiedlicherKlassenbesserunterscheiden
zu können. Des Weiteren wird ein neuer Ansatz zum Erlernen von Kontext in nur teilweise
semantisch belegten Trainingsdaten eingeführt. Neue Möglichkeiten der Bestimmung von
Gebäudehöhen werden beschrieben und ein Gauß-Helmert-Model eingeführt, das alle Mes-
sungen pro Gebäude ausgleicht und mit einer Standardabweichung versieht. Unter optimalen
Bedingungen erreichbare Höhengenauigkeiten werden bestimmt.
Experimente mit einem SAR-Datensatz und einem optischen Bild lassen sowohl Vorteile
als auch Einschränkungen der vorgeschlagenen Methoden erkennen. Die entwickelten ler-
nenden CRF-Ansätze können ohne Änderungen direkt auf andere Datensätze angewendet
werden, ein großer Vorteil gegenüber regelbasierten Techniken. Die Gebäudedetektionsergeb-
nisse sind sehr vielversprechend, jedoch bieten sich spezifischere Merkmale sowie eine noch
komplexere Modellierung kontextueller Objektrelationen zur weiteren Ergebnisverbesserung
an. Die Gebäudehöhenmessungen kombiniert im Gauß-Helmert-Model liefern Ergebnisse mit
Genauigkeiten im Meterbereich.
Schlagworte: Zufallsfelder, kontext-basierte Klassifizierung, HöhenschätzungTable of Symbols
Symbol Meaning
Probabilistic modelling
P (x) marginal probability of data x
P (y;x) joint probability of data x and label y
P (yjx) conditional proability of y conditioned on x
A (x;y ) association potential of node ii i
I (x;y;y ) interaction potential of considering nodes i and jij i j
Z(x) partition function
h (x) node feature vector (with weights w to be trained)i
(x) edge feature vector (with weights v to be trained)ij
Building height estimation
h height via sun shadows
h height via optical perspective distortionpd
h height via overlap of roof edge and double-bounce linedb
h robust maximum InSAR height in layover rampInSAR
h height via layover in SAR magnitude imagel
h adjusted building height excluding hb;noI InSAR
h adjusted height combining all available height measurementsb
h reference height of airborne laserscanning (LiDAR)L
^ posterior standard deviation after height adjustmentb
difference of adjusted heigh