Boosting for generic 2D/3D object recognition [Elektronische Ressource] / von Doaa Abd Al-Kareem Mohammed Hegazy

Sujets

• Informatik

Informations

• Publié par: friedrich-schiller-universitat_jena
• Publié le: 01 janvier 2010
• Nombre de lectures: 15
• Langue: Deutsch
• Poids de l'ouvrage: 19 Mo

Extrait

BoostingforGeneric2D/3DObjectRecognition
Dissertation
zurErlangungdesakademischenGrades
doctorrerumnaturalium(Dr. rer. nat.)
vorgelegtdemRatderFakultat¨ fur¨ MathematikundInformatik
derFriedrich Schiller Universit at¨ Jena
vonM.Sc. DoaaAbdAl KareemMohammedHegazy
geborenam21. November1979inKairoii
Gutachter:
1. Prof. Dr. Ing. JoachimDenzler,Friedrich Schiller Universit at¨ Jena
2. Prof. Dr. DanielCremers,RheinischeFriedrich WilhelmsUniversit at¨ Bonn
Tagderof¨ fentlichenVerteidigung: 16. Dezember2009iii
Ehrenwortliche¨ Erklarung¨
Ich versichere, dass ich die Arbeit ohne fremde Hilfe und ohne Benutzung anderer als
der angegebenen Quellen angefertigt habe. Alle Ausfuhrungen,¨ die wortlich¨ oder sin
ngemaߨ ubernommen¨ wurden, sind als solche gekennzeichnet. Bei der Auswahl und
Auswertung des Materials hat mich Prof. Dr. Ing. Joachim Denzler unterst utzt.¨ Die
Hilfe eines Promotionsberaters wurde nicht in Anspruch genommen und Dritte haben
¨wederunmittelbarnochmittelbargeldwerteLeistungenvonmirfurArbeitenerhalten,
dieimZusammenhangmitdemInhaltdervorgelegtenDissertationstehen. DieDisser-
tationwurdenichtingleicheroderahnlicher¨ FormalsPrufungsarbeit¨ fur¨ einestaatliche
oder andere wissenschaftliche Prufung¨ eingereicht. Auch habe ich noch keine andere
Abhandlung bei einer anderen Hochschule als Dissertation eingereicht. Die geltende
PromotionsordnungderFakultat¨ istmirbekannt.
DoaaAbdAl KareemMohammedHegazyiv
Acknowledgments
First of all, I would like to thank Prof. Joachim Denzler for having welcomed me to
join his research group, for supervising my work all the time, for his support and un
derstandingandalsoforhispatience.
I would like also to thank all the group members and all my colleagues for their con
tinuoushelpandalsoformakingmefeelathome.
I would like to give special thanks to my husband for his continuous support all the
timeduringtheworkonthisthesis. Also,Iwouldliketothankmydaughterforgiving
mesomeofherbelovedtoystobuildmydatasets.v
Abstract
Generic object recognition is an important function of the human visual system. Hu
mans are able to categories different object classes in the surrounding environment in
aneasyway. Foranartificialvisionsystemtobeabletoemulatethehumanperception
abilities,itshouldalsobeabletoperformgenericobjectrecognition. However,forthe
machine,itisreallyahard,complexandchallengingtask.
In this thesis, we address the generic object recognition problem and present different
approachesandmodelswhichtackledifferentaspectsofthisdifficultproblem.
First, we present a model for generic 2D object recognition from complex 2D images.
The model exploits only appearance based information, in the form of a combination
oftextureandcolorcues,forbinaryclassificationof2Dobjectclasses. Learningisac
complished in a weakly supervised manner using Boosting. The experimental results
ofthemodelarecomparable,oroutperformotherstate of the artapproaches.
However, we live in a 3D world and the ability to recognize 3D objects is very impor-
tant for any vision system. Therefore, we present a model for generic recognition of
3D objects from range images. The problem of 3D object recognition is originally a
hard task, and it is getting to be harder when recognizing 3D object classes is aimed.
Our model makes use of a combination of simple local shape descriptors extracted
from range images for recognizing 3D object categories, as shape is an important in
formationprovidedbyrangeimages. Moreover,wepresentanoveldatasetforgeneric
object recognition that provides 2D and range images about different object classes.
This dataset is considered to be the first to provide range images for different object
categories. The range images of the dataset are acquired with a Time of Flight (TOF)
camera. Thedatasetisusedtobuildandevaluateourrecognitionmodelandpromising
classificationresultsareobtained.
As the surrounding world contains thousands of different object categories, recogniz
ingmanydifferentobjectclassesisimportantaswell. Therefore,weextendourgeneric
3Dobjectrecognitionmodeltodealwiththemulti classlearningandrecognitiontask.
The learning process is adapted to allow the recognition of different object categories
from range images. The model reveals good categorization performance despite the
difficultyoftheproblem.
Moreover, we extend the multi class recognition model by investigating the use ofvi
different information cues extracted from different data types for improving the cate-
gorizationperformance. Anovelmodelwhichusesacombinationofappearance based
information extracted from 2D images and range based (shape) information extracted
from range images is introduced for multi class generic 3D object recognition and
promisingresultsareobtained. Generally,addressingtheproblemofgeneric3Dobject
recognition from range images is one of the main contributions of the work presented
inthisthesis.vii
¨Ubersicht
Generische Objekterkennung ist eine wichtige Funktion des menschlichen Sehsys
tems. Fur¨ einen Menschen ist es ein Einfaches verschiedene Objekte in seiner Umge
bung zu kategorisieren. Damit ein kunstliches¨ Sehsystem in der Lage ist, die men
schlichenSehfahigk¨ eitennachzuahmen,sollteesauchdiegenerischeObjekterkennung
beherrschen. Allerdings stellt dies fur¨ eine Maschine eine sehr schwierige, komplexe
undherausforderndeAufgabedar.
IndieserArbeitwirddasProblemdergenerischenObjekterkennungbehandelt. Eswer-
denmehrereAnsatze¨ undModellezurLosung¨ verschiedenerAspektediesesschwieri
genProblemsprasentiert.¨ ZuerstwirdeinModellzurgenerischen2 D Objekterkennung
von komplexen 2 D Bildern vorgestellt. Dieses Modell verwendet zur bin aren¨ Klas
sifizierung von 2 D Objektklassen ausschließlich erscheinungsbasierte Information in
Form von kombinierten Textur- und Farbmerkmalen. Das Lernen dieser Merkmale
erfolgt unter geringer Beaufsichtigung (weakly semi supervised) mittels Boosting. In
verschiedenenExperimentenzeigtsich,dassdiesesModellanderenVerfahrenuberle¨ gen
ist.
Da wir in einer dreidimensionalen Welt leben, ist die Erkennung von 3 D Objekten
sehrwichtigfur¨ jedesSehsystem. AusdiesemGrundwirdeinModellzurgenerischen
Erkennung von 3 D Objekten unter Verwendung von Tiefenbildern vorgestellt. 3 D
Objekterkennung ist ein schwieriges Problem. Noch schwieriger ist jedoch die Erken
nungvon3 D Objektklassen. DieObjektformisteinewichtigeInformation,welchein
denTiefenbildernenthaltenist. Um3 D Objektkategorienzuerkennen,verwendetdas
hier vorgestellte Modell eine Kombination aus einfachen, lokalen Formdeskriptoren,
dieausdenTiefenbildernextrahiertwerden.
AußerdemwirdeinneuartigerDatensatzfur¨ generischeObjekterkennungprasentiert,¨
welcherTiefen und2 D BildervonverschiedenenObjektklassenenth alt.¨ DieserDaten
satz ist der erste, der Tiefenbilder fur¨ verschiedene bereitstellt. Die
TiefenbilderwerdenmiteinerTime of Flight Kamera(TOF)aufgenommen. DerDaten
satzwirdzurAuswertungunseresErkennungsmodellsverwendetundeswerdenuberzeu ¨
gendeErgebnisseerreicht.
Da die uns umgebende Welt aus tausenden verschiedenen Objektkategorien besteht,
ist das Erkennen vieler verschiedener Objektkategorien ein weiteres wichtiges Prob viii
lem. Aus diesem Grund wird eine Erweiterung des 3 D Objekterkennungsmodells
vorgestellt, die fur¨ Mehrklassenobjekterkennung geeignet ist. Der Lernprozess wird
soangepasst,dasserdieErkennungvonverschiedenenObjektkategorienaufBasisvon
Tiefenbildernermoglicht.¨ TrotzderSchwierigkeitdesProblemerreichtdasvorgestellte
VerfahrensehrguteErkennungsraten.
Des Weiteren wird unser Mehrklassenerkennungsmodell so erweitert, dass es in der
Lageist,MerkmaleverschiedenerDatentypenzuverwenden,umdieKlassifizierungsleis
tungzuverbessern. DazuwirdeinneuartigesModellzur3 D Objekterkennung
vorgestellt,welcheseineKombinationauserscheinungsbasierterInformationaus2 D
Bildern und formbasierter Information aus Tiefenbildern verwendet. In den Experi
mentenerreichtdiesesModellvielversprechendeErgebnisse.
Die Behandlung des Problems der generischen 3 D Objekterkennung auf Basis von
TiefenbildernisteinerderHauptbeitrage¨ dieserArbeit.Contents
ListofFigures xiii
ListofTables xvii
1 Introduction 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 GenericObjectRecognition . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 Generic2DObjectRecognitionModel . . . . . . . . . . . . 9
1.3.2 New2D/3DCategoryDataset . . . . . . . . . . . . . 9
1.3.3 Generic3DObjectRecognitionModel . . . . . . . . . . . . 10
1.3.4 Combination of Appearance and Range based Information for
Generic3DObjectRecognition . . . . . . . . . . . . . . . . 10
1.4 ThesisOutline . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2 TheoreticalPreliminariesandImportantIssues 13
2.1 RepresentationofObjects . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.1 GlobalRepresentation . . . . . . . . . . . . . . . . . . . . . 14
2.1.2 Local . . . . . . . . . . . . . . . . . . . . . . 14
2.2 LearningObjectsRepresentations . .