Data-driven methods for compression and editing of spatially varying appearance [Elektronische Ressource] / vorgelegt von Gero Müller

Gero Müller

Description

Data-Driven Methods for Compression andEditing of Spatially Varying AppearanceDissertationzurErlangung des Doktorgrades (Dr. rer. nat.)derMathematisch-Naturwissenschaftlichen Fakultätder Rheinischen Friedrich-Wilhelms-Universität Bonnvorgelegt vonDipl.-Inf. Gero Mülleraus KölnBonn, Dezember 2008Universität BonnInstitut für Informatik IIRömerstraße 164, D-53117 BonnAngefertigt mit Genehmigung der Mathematisch-NaturwissenschaftlichenFakultät der Rheinischen Friedrich-Wilhelms Universität BonnDekan: Prof. Dr. U.-G. Meißner1. Referent: Prof. Dr. Reinhard Klein2. Prof. Dr. Volker Blanz3. Referent: Prof. Dr. Jan KautzTag der Promotion: 1. September 2009Erscheinungsjahr 2009Diese Dissertation ist auf dem Hochschulschriftenserver der ULB Bonnhttp://hss.ulb.uni-bonn.de/diss_onlineelektronisch publiziert.CONTENTSZusammenfassung vAbstract viiAcknowledgements viii1 Introduction 11.1 The Complexity of Surface Appearance . . . . . . . . . . . . . . 21.2 Image-based Rendering and the BTF . . . . . . . . . . . . . . . . 41.3 Main Contributions and Thesis Structure . . . . . . . . . . . . . . 52 Preliminaries of Visual Appearance 92.1 Basic Radiometry . . . . . . . . . . . . . . . . . . . . . . . . . . 102.1.1 Radiometric Quantities . . . . . . . . . . . . . . . . . . . 102.1.2 Photometric . . . . . . . . . . . . . . . . . . . 122.2 The Rendering Equation . . . . . . . . . . . . . . . . . . . . . . 122.3 Material Classification for Computer Graphics . .

Sujets

• Informatik

Informations

• Publié par: rheinische_friedrich-wilhelms-universitat_bonn
• Publié le: 01 janvier 2009
• Nombre de lectures: 18
• Langue: English
• Poids de l'ouvrage: 3 Mo

Extrait

envData-Dri

Editing

of

Methods

orf

essionCompr

and

ppearanceAaryingVSpatially

Dissertation

zurErlangungdesDoktorgrades(Dr.rer.nat.)
derakultätFMathematisch-NaturwissenschaftlichenderRheinischenFriedrich-Wilhelms-UniversitätBonn

vorgelegtvon

MülleroGer.Dipl.-Inf

Kölnaus

2008DezemberBonn,

BonnersitätvUniIIInformatikfürInstitutBonnD-53117164,Römerstraße

AngefertigtderakultätF

Dekan:

Mathematisch-NaturwissenschaftlichenderGenehmigungmitRheinischenFriedrich-WilhelmsUniversitätBonn

Prof.

.Dr

U.-G.

Meißner

1.Referent:Prof.Dr.ReinhardKlein
2.Referent:Prof.Dr.VolkerBlanz
3.Referent:Prof.Dr.JanKautz

TagderPromotion:1.September2009
2009ErscheinungsjahrDieseDissertationistaufdemHochschulschriftenserver

der

http://hss.ulb.uni-bonn.de/diss_onlinepubliziert.elektronisch

ULB

Bonn

Zusammenfassung

Abstract

wledgementsAckno

CONTENTS

v

vii

viii

1oductionIntr11.1TheComplexityofSurfaceAppearance..............2
1.2Image-basedRenderingandtheBTF................4
1.3MainContributionsandThesisStructure..............5

2PreliminariesofVisualAppearance9
2.1BasicRadiometry..........................10
2.1.1RadiometricQuantities...................10
2.1.2PhotometricQuantities...................12
2.2TheRenderingEquation......................12
2.3MaterialClassificationforComputerGraphics...........13
2.3.1HierarchyofDetail.....................14
2.3.2HomogenousMaterials...................15
2.3.3HeterogenousMaterials..................15
2.4ClassicalReectanceModeling...................16
2.4.1ReectanceonIdealizedSurfacePatches.........17
2.4.2BRDFModels.......................18
2.4.3BeyondBRDF-Modeling..................19
2.5Image-BasedRenderingandtheBTF................21
2.5.1LightFieldsandthePlenopticFunction..........22
2.5.2TheReectanceField...................22
2.5.3BidirectionalTextureFunction...............24
2.6Image-BasedAppearanceAcquisition...............25
2.6.1LightTransportMatrix...................25
2.6.2CapturingtheLightTransportMatrix...........26
2.6.3BTFAcquisition......................27

i

I

3

4

5

6

essionCompr

CONTENTS

31

33oundBackgr3.1MatrixFactorization........................35
3.1.1SingularValueDecomposition...............35
3.1.2Block-WiseFactorization..................38
3.1.3Two-passFactorization...................42
3.1.4TensorFactorization....................44
3.1.5AlternativeMethods....................47
3.2Summary..............................48

FactorizingtheBTFTransportMatrix51
4.1MatrixDataArrangement......................51
4.2TensorDataArrangement......................53
4.3DealingwithColor.........................54
4.4EmpiricalComparison.......................55
4.4.1StandardSVD.......................57
4.4.2Block-wiseSVD......................60
4.4.3TensorFactorization....................66
4.5Summary..............................70

Data-DrivenLocalCoordinateSystems73
5.1Uniformlocalframealignment...................76
5.1.1Sphericalcorrelation....................78
5.1.2Generalizationto4D....................79
5.1.3PuttingitTogether.....................81
5.2Non-uniformlocalframealignment................82
5.3ExperimentsandResults......................82
5.3.1SyntheticData.......................83
5.3.2MeasuredBTFs.......................83
5.3.3MeasuredFar-FieldSurfaceReectanceField.......86
5.4Summary..............................87

RelatedandConcurrentWork89
6.1FittingParametricModels.....................89
6.2FixedBasisProjection.......................90
6.3HybridModels...........................91
6.4MRF-Modeling...........................92
6.5PhotometricStereoandAlignmentofReectance.........93

ii

CONTENTS

95EditingII97oundBackgr77.1TextureTransferandImageAnalogies...............99
103BTF-Analogies88.1Multi-ChannelImageAnalogies..................103
8.2FeaturesforBTFanalogies.....................107
8.2.1SingleRGB/Luminanceimages..............107
8.2.2Reconstructedheight-map.................107
8.3ExperimentsandResults......................110
8.3.1Painting...........................110
8.3.2Warping...........................111
8.3.3Transfer...........................111
9Analogy-DrivenBTFInterpolation117
9.1InterpolatingMultipleBTFs....................117
9.2ProceduralLeatherMeso-Geometry................119
9.2.1ProceduralVoronoiCrackPatterns.............120
9.2.2EfficientCrackPatternComputation............121
9.2.3MorphingProceduralCrackPatterns............121
9.2.4FittingCrackPatternstoMeso-Geometry.........123
9.3ExperimentsandResults......................123
10RelatedandConcurrentWork129
10.1AppearanceModelingandEditing.................129
10.2Texturesynthesisandtransfer....................130

133eClosurIII135Conclusions1111.1Summary..............................135
11.2FutureWork.............................137
141yBibliograph155cesSourData157PublicationsofList

iii

vi

C

O

N

T

E

N

T

S

ZUSAMMENFASSUNG

DasrekteWoptischeahrnehmungReexionsvunderhaltenEinschätzungvoneinerMaterialienSzeneundvonOberächengroßeristfürBedeutung.diekorDer-
spezifischeGlanzunddieTextureinerOberächegebenbeispielsweiseAuskunft
imdarüberFalle,obeineseinTextilsMaterialausglatteineroderBaumwporös,oll-weichoderoderSynthetikfhartist,aseroderbesteht.sogar,Inobderes
rechtComputergrafikstiefmütterlichwurdenbehandelt.dieseAspekteDieskanneinermanSzenebiseinerseitsvordaraufwenigenJahrenzurückführen,noch
dasslismusmansichmöglicherweisederBedeutungnochnichtvonMatausreichenderialienbefürwusstdiewWar.ahrnehmungAndererseitsvonistRea-das
kleinenModellierenundvkonomplexenMaterialienStrukturenaufgrundsowiederderenbeteiligtennicht-trimikro-vialenundEinussmesoskaufopischdas
Reexionsverhaltenausgesprochenschwierig.Diesgiltinsbesondere,wennnur
klassischechenmodellezurVModellierungstechnikerfügungstehen,enwiederenPparametrischearameterhäufigReexions-unintuitiundvzuOberä-bedie-
nensindunddieunterUmständengarnichtinderLagesind,dasgewünschte
erzeugen.zuerhaltenVAnstelleAndiesemeinesPunktparametrischensetzennundieModellssowerdengenanntendaten-ggemesseneetriebenenDatendesVerfzuahrenvisuali-an:
sierendenGeometriedatenObjektsodervmitteerwendet.lseinesBeispielehiMotion-CaptureerfürsindperSystemsLaserscannergewonneneakquirierteBewe-
fahrengungsdaten.schonInseitderFvielenormvJahrenonfürdiefotografierteneffektiTveexturenRepräsentationsindkdaten-getriebeneomplexerVMate-er-
Einsatz.imrialoberächendieInBi-dirdieserektionaleArbeitTesollesxturfunktionnunum,einekurzBTFerweiterte.ImDefinitionUnterschiedvonzuTegexturenwöhnlichengehen:
TeBTFxturen,ausdievielenmeistBildern,nurdiedurchuntereinveinzigeserschiedenenBildBeleucrepräsentierthtungenwerden,undunterbestehtverdie-
schiedenenBlickwinkelnaufgenommmenwurden.Somitrepräsentierensiedas
AusseheneinesMaterialsunterderVariationvonBeleuchtungs-undBetrachter-
großerichtung.MengeLeidervonfindetBildern,dieBTFwelcheininderderRePraxisgelbishererforderlichkaumVist,umerwendung,eindaMaterialdie
mitausreichenderGenauigkeiterfassenzukönnen,schwerzuverarbeitenist.

v

ZUSAMMENFASSUNG

IndervorliegendenArbeitwerdennunVerfahrenvorgestellt,welchedieprak-
tischeAnwendbarkeitderBTFdeutlichverbessernsollen,indemsieerstens,die
zutierenderspeicherndeBTFDatenmeermöglichen.gedeutlichDementsprechendreduzieren,undbestehtzweitens,diesedasArbeitefimfizientewesentli-Edi-
eilen:TzweiauschenDerersteTeilstelltTechnikenvor,welcheinderLagesind,dieDatenmenge
unterOriginalgrößeBeibehaltungzuderreduzieren.visuellenHierbeiQualitätwirdefimfektivbesonderenaufwenigerdaraufalsWeinertgeleProzentgt,dassder
sicheinzelneDatenwertemöglichsteffizientwiederausderkomprimiertenDar-
stellungsystemenrekunerlässlichonstruierenist.lassen,DiewasGrundideefürdiedervinteraktiorvegestelltenDarstellungAlgorithmeninRendering-besteht
darin,mathematischeVerfahrenausdemBereichderFaktorisierungvonMatrizen
aufdiegemessenenDatenderBTFzuübertragen.EinweitererwesentlicherBei-
vtragondieseslokalenTKeilsderoordinatensystemenDissertationistreineinaufefBasisfizienterderAlgorithmusgemessenenzurDaten.DerBerechnungAl-
gorithmuskommtimGegensatzzufrüherenArbeitenzudiesemThemaohnedie
aus.ReektionsmodellsspezifischeneinesAnnahmeImzweitenTeilgehtesdannumAlgorithmen,diedieVeränderungderStruk-
turunddesReexionsverhaltenseinerBTFermöglichen,ohnejedesdervielen
durchtausenddieBilderFähigkeiteinzelnaus,füreinfsichacheeditierenzuEditieroperationen,müssen.dieUnsereaufTeinechnikeinzelneszeichnetBildsichan-
gewendetwurden,konsistentaufdengesamtenDatensatzübertragenzukönnen.
ZudiesemZweckgreiftunsereMethodeaufTechnikenausdemBereichderTex-
EintursyntheseweitererundAspektdesTeunseresxturtransfersVerfahrenszurückistdieundvsinnvolleerallgemeinertInterpolationdiesevaufonBTFs.BTFs
basierendaufverallgemeinertemTexturtransfer.DiesermöglichtdasEditierender
ReexionseigenschaftenvonBTFsaufeinevollständigdaten-getriebeneArtund
eise.W

vi

ABSTRACT

forThetheopticalperceptionreectanceofabehas