Extraction of Three-dimensional Information from Images

Sujets

• 3ds Max
• Voxel
• Algorithme de Prim
• 2D Boy
• Shader
• Accuracy International AWP

Informations

• Publié par: Octi
• Nombre de lectures: 65
• Langue: English
• Poids de l'ouvrage: 6 Mo

Extrait

UniversitØ Joseph Fourier de Grenoble (UJF) Extraction of Three-dimensional Information from Images Application to Computer Graphics Extraction d’informations tridimensionnelles partir d’images Application l’informatique graphique Sylvain PARIS ThŁse prØsentØe pour l’obtention du titre de Docteur de l’UniversitØ Joseph Fourier SpØcialitØ Informatique ArrŒtØ MinistØriel du 5 juillet 1984 et du 30 mars 1992 PrØparØe au sein du laboratoire ARTIS-GRAVIR/IMAG-INRIA. UMR CNRS C5527. Composition du jury : Fran ois SILLION Directeur de thŁse Georges-Pierre BONNEAU PrØsident du Jury Wolfgang HEIDRICH Rapporteur Bernard P ROCHE Long QUAN Examinateur2Contents 1 Introduction 1 2 Surface reconstruction 5 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Previous work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 Problem statement and design of the functional . . . . . . . . . . . . . . . . . . . . 37 2.4 General presentation of graph cuts . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 2.5 Global discrete solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 2.6 Practical algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 2.7 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 3 Patchwork reconstruction 75 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 3.2 Motivation and concept de nition . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 3.3 Implementation using graph cut and distance eld . . . . . . . . . . . . . . . . . . . 80 3.4 Two practical algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 3.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4 Face relighting 91 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 4.2 Previous work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 4.3 Overview of the technique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 4.4 Detail texture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 4.5 Parameters of the skin model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114 4.6 Implementation of the rendering engine . . . . . . . . . . . . . . . . . . . . . . . . 121 4.7 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 4.8 Conclusions and future work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 5 Capture of hair geometry 131 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 5.2 Previous work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 5.3 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 5.4 Orientation of the segments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 5.5 Practical implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 5.6 Captured hair results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 5.7 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 5.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 iContents Contents 6 Conclusions 163 6.1 Future work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 Appendices 167 A Technical details and perspective on surface reconstruction 167 A.1 First-order and second-order regularization terms . . . . . . . . . . . . . . . . . . . 167 A.2 Some ideas to extend the functional . . . . . . . . . . . . . . . . . . . . . . . . . . 170 B Technical details on hair capture 175 B.1 In uence of the Projection Pro le on Canny’s Filter . . . . . . . . . . . . . . . . . . 175 B.2 More gures on the orientation measure . . . . . . . . . . . . . . . . . . . . . . . . 177 B.3 Geometric registration of the viewpoints . . . . . . . . . . . . . . . . . . . . . . . . 179 C RØsumØ fran ais 181 C.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 C.2 Reconstruction de surface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 C.3 de patchwork . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190 C.4 RØ-Øclairage de visage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 C.5 Capture de la gØomØtrie d’une chevelure . . . . . . . . . . . . . . . . . . . . . . . . 196 C.6 Conclusion gØnØrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 List of Figures 205 List of Tables 209 Bibliography 211 iiQue soient ici remerciØes toutes les personnes qui ont contribuØ cette thŁse. Je n’en serais pas l sans l’Øducation que ma famille m’a offerte depuis le dØbut. Bien Øvidemment, il n’y aurait pas eu de thŁse non plus sans Fran ois dont les qualitØs font largement oublier le fait qu’il n’ait pas de stylo. C’est une vraie chance d’avoir pour directeur de thŁse quelqu’un qui m’a encadrØ sans m’enfermer, qui m’a laissØ libre de mes choix sans m’abandonner. Merci tous mes collŁgues du labo pour la richesse de leur environnement et pour leurs innombrables coups de main. Je tiens remercier plus particuliŁrement Samuel, StØphane et Sylvain: ce fut un rØel plaisir de traverser ces trois ans de thŁse en mŒme temps qu’eux; et aussi Gilles, Joºlle et Xavier qui m’ont vu plus que rØguliŁrement dØbouler dans leur bureau et qui ont toujours pris le temps de me dØpanner et surtout de m’apprendre les us et coutumes du milieu . Une pensØe aussi tous ceux qui m’ont accueilli chaleureusement Hong Kong et plus particuliŁrement Long. Merci Øvidemment la DGA pour avoir nancØ mes travaux, et spØcialement aux membres de la commission de suivi pour leurs conseils avisØs. Je suis trŁs er d’avoir eu Wolfgang, Long, Bernard, Georges-Pierre et Fran ois dans mon jury pour conclure cette thŁse. Je suis tout particuliŁrement reconnaissant envers Wolfgang et Bernard pour leur travail sur mon manuscrit, et envers Wolfgang et Long pour s’Œtre dØplacØs depuis Vancouver et Hong Kong pour ma soutenance. En n, merci mes amis, ceux qui m’ont rendu la vie Grenoble agrØable et ceux qui ont gardØ le contact mŒme si j’Øtais loin. J’ai choisi de ne pas faire une liste de noms interminable car j’en aurais forcØment oubliØs. Mais si vous m’avez aidØ Œtre l , si nous avons partagØ une discussion, un problŁme, un bug, une deadline, un thØ, une biŁre, une rando, une soirØe, une galŁre, un fou-rire... ces remerciements vous sont destinØs. iiiContents Contents iv1 Introduction Ce manuscrit est en anglais, un rØsumØ fran ais This dissertation is in English, a French sum- est proposØ en annexe C, page 181. mary can be found in Appendix C on page 181 This dissertation focuses on the creation of the information used in Computer Graphics. We especially concentrate on the data needed to render images. These data can be roughly categorized into three types: the shape of the objects, their appearance and their lighting environment. We are mainly interested in the creation of the rst two data types (the object shape and appearance), even if we regularly deal with the light. This thesis proposes several methods to generate these data using real images: We do not ask the user to work directly on the object modeling but we rely on her to provide one or several images of the targeted object. These pictures are then automatically analyzed by the computer that extracts the sought data. We expect from this approach data more faithful to the original object and a shorter creation time. Let’s go in deeper details with a practical example. Consider a simple Computer Graphics task, let’s say producing the data needed to render an image of a teapot, the basic approach is to rely on human skills: The teapot shape is designed in a software dedicated to 3D modeling and a porcelain appearance is de ned through dialog boxes that let the user choose the characteristics of the (color, shininess, patterns, etc). This modeling process is especially time-consuming since the user is in charge of creating everything. The quality of the result also depends on the user pro ciency. A faster approach is to select these data from a library of previously created shapes and materials. It eases the current task but it does not address the issue of the creation the original data within the library. Once these data have been created, there are several well-known methods to render the teapot image. This rendering step is out of the scope of this dissertation. Modeling an existing object But now, consider a trickier case. One does not want a teapot anymore but the teapot she uses every day. A direct approach is to rst create a standard teapot and then to work from it to match theChapter 1. Introduction original teapot. Producing an approximate match is feasible. But imagine that the teapot is decorated with some carved patterns and that there are some golden paintings over the base material. In that case, an accurate match is almost intractable for the user. One has to use techniques more sophisticated than user-driven modeling. To capture the shape of an object, one can use a 3D scanner: It is an apparatus with a laser or a beam of modulated light that measures the 3D shape of an object. The acquisition of the material can also be done using a goniore ectometer [221]: The behavior of the material with the light is measured for all possible light positions and view directions. Both techniques are accurate but require speci c equipments and con guration. This often hinders the use of these techniques. In addition, se