Reconstruction 3D à partir de séquences vidéo pour l’acquisition du mouvement de personnages en temps réel et sans marqueur, 3D video-based reconstruction for realtime and markerless motion capture

De
Publié par

Sous la direction de Saïda Bouakaz
Thèse soutenue le 30 septembre 2009: Lyon 1
Nous nous intéressons à l'acquisition automatique de mouvements 3D de personnes. Cette opération doit être réalisée sans un équipement spécialisé (marqueurs ou habillage spécifique), pour rendre son utilisation générale, sous la contrainte du temps réel. Pour répondre à ces questions, nous sommes amenés à traiter de la reconstruction et l'analyse de la forme 3D. Concernant le problème de reconstruction 3D en temps réel d'entités en mouvement à partir de plusieurs vues, les approches existantes font souvent appel à des calculs complexes incompatibles avec la contrainte du temps réel. Les approches du type SFS offrent un compromis intéressant entre efficacité algorithmique et précision. Ces dernières utilisent les silhouettes issues de chaque caméra pour proposer un volume englobant des objets. Cependant elles nécessitent un environnement particulièrement contraint, dont le placement minutieux des caméras. Les travaux présentés dans ce manuscrit généralisent l'utilisation des approches SFS à des environnements peu contrôlés. L'acquisition du mouvement revient à déterminer les paramètres offrant la meilleure corrélation entre le modèle et la reconstruction 3D. Notre objectif étant le suivi temps réel, nous proposons des méthodes qui offrent la précision requise et le temps réel. Couplé à un suivi temporel par filtre de Kalman, à un recalage d'objets géométriques simples (ellipsoïdes, sphères, etc.), nous proposons un système temps réel, offrant une erreur de l'ordre de 6%.De par sa robustesse, il permet le suivi simultané de plusieurs personnes, même lors de contacts. Les résultats obtenus ouvrent des perspectives à un transfert vers des applications grand public
-Acquisition de mouvement sans marqueur
-Enveloppe visuelle
-Shape from silhouette
-Reconstruction multi-vues
We aim at automatically capturing 3D motion of persons without markers. To make it flexible, and to consider interactive applications, we address real-time solution, without specialized instrumentation. Real-time body estimation and shape analyze lead to home motion capture application. We begin by addressing the problem of 3D real-time reconstruction of moving objects from multiple views. Existing approaches often involve complex computation methods, making them incompatible with real-time constraints. Shape-From-Silhouette (SFS) approaches provide interesting compromise between algorithm efficiency and accuracy. They estimate 3D objects from their silhouettes in each camera. However they require constrained environments and cameras placement. The works presented in this document generalize the use of SFS approaches to uncontrolled environments. The main methods of marker-less motion capture, are based on parametric modeling of the human body. The acquisition of movement goal is to determine the parameters that provide the best correlation between the model and the 3D reconstruction.The following approaches, more robust, use natural markings of the body extremities: the skin. Coupled with a temporal Kalman filter, a registration of simple geometric objects, or an ellipsoids' decomposition, we have proposed two real-time approaches, providing a mean error of 6%. Thanks to the approach robustness, it allows the simultaneous monitoring of several people even in contacts. The results obtained open up prospects for a transfer to home applications
-Markerless motion capture
-Visual hull
-Shape from silhouette
-Multiple views reconstruction
Source: http://www.theses.fr/2009LYO10156/document
Publié le : mardi 1 novembre 2011
Lecture(s) : 83
Nombre de pages : 272
Voir plus Voir moins

N˚ordre : 156 – 2009
´Ecole Doctorale Informatique et math´ematiques UFR d’Informatique
Reconstruction 3D `a partir de s´equences vid´eo pour l’acquisition du
mouvement de personnages en temps r´eel et sans marqueur
`THESE
pr´esent´ee et soutenue publiquement le 30 Septembre 2009
pour l’obtention du
Doctorat de l’Universit´edeLyon
d´ elivr´e par l’Universit´e Claude Bernard – Lyon 1
(sp´ecialit´e informatique)
par
Brice Michoud
Composition du jury
Pr´esident : M. Roger Mohr Professeur
ENSIMAG, Grenoble
Rapporteurs : M. Michel Dhome Directeur de recherche
Universit´e Blaise Pascal, Clermont - Ferrand
M. Pascal Guitton Professeur
Universit´e Bordeaux 1, Bordeaux
Examinateurs : M. Kadi Bouatouch Professeur
Universit´edeRennes1,Rennes
M. Albert Dipanda Professeur
Universit´e de Bourgogne, Dijon
Mme. Sa¨ıda Bouakaz Professeur
Universit´e Claude Bernard Lyon1, Villeurbanne
M. Erwan Guillou Maˆıtre de conf´erences
Universit´e Claude Bernard Lyon1, Villeurbanne
Laboratoire d’InfoRmatique en Image et Syst`emes d’information — UMR 5205
tel-00603786, version 1 - 27 Jun 2011tel-00603786, version 1 - 27 Jun 2011R´ esum´e
Dans cette th`ese, nous nous int´eressons `a l’acquisition automatique de mouvements 3D de
personnes. Cette op´eration doit ˆetre r´ealis´ee sans un ´equipement sp´ecialis´e(marqueursouha-
billage sp´ecifique), pour rendre son utilisation g´en´erale, sous la contrainte du temps r´eel. Cette
condition est n´ecessaire pour permettre des applications interactives. Pour r´epondre a` ces ques-
tions, nous sommes amen´es `a traiter de la reconstruction et l’analyse de la forme 3D.
Concernant le probl`eme de reconstruction 3D en temps r´eel d’entit´es en mouvement `a partir
de plusieurs vues, les approches existantes font souvent appel `a des calculs complexes incom-
patibles avec la contrainte du temps r´eel. Les approches du type Shape-From-Silhouette (SFS)
offrent un compromis int´eressant entre efficacit´e algorithmique et pr´ecision. Ces derni`eres uti-
lisent les silhouettes issues de chaque cam´era pour proposer un volume englobant des objets.
Cependant elles n´ecessitent un environnement particuli`erement contraint, dont le placement
minutieux des cam´eras. Les travaux pr´esent´es dans ce manuscrit g´en´eralisent l’utilisation des
approches SFS a` des environnements peu contrˆol´es. Ils s’appuient sur le domaine de visibilit´ede
chaque cam´ era, et relaxent les contraintes de leur placement. L’introduction de crit`eres g´eom´e-
triques r´eduit la quantit´ed’artefactsg´en´er´es. Enfin une mesure de confiance sur l’existence de
chaque point 3D compense les erreurs d’extraction de silhouette.
Les principales m´ethodes d’acquisition de mouvements sans marqueur s’appuient sur une
mod´elisation param´etrique du corps. L’acquisition du mouvement revient ad` ´eterminer les pa-
ram`etres offrant la meilleure corr´elation entre le mod`ele et la reconstruction 3D. Ceci implique
la r´esolution d’un syst`eme de grande dimension et donc des temps de calculs prohibitifs. Notre
objectif ´etant le suivi temps r´eel, nous proposons des m´ethodes qui offrent la pr´ecision requise et
le temps r´eel. En premier lieu nous pr´esentons deux approches construites sur l’extraction de la
structure topologique de la forme 3D. Ces premi`eres approches temps r´eel, restent sensibles aux
erreurs induites par l’utilisation d’un faible nombre de cam´eras. Pour augmenter la robustesse,
nous nous appuyons sur un marquage naturel des extr´emit´es du corps : la peau. Coupl´e`aun
suivi temporel par filtre de Kalman, a` un recalage d’objets g´eom´etriques simples (ellipso¨ıdes,
sph`eres, etc.), nous proposons un syst`eme temps r´eel,offrantuneerreurdel’ordrede6%.Celui-ci
acquiert le mouvement d’une personne en temps r´eel `a partir de deux vues. De par sa robustesse,
il permet le suivi simultan´e de plusieurs personnes, mˆemelorsdecontacts.Lesr´esultats obtenus
ouvrent des perspectives `a un transfert vers des applications grand public.
Mots-cl´es: Acquisition de mouvements sans marqueur, Enveloppe Visuelle, temps r´eel, recons-
truction multi-vues.
i
tel-00603786, version 1 - 27 Jun 2011Title : 3D Video-based Reconstruction for Realtime and Markerless Motion
Capture
Abstract
In this thesis, we aim at automatically capturing 3D motion of persons without mark-
ers. To make it flexible, and to consider interactive applications, we address real-time solution,
without specialized instrumentation. Real-time body estimation and shape analyze lead to home
motion capture application
We begin by addressing the problem of 3D real-time reconstruction of moving objects from
multiple views. Existing approaches often involve complex computation methods, making them
incompatible with real-time constraints. Shape-From-Silhouette (SFS) approaches provide inter-
esting compromise between algorithm efficiency and accuracy. They estimate 3D objects from
their silhouettes in each camera. However they require constrained environments and cameras
placement.TheworkspresentedinthisdocumentgeneralizetheuseofSFSapproachestoun-
controlled environments. They take into account each cameras field of view, which relaxes con-
straints on their placement. The introduction of a new geometric criterion reduces the amount
of generated artifacts. Finally a measure of confidence on the truthfulness of each 3D point offset
errors coming from silhouettes extraction.
The main methods of marker-less motion capture, are based on parametric modeling of the
human body. The acquisition of movement goal is to determine the parameters that provide the
best correlation between the model and the 3D reconstruction. This involves solving a problem
of large scale and time calculations prohibitive. As our objective is the real-time monitoring,
we have proposed simple and robust real-time methods, providing the accuracy required by the
target applications. First we present two approaches built on the topological structure of the 3D
shape extraction. This first approach, however, remains sensitive to errors induced by using a
small number of cameras. The following approaches, more robust, use natural markings of the
body extremities : the skin. Coupled with a temporal Kalman filter, a registration of simple
geometric objects, or an ellipsoids’ decomposition, we have proposed two real-time approaches,
providingameanerrorof5%.Theproposedsystemacquiresthemotionofapersoninrealtime
from two views. Thanks to the approach robustness, it allows the simultaneous monitoring of
several people even in contacts. The results obtained open up prospects for a transfer to home
applications.
Keywords: Markerless motion capture, Visual Hull, Real-time, Multi-Views Reconstruction.
Pr´epar´ee
au Laboratoire d’InfoRmatique en Image et Syst`emes d’information (LIRIS) UMR 5205,
Bˆ atiment Nautibus, 43, bd du 11 novembre 1918, 69622 Villeurbanne cedex.
ii
tel-00603786, version 1 - 27 Jun 2011Remerciements
Mon jury de th`ese a ´et´e pour moi un v´eritable honneur. Je remercie M. Roger MOHR
d’avoir pr´esid´e ce jury avec enthousiasme, adresse et justesse. Je remercie M. Michel DHOME
et M. Pascal GUITTON, dont le volume de mon manuscrit n’a pas entach´elar´edaction de
rapports particuli`erement synth´etiques et pr´ecis sur les diff´erents travaux r´ealis´es. Je remercie
M. Kadi BOUATOUCH et M. Albert DIPANDA qui ont accept´es d’ˆetre examinateurs, leurs
questionnements ont contribu´e`a l’ouverture d’un d´ebat scientifique passionnant. Je remercie
Mme Saıda BOUAKAZ et M. Erwan GUILLOU qui ont su conseiller, diriger, et parfois canaliser¨
mes ardeurs scientifiques, afin de rendre ce travail, dont je suis fier aujourd’hui.
Le travail pr´esent´e dans ce manuscrit clˆ ot quatre ann´ees pass´ees au laboratoire LIRIS. Ce
document ne laisse apparaˆıtre que la partie visible de l’iceberg, dont les profondeurs sont sou-
tenues et bˆ aties par un ensemble de coll`egues que je ne saurai laisser dans l’ombre. Je pense
notamment aux membres de l’´equipe SAARA, et particuli`erement `a Erwan pour la confiance
qu’il m’a accord´e, `a son dynamisme scientifique, `asacuriosit´e naturelle et `a son courage pour les
maintes relectures du manuscrit,aS` a¨ıda pour sa rigueur scientifique et son aideal` aformalisa-
tion des proc´ed´esmisenjeux,`a Hector pour son enseignement de la communication scientifique,
a` Mathieu pour nos discussions passionn´ees et ses nombreuses relectures, `a Behzad pour avoir
cruenmoid`es mon Master 2, et encore `a Martine d’avoir introduit et offert une dimension
plastique et artistique a` mon travail. Je tiens a` remercier Saıd pour ses encouragements et sa¨
´confiance. Etant g´eographiquement proche (mais pas seulement) des membres de l’´equipe R3AM,
je tiens ´egalement `a remercier Jean-Claude, Benjamin, Jean-Philippe et Fran¸ cois pour nos dis-
cussions de passionn´es d’image. Je tiens a` remercier Am´elie pour nos ´echanges et le partage de
longs week-ends de r´edaction, rythm´es de menus sushis-caf´e. Enfin je remercie Marie, Marianne,
ainsi que tous ceux que j’oublie, pour l’environnement de travail dans lequel j’ai pu pleinement
m’´epanouir. Je tiens ´egalement `a remercier certains membres de l’UFR d’informatique et parti-
´ ´culi`erement Samir pour sa confiance et son accompagnement, ainsi qu’Elodie, Florence, Eliane,
Sylvain, Alex, Raph et tant d’autres qui on su m’int´egrer au sein de leurs ´equipes p´edagogiques
et permettre des ´echanges fructueux.
Mon investissement fort dans ce travail n’aurait pu ˆetre couronn´edesucc`es sans le r´econfort,
le d´evouement, le courage et encore l’amour de ma compagne, Fanny, qui a toujours su trouver
les mots justes, et accepter mon absence quasi-totale de cette derni`ere ann´ee. Je pense bien
sˆur au soutient que j’ai re¸cu de toute ma famille (M.’s et C.’s) pour leurs encouragements
et leurs relectures expresses et assidues. Je remercie ´egalement mes amis qui se sont arm´ede
compr´ehension face `a d’incessants ”Bah, heu, non, d´esol´e, demain j’travail ...”.
Je suis sorti grandi de ces quatre ann´ees de travail intensif, dont la conclusion ne marque
que le commencement de ma vie professionnelle; commencement et fructification dont vous ˆetes
tous, directement ou indirectement, artisans.
iii
tel-00603786, version 1 - 27 Jun 2011iv
tel-00603786, version 1 - 27 Jun 2011Je d´edie cette th`ese
`a celles et ceux qui ont
cru et croient en moi,
`a ceux qui ont permis
que je me construise
tel que je suis,
Merci.
v
tel-00603786, version 1 - 27 Jun 2011vi
tel-00603786, version 1 - 27 Jun 2011Sommaire
Chapitre 1 Introduction g´en´erale 1
1.1 Contexte...................................... 2
1.2 Reconstruction 3D temps r´eel `apartirdeplusieursvues............ 3
1.3 Acquisition du mouvement 3D en temps r´el.................. 4
Chapitre 2 Capture de mouvements : principales m´ethodes 7
2.1 Syst`emesnonoptiques............................... 8
2.1.1 Approches m´ecaniques .......................... 8
2.1.2 Approchesinertieles ........................... 9
2.1.3 Approches magn´etiques.......................... 9
2.2 Syst`emes optiques `abasedemarqueurs..................... 10
2.3 Syst`emesoptiquessansmarqueur ........................ 11
2.3.1 Estimation2D. 11
2.3.2 Estimation3D............................... 13
2.3.3 Estimation de la forme du corps a` partir d’information optique . . . . 16
2.3.4 Repr´esentationdusqueleted’animation................ 17
2.4 Discusion ..................................... 18
Partie I Reconstruction 3D temps r´eel `a partir de plusieurs vues
Introduction 23
vii
tel-00603786, version 1 - 27 Jun 2011Sommaire
Chapitre 3 Principales m´ethodes de reconstruction 3D optiques 25
3.1 M´ethodesmonoculaires.............................. 25
3.1.1 ShapeFromShading ........................... 26
3.1.2 ShapeFromTexture............................ 26
3.1.3 ShapefromFocus/Defocus........................ 27
3.1.4 Cam´eras 2,5Da`tempsdevol....................... 27
3.2 Approchesmulti-vues............................... 28
3.2.1 St´er´eo.................................... 29
3.2.2 Lumi`ere structur´ee ............................ 30
3.2.3 Shape-From-Silhouette .......................... 31
3.3 Conclusion..................................... 33
Chapitre 4 Les approches Shape-From-Silhouette 35
4.1 Lasilhouetteetsonextraction 36
4.1.1 Approches par diff´erencedepixels.................... 37
4.1.2 Approches r´egion ............................. 38
4.1.3 Approchescontour............................. 38
4.2 Principe g´en´eral de Shape-From-Silhouette ................... 39
4.3 Shape-From-Silhouette,estimateurdel’enveloppevisuelle........... 39
4.4 Lesapprochessurfaciquesetvolumiques..................... 42
4.4.1 Approchessurfaciques........................... 42
4.4.2 ApprochesVolumiques.......................... 44
4.5 Verrous de Shape-From-Silhouette et travaux associ´es............. 46
4.5.1 Contraintes de placement des cam´eras.................. 47
4.5.2 Les entit´es fantoˆmes............................ 48
4.5.3 Sensibilit´e`alaqualit´edel’extractiondessilhouetes.......... 52
4.6 Contributions ................................... 53
Chapitre 5 Extension de l’espace d’acquisition 55
5.1 Enveloppe visuelle ´etendue 56
5.1.1 R´esultats.................................. 63
5.1.2 Discusion................................. 64
5.2 Hypoth`ese de visibilit´epartielle ......................... 66
5.2.1 R´esultats 67
5.2.2 Discusion. 68
5.3 Crit`eredequalit´emaximale............................ 70
5.4 Coh´erenceprojective 70
viii
tel-00603786, version 1 - 27 Jun 2011

Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.

Diffusez cette publication

Vous aimerez aussi