La lecture à portée de main
Découvre YouScribe en t'inscrivant gratuitement
Je m'inscrisDécouvre YouScribe en t'inscrivant gratuitement
Je m'inscrisDescription
Informations
Publié par | Thesee |
Nombre de lectures | 78 |
Langue | Français |
Poids de l'ouvrage | 6 Mo |
Extrait
N˚ordre : 156 – 2009
´Ecole Doctorale Informatique et math´ematiques UFR d’Informatique
Reconstruction 3D `a partir de s´equences vid´eo pour l’acquisition du
mouvement de personnages en temps r´eel et sans marqueur
`THESE
pr´esent´ee et soutenue publiquement le 30 Septembre 2009
pour l’obtention du
Doctorat de l’Universit´edeLyon
d´ elivr´e par l’Universit´e Claude Bernard – Lyon 1
(sp´ecialit´e informatique)
par
Brice Michoud
Composition du jury
Pr´esident : M. Roger Mohr Professeur
ENSIMAG, Grenoble
Rapporteurs : M. Michel Dhome Directeur de recherche
Universit´e Blaise Pascal, Clermont - Ferrand
M. Pascal Guitton Professeur
Universit´e Bordeaux 1, Bordeaux
Examinateurs : M. Kadi Bouatouch Professeur
Universit´edeRennes1,Rennes
M. Albert Dipanda Professeur
Universit´e de Bourgogne, Dijon
Mme. Sa¨ıda Bouakaz Professeur
Universit´e Claude Bernard Lyon1, Villeurbanne
M. Erwan Guillou Maˆıtre de conf´erences
Universit´e Claude Bernard Lyon1, Villeurbanne
Laboratoire d’InfoRmatique en Image et Syst`emes d’information — UMR 5205
tel-00603786, version 1 - 27 Jun 2011tel-00603786, version 1 - 27 Jun 2011R´ esum´e
Dans cette th`ese, nous nous int´eressons `a l’acquisition automatique de mouvements 3D de
personnes. Cette op´eration doit ˆetre r´ealis´ee sans un ´equipement sp´ecialis´e(marqueursouha-
billage sp´ecifique), pour rendre son utilisation g´en´erale, sous la contrainte du temps r´eel. Cette
condition est n´ecessaire pour permettre des applications interactives. Pour r´epondre a` ces ques-
tions, nous sommes amen´es `a traiter de la reconstruction et l’analyse de la forme 3D.
Concernant le probl`eme de reconstruction 3D en temps r´eel d’entit´es en mouvement `a partir
de plusieurs vues, les approches existantes font souvent appel `a des calculs complexes incom-
patibles avec la contrainte du temps r´eel. Les approches du type Shape-From-Silhouette (SFS)
offrent un compromis int´eressant entre efficacit´e algorithmique et pr´ecision. Ces derni`eres uti-
lisent les silhouettes issues de chaque cam´era pour proposer un volume englobant des objets.
Cependant elles n´ecessitent un environnement particuli`erement contraint, dont le placement
minutieux des cam´eras. Les travaux pr´esent´es dans ce manuscrit g´en´eralisent l’utilisation des
approches SFS a` des environnements peu contrˆol´es. Ils s’appuient sur le domaine de visibilit´ede
chaque cam´ era, et relaxent les contraintes de leur placement. L’introduction de crit`eres g´eom´e-
triques r´eduit la quantit´ed’artefactsg´en´er´es. Enfin une mesure de confiance sur l’existence de
chaque point 3D compense les erreurs d’extraction de silhouette.
Les principales m´ethodes d’acquisition de mouvements sans marqueur s’appuient sur une
mod´elisation param´etrique du corps. L’acquisition du mouvement revient ad` ´eterminer les pa-
ram`etres offrant la meilleure corr´elation entre le mod`ele et la reconstruction 3D. Ceci implique
la r´esolution d’un syst`eme de grande dimension et donc des temps de calculs prohibitifs. Notre
objectif ´etant le suivi temps r´eel, nous proposons des m´ethodes qui offrent la pr´ecision requise et
le temps r´eel. En premier lieu nous pr´esentons deux approches construites sur l’extraction de la
structure topologique de la forme 3D. Ces premi`eres approches temps r´eel, restent sensibles aux
erreurs induites par l’utilisation d’un faible nombre de cam´eras. Pour augmenter la robustesse,
nous nous appuyons sur un marquage naturel des extr´emit´es du corps : la peau. Coupl´e`aun
suivi temporel par filtre de Kalman, a` un recalage d’objets g´eom´etriques simples (ellipso¨ıdes,
sph`eres, etc.), nous proposons un syst`eme temps r´eel,offrantuneerreurdel’ordrede6%.Celui-ci
acquiert le mouvement d’une personne en temps r´eel `a partir de deux vues. De par sa robustesse,
il permet le suivi simultan´e de plusieurs personnes, mˆemelorsdecontacts.Lesr´esultats obtenus
ouvrent des perspectives `a un transfert vers des applications grand public.
Mots-cl´es: Acquisition de mouvements sans marqueur, Enveloppe Visuelle, temps r´eel, recons-
truction multi-vues.
i
tel-00603786, version 1 - 27 Jun 2011Title : 3D Video-based Reconstruction for Realtime and Markerless Motion
Capture
Abstract
In this thesis, we aim at automatically capturing 3D motion of persons without mark-
ers. To make it flexible, and to consider interactive applications, we address real-time solution,
without specialized instrumentation. Real-time body estimation and shape analyze lead to home
motion capture application
We begin by addressing the problem of 3D real-time reconstruction of moving objects from
multiple views. Existing approaches often involve complex computation methods, making them
incompatible with real-time constraints. Shape-From-Silhouette (SFS) approaches provide inter-
esting compromise between algorithm efficiency and accuracy. They estimate 3D objects from
their silhouettes in each camera. However they require constrained environments and cameras
placement.TheworkspresentedinthisdocumentgeneralizetheuseofSFSapproachestoun-
controlled environments. They take into account each cameras field of view, which relaxes con-
straints on their placement. The introduction of a new geometric criterion reduces the amount
of generated artifacts. Finally a measure of confidence on the truthfulness of each 3D point offset
errors coming from silhouettes extraction.
The main methods of marker-less motion capture, are based on parametric modeling of the
human body. The acquisition of movement goal is to determine the parameters that provide the
best correlation between the model and the 3D reconstruction. This involves solving a problem
of large scale and time calculations prohibitive. As our objective is the real-time monitoring,
we have proposed simple and robust real-time methods, providing the accuracy required by the
target applications. First we present two approaches built on the topological structure of the 3D
shape extraction. This first approach, however, remains sensitive to errors induced by using a
small number of cameras. The following approaches, more robust, use natural markings of the
body extremities : the skin. Coupled with a temporal Kalman filter, a registration of simple
geometric objects, or an ellipsoids’ decomposition, we have proposed two real-time approaches,
providingameanerrorof5%.Theproposedsystemacquiresthemotionofapersoninrealtime
from two views. Thanks to the approach robustness, it allows the simultaneous monitoring of
several people even in contacts. The results obtained open up prospects for a transfer to home
applications.
Keywords: Markerless motion capture, Visual Hull, Real-time, Multi-Views Reconstruction.
Pr´epar´ee
au Laboratoire d’InfoRmatique en Image et Syst`emes d’information (LIRIS) UMR 5205,
Bˆ atiment Nautibus, 43, bd du 11 novembre 1918, 69622 Villeurbanne cedex.
ii
tel-00603786, version 1 - 27 Jun 2011Remerciements
Mon jury de th`ese a ´et´e pour moi un v´eritable honneur. Je remercie M. Roger MOHR
d’avoir pr´esid´e ce jury avec enthousiasme, adresse et justesse. Je remercie M. Michel DHOME
et M. Pascal GUITTON, dont le volume de mon manuscrit n’a pas entach´elar´edaction de
rapports particuli`erement synth´etiques et pr´ecis sur les diff´erents travaux r´ealis´es. Je remercie
M. Kadi BOUATOUCH et M. Albert DIPANDA qui ont accept´es d’ˆetre examinateurs, leurs
questionnements ont contribu´e`a l’ouverture d’un d´ebat scientifique passionnant. Je remercie
Mme Saıda BOUAKAZ et M. Erwan GUILLOU qui ont su conseiller, diriger, et parfois canaliser¨
mes ardeurs scientifiques, afin de rendre ce travail, dont je suis fier aujourd’hui.
Le travail pr´esent´e dans ce manuscrit clˆ ot quatre ann´ees pass´ees au laboratoire LIRIS. Ce
document ne laisse apparaˆıtre que la partie visible de l’iceberg, dont les profondeurs sont sou-
tenues et bˆ aties par un ensemble de coll`egues que je ne saurai laisser dans l’ombre. Je pense
notamment aux membres de l’´equipe SAARA, et particuli`erement `a Erwan pour la confiance
qu’il m’a accord´e, `a son dynamisme scientifique, `asacuriosit´e naturelle et `a son courage pour les
maintes relectures du manuscrit,aS` a¨ıda pour sa rigueur scientifique et son aideal` aformalisa-
tion des proc´ed´esmisenjeux,`a Hector pour son enseignement de la communication scientifique,
a` Mathieu pour nos discussions passionn´ees et ses nombreuses relectures, `a Behzad pour avoir
cruenmoid`es mon Master 2, et encore `a Martine d’avoir introduit et offert une dimension
plastique et artistique a` mon travail. Je tiens a` remercier Saıd pour ses encouragements et sa¨
´confiance. Etant g´eographiquement proche (mais pas seulement) des membres de l’´equipe R3AM,
je tiens ´egalement `a remercier Jean-Claude, Benjamin, Jean-Philippe et Fran¸ cois pour nos dis-
cussions de passio