Reconstruction 3D à partir de séquences vidéo pour l’acquisition du mouvement de personnages en temps réel et sans marqueur, 3D video-based reconstruction for realtime and markerless motion capture

Brice Michoud

Description

Sous la direction de Saïda Bouakaz
Thèse soutenue le 30 septembre 2009: Lyon 1
Nous nous intéressons à l'acquisition automatique de mouvements 3D de personnes. Cette opération doit être réalisée sans un équipement spécialisé (marqueurs ou habillage spécifique), pour rendre son utilisation générale, sous la contrainte du temps réel. Pour répondre à ces questions, nous sommes amenés à traiter de la reconstruction et l'analyse de la forme 3D. Concernant le problème de reconstruction 3D en temps réel d'entités en mouvement à partir de plusieurs vues, les approches existantes font souvent appel à des calculs complexes incompatibles avec la contrainte du temps réel. Les approches du type SFS offrent un compromis intéressant entre efficacité algorithmique et précision. Ces dernières utilisent les silhouettes issues de chaque caméra pour proposer un volume englobant des objets. Cependant elles nécessitent un environnement particulièrement contraint, dont le placement minutieux des caméras. Les travaux présentés dans ce manuscrit généralisent l'utilisation des approches SFS à des environnements peu contrôlés. L'acquisition du mouvement revient à déterminer les paramètres offrant la meilleure corrélation entre le modèle et la reconstruction 3D. Notre objectif étant le suivi temps réel, nous proposons des méthodes qui offrent la précision requise et le temps réel. Couplé à un suivi temporel par filtre de Kalman, à un recalage d'objets géométriques simples (ellipsoïdes, sphères, etc.), nous proposons un système temps réel, offrant une erreur de l'ordre de 6%.De par sa robustesse, il permet le suivi simultané de plusieurs personnes, même lors de contacts. Les résultats obtenus ouvrent des perspectives à un transfert vers des applications grand public
-Acquisition de mouvement sans marqueur
-Enveloppe visuelle
-Shape from silhouette
-Reconstruction multi-vues
We aim at automatically capturing 3D motion of persons without markers. To make it flexible, and to consider interactive applications, we address real-time solution, without specialized instrumentation. Real-time body estimation and shape analyze lead to home motion capture application. We begin by addressing the problem of 3D real-time reconstruction of moving objects from multiple views. Existing approaches often involve complex computation methods, making them incompatible with real-time constraints. Shape-From-Silhouette (SFS) approaches provide interesting compromise between algorithm efficiency and accuracy. They estimate 3D objects from their silhouettes in each camera. However they require constrained environments and cameras placement. The works presented in this document generalize the use of SFS approaches to uncontrolled environments. The main methods of marker-less motion capture, are based on parametric modeling of the human body. The acquisition of movement goal is to determine the parameters that provide the best correlation between the model and the 3D reconstruction.The following approaches, more robust, use natural markings of the body extremities: the skin. Coupled with a temporal Kalman filter, a registration of simple geometric objects, or an ellipsoids' decomposition, we have proposed two real-time approaches, providing a mean error of 6%. Thanks to the approach robustness, it allows the simultaneous monitoring of several people even in contacts. The results obtained open up prospects for a transfer to home applications
-Markerless motion capture
-Visual hull
-Shape from silhouette
-Multiple views reconstruction
Source: http://www.theses.fr/2009LYO10156/document

Informations

• Publié par: Thesee
• Nombre de lectures: 99
• Langue: Français
• Poids de l'ouvrage: 6 Mo

Extrait

N˚ordre : 156 – 2009
´Ecole Doctorale Informatique et math´ematiques UFR d’Informatique
Reconstruction 3D `a partir de s´equences vid´eo pour l’acquisition du
mouvement de personnages en temps r´eel et sans marqueur
`THESE
pr´esent´ee et soutenue publiquement le 30 Septembre 2009
pour l’obtention du
Doctorat de l’Universit´edeLyon
d´ elivr´e par l’Universit´e Claude Bernard – Lyon 1
(sp´ecialit´e informatique)
par
Brice Michoud
Composition du jury
Pr´esident : M. Roger Mohr Professeur
ENSIMAG, Grenoble
Rapporteurs : M. Michel Dhome Directeur de recherche
Universit´e Blaise Pascal, Clermont - Ferrand
M. Pascal Guitton Professeur
Universit´e Bordeaux 1, Bordeaux
Examinateurs : M. Kadi Bouatouch Professeur
Universit´edeRennes1,Rennes
M. Albert Dipanda Professeur
Universit´e de Bourgogne, Dijon
Mme. Sa¨ıda Bouakaz Professeur
Universit´e Claude Bernard Lyon1, Villeurbanne
M. Erwan Guillou Maˆıtre de conf´erences
Universit´e Claude Bernard Lyon1, Villeurbanne
Laboratoire d’InfoRmatique en Image et Syst`emes d’information — UMR 5205
tel-00603786, version 1 - 27 Jun 2011tel-00603786, version 1 - 27 Jun 2011R´ esum´e
Dans cette th`ese, nous nous int´eressons `a l’acquisition automatique de mouvements 3D de
personnes. Cette op´eration doit ˆetre r´ealis´ee sans un ´equipement sp´ecialis´e(marqueursouha-
billage sp´ecifique), pour rendre son utilisation g´en´erale, sous la contrainte du temps r´eel. Cette
condition est n´ecessaire pour permettre des applications interactives. Pour r´epondre a` ces ques-
tions, nous sommes amen´es `a traiter de la reconstruction et l’analyse de la forme 3D.
Concernant le probl`eme de reconstruction 3D en temps r´eel d’entit´es en mouvement `a partir
de plusieurs vues, les approches existantes font souvent appel `a des calculs complexes incom-
patibles avec la contrainte du temps r´eel. Les approches du type Shape-From-Silhouette (SFS)
offrent un compromis int´eressant entre efficacit´e algorithmique et pr´ecision. Ces derni`eres uti-
lisent les silhouettes issues de chaque cam´era pour proposer un volume englobant des objets.
Cependant elles n´ecessitent un environnement particuli`erement contraint, dont le placement
minutieux des cam´eras. Les travaux pr´esent´es dans ce manuscrit g´en´eralisent l’utilisation des
approches SFS a` des environnements peu contrˆol´es. Ils s’appuient sur le domaine de visibilit´ede
chaque cam´ era, et relaxent les contraintes de leur placement. L’introduction de crit`eres g´eom´e-
triques r´eduit la quantit´ed’artefactsg´en´er´es. Enfin une mesure de confiance sur l’existence de
chaque point 3D compense les erreurs d’extraction de silhouette.
Les principales m´ethodes d’acquisition de mouvements sans marqueur s’appuient sur une
mod´elisation param´etrique du corps. L’acquisition du mouvement revient ad` ´eterminer les pa-
ram`etres offrant la meilleure corr´elation entre le mod`ele et la reconstruction 3D. Ceci implique
la r´esolution d’un syst`eme de grande dimension et donc des temps de calculs prohibitifs. Notre
objectif ´etant le suivi temps r´eel, nous proposons des m´ethodes qui offrent la pr´ecision requise et
le temps r´eel. En premier lieu nous pr´esentons deux approches construites sur l’extraction de la
structure topologique de la forme 3D. Ces premi`eres approches temps r´eel, restent sensibles aux
erreurs induites par l’utilisation d’un faible nombre de cam´eras. Pour augmenter la robustesse,
nous nous appuyons sur un marquage naturel des extr´emit´es du corps : la peau. Coupl´e`aun
suivi temporel par filtre de Kalman, a` un recalage d’objets g´eom´etriques simples (ellipso¨ıdes,
sph`eres, etc.), nous proposons un syst`eme temps r´eel,offrantuneerreurdel’ordrede6%.Celui-ci
acquiert le mouvement d’une personne en temps r´eel `a partir de deux vues. De par sa robustesse,
il permet le suivi simultan´e de plusieurs personnes, mˆemelorsdecontacts.Lesr´esultats obtenus
ouvrent des perspectives `a un transfert vers des applications grand public.
Mots-cl´es: Acquisition de mouvements sans marqueur, Enveloppe Visuelle, temps r´eel, recons-
truction multi-vues.
i
tel-00603786, version 1 - 27 Jun 2011Title : 3D Video-based Reconstruction for Realtime and Markerless Motion
Capture
Abstract
In this thesis, we aim at automatically capturing 3D motion of persons without mark-
ers. To make it flexible, and to consider interactive applications, we address real-time solution,
without specialized instrumentation. Real-time body estimation and shape analyze lead to home
motion capture application
We begin by addressing the problem of 3D real-time reconstruction of moving objects from
multiple views. Existing approaches often involve complex computation methods, making them
incompatible with real-time constraints. Shape-From-Silhouette (SFS) approaches provide inter-
esting compromise between algorithm efficiency and accuracy. They estimate 3D objects from
their silhouettes in each camera. However they require constrained environments and cameras
placement.TheworkspresentedinthisdocumentgeneralizetheuseofSFSapproachestoun-
controlled environments. They take into account each cameras field of view, which relaxes con-
straints on their placement. The introduction of a new geometric criterion reduces the amount
of generated artifacts. Finally a measure of confidence on the truthfulness of each 3D point offset
errors coming from silhouettes extraction.
The main methods of marker-less motion capture, are based on parametric modeling of the
human body. The acquisition of movement goal is to determine the parameters that provide the
best correlation between the model and the 3D reconstruction. This involves solving a problem
of large scale and time calculations prohibitive. As our objective is the real-time monitoring,
we have proposed simple and robust real-time methods, providing the accuracy required by the
target applications. First we present two approaches built on the topological structure of the 3D
shape extraction. This first approach, however, remains sensitive to errors induced by using a
small number of cameras. The following approaches, more robust, use natural markings of the
body extremities : the skin. Coupled with a temporal Kalman filter, a registration of simple
geometric objects, or an ellipsoids’ decomposition, we have proposed two real-time approaches,
providingameanerrorof5%.Theproposedsystemacquiresthemotionofapersoninrealtime
from two views. Thanks to the approach robustness, it allows the simultaneous monitoring of
several people even in contacts. The results obtained open up prospects for a transfer to home
applications.
Keywords: Markerless motion capture, Visual Hull, Real-time, Multi-Views Reconstruction.
Pr´epar´ee
au Laboratoire d’InfoRmatique en Image et Syst`emes d’information (LIRIS) UMR 5205,
Bˆ atiment Nautibus, 43, bd du 11 novembre 1918, 69622 Villeurbanne cedex.
ii
tel-00603786, version 1 - 27 Jun 2011Remerciements
Mon jury de th`ese a ´et´e pour moi un v´eritable honneur. Je remercie M. Roger MOHR
d’avoir pr´esid´e ce jury avec enthousiasme, adresse et justesse. Je remercie M. Michel DHOME
et M. Pascal GUITTON, dont le volume de mon manuscrit n’a pas entach´elar´edaction de
rapports particuli`erement synth´etiques et pr´ecis sur les diff´erents travaux r´ealis´es. Je remercie
M. Kadi BOUATOUCH et M. Albert DIPANDA qui ont accept´es d’ˆetre examinateurs, leurs
questionnements ont contribu´e`a l’ouverture d’un d´ebat scientifique passionnant. Je remercie
Mme Saıda BOUAKAZ et M. Erwan GUILLOU qui ont su conseiller, diriger, et parfois canaliser¨
mes ardeurs scientifiques, afin de rendre ce travail, dont je suis fier aujourd’hui.
Le travail pr´esent´e dans ce manuscrit clˆ ot quatre ann´ees pass´ees au laboratoire LIRIS. Ce
document ne laisse apparaˆıtre que la partie visible de l’iceberg, dont les profondeurs sont sou-
tenues et bˆ aties par un ensemble de coll`egues que je ne saurai laisser dans l’ombre. Je pense
notamment aux membres de l’´equipe SAARA, et particuli`erement `a Erwan pour la confiance
qu’il m’a accord´e, `a son dynamisme scientifique, `asacuriosit´e naturelle et `a son courage pour les
maintes relectures du manuscrit,aS` a¨ıda pour sa rigueur scientifique et son aideal` aformalisa-
tion des proc´ed´esmisenjeux,`a Hector pour son enseignement de la communication scientifique,
a` Mathieu pour nos discussions passionn´ees et ses nombreuses relectures, `a Behzad pour avoir
cruenmoid`es mon Master 2, et encore `a Martine d’avoir introduit et offert une dimension
plastique et artistique a` mon travail. Je tiens a` remercier Saıd pour ses encouragements et sa¨
´confiance. Etant g´eographiquement proche (mais pas seulement) des membres de l’´equipe R3AM,
je tiens ´egalement `a remercier Jean-Claude, Benjamin, Jean-Philippe et Fran¸ cois pour nos dis-
cussions de passio