Suivi de multi-objet non-rigide par filtrage à particules dans des systèmes multi-caméra : application à la vidéo surveillance

Yifan Zhou

Description

Sous la direction de Henri Nicolas, Jenny Benois Pineau
Thèse soutenue le 30 septembre 2010: Bordeaux 1
En France, la vidéo surveillance est actuellement présenté comme un élément clef de la prévention des crimes, et le nombre de caméras installées dans les lieux publiques a triplé en 2009, passant de 20 000 à 60 000. Malgré le débat généré dans l’opinion publique, il semblerait qu’aucun gouvernement ne souhaite freiner l’utilisation de ces mesures de surveillance. Si l’on met de côté le débat social, d’un point de vue strictement scientifique, ces systèmes de surveillance offrent des bases de données riches et de vrai perspective de recherche en multimédia. Dans ce manuscrit, nous nous sommes concentré sur le développement de méthodes de suivi d’objets multiples non-rigides dans un environnement multi-caméra à l’aide de filtrage à particules. Nous d´ecrirons, dans un premier temps, une méthode de suivi multi-résolution par filtrage à particules avec contrôle de consistance. Cette méthode fut appliquée au suivi d’un seul objet non rigide dans des vidéos dont le nombre d’images pas seconde étaient faible et variable. Elle est etendue pour suivre des objets multiples par filtrage à particules avec double contrôles de consistance. Elle est notamment appliquée pour le défi de TRECVID 2009. An analyse d’événements est finalement ajoutée. Notre méthode de suivi est ensuite étendue d’une seule caméra vers de multiples caméras. Elle fut utilisée pour le suivi d’un objet non-rigide par interaction de caméras. Enfin, une méthode de suivi par filtrage à particules d’objets multiples avec analyse d’événement a été définie pour le suivi de deux objets non-rigides dans un environnement à deux caméras. Notre système peut êre facilement adaptées à de nombreux types de vidéo surveillance car aucune information sur les scènes n’est pré-requise.
-Suivi de multi-object non-rigide
-Vidéo surveillance de multi-caméra
-Filtrage à particules
-Multi-résolution
-Test de Kolmogrov-Smirnov
-Double contrôle de consistance
-Inégalité de Schwartz
-Projection arriérée
-Moindres carrés pondérés itératives
The video surveillance is believed to play a so important role in the crime prevention that only in France, the number of cameras installed at public thoroughfare was tripled in the year 2009, from 20 000 to 60 000. Even though its increasing use has triggered a large debate about security versus privacy, it seems that no government has a willingness to stop the surveillance popularity. However, if we just put aside this social anxiety, from the scientific point of view, millions of surveillance systems do offer us a rich database and an exciting motivation for the multimedia research. We focus on the multiple non-rigid object tracking based on the Particle Filter method in multiple camera environments in this dissertation. The method of Multi-resolution Particle Filter Tracking with Consistency Check is firstly introduced as the basis of our tracking system. It is especially used for single non-rigid object tracking in videos of low and variable frame rate. It is then extended to track multiple non-rigid objects, denoted as Multi-object Particle Filter Tracking with Dual Consistency Check. It is in particularly applied to the challenge TRECVID 2009. An automatic semantic event detection and identification is integrated at last. Our tracking method is later extended from mono-camera to multi-camera environments. It is used for the single non-rigid object tracking with the interaction of cameras. Finally, a system named Multi-object Particle Filter Tracking with Event analysis is designed for tracking two non-rigid objects in two-camera environments. Our tracking system can be easily applied to various video surveillance systems since no prior knowledge of the scene is required.
Source: http://www.theses.fr/2010BOR14096/document

Informations

• Publié par: Thesee
• Nombre de lectures: 46
• Langue: English
• Poids de l'ouvrage: 20 Mo

Extrait

oN d’ordre : 4096
`THESE
´ ´ `PRESENTEE A
´L’UNIVERSITE BORDEAUX I
´ ´ECOLEDOCTORALEDEMATHEMATIQUESET
D’INFORMATIQUE
ParYifan ZHOU
POUROBTENIRLEGRADEDE
DOCTEUR
´ ´SPECIALITE : INFORMATIQUE
Suivi de multi-objet non-rigide par filtrage `a
particules dans des syst`ems multi-cam´era:
Application `a la vid´eo surveillance
Soutenue le : 11 Novembre 2010
Devant la commission d’examen compos´ee de :
´M. Patrick Perez Directeur de recherche Rapporteur
M. Fr´ed´eric Lerasle Maˆıtre de conf´erences Rapporteur
M. Ioannis Patras Lecturer Pr´esident
M. Henri Nicolas Professeur Directeur de th`ese
Mme. Jenny Benois-Pineau Professeur Codirectrice de th`ese
2010To my Horton
– “The probability of any event is the ratio between the value at which an expectation
depending on the happening of the event ought to be computed, and the value of the
thing expected upon its happening.”
— Thomas Bayes (1702-1761)
– “Cause and effect.”
— Chinese sayingv
Acknowledgment
I would like first to thank Mrs. Jenny Benois-Pineau for her professional scientific su-
pervision of my three year’s Ph.D study. Without her, I would have never accomplished
my thesis. I would like also to thank Mr. Henri Nicolas for offering me this Ph.D position
and his guidance in my research direction.
Secondly,IwouldliketothankMr.PatrickP´erezandMr.Fr´ed´ericLerasleforaccepting
being my reviewers, Mr. Ioannis Patras for accepting being member of thesis committee,
who brought me precious comments and corrections on the dissertation.
A great thank to Mr. Boris Mansencal, who was in the charge of the code optimization
and the method evaluation in the corpus TRECVID 2009. Besides, a great thank to Ms.
ClaireMorand,Mr.ChristianKaes,RemiVieuxofmyresearchteam,whocametoputout
the fire every time I went into a software trouble. Many thanks to all the personnel in my
laboratory and university, especially the secretariat, the administration, the informatics
team, the cleaning team for their effort in keeping me a comfortable working environment.
Furthermore,IwouldliketothankmyfriendsMs.MarieBeurton,Mr.PascalDesbarats,
Mr. Fabien Baldacci, Mr. Robert Standh in the laboratory and also Ms. Peggy Aimar, Ms.
Xue Bian, Ms. Alice Cl´ere-Lauz`ely, whom I had lots of great parties together with, which
made the dull Ph.D life much more interesting.
Finally, the greatest thank to my husband Mr. Nicolas Parisey, who is always there
whenever I feel sad, angry, frustrated, of course happy and joyous. I’ve almost forgotten
to thank my dearest parents in China, who sent me regularly the parcels full of Chinese
delicious food which I can find absolutely no where in France.
Thank you all.
Yifan Zhou
September, 2010vii
Suividemulti-objetnon-rigideparfiltrage`aparticules
dans des syst`ems multi-cam´era: Application `a la vid´eo
surveillance
R´esum´e: EnFrance,lavid´eosurveillanceestactuellementpr´esent´eecommeun´el´ement
clefdelapr´eventiondescrimes,etlenombredecam´erasinstall´eesdansleslieuxpubliquesa
tripl´e en 2009, passant de 20 000 `a 60 000. Malgr´e le d´ebat g´en´er´e dans l’opinion publique,
il semblerait qu’aucun gouvernement ne souhaite freiner l’utilisation de ces mesures de
surveillance. Si l’on met de cˆot´e le d´ebat social, d’un point de vue strictement scientifique,
ces syst`emes de surveillance offrent des bases de donn´ees riches et de vrai perspective de
recherche en multim´edia.
Dans ce manuscrit, nous nous sommes concentr´e sur le d´eveloppement de m´ethodes
de suivi d’objets multiples non-rigides dans un environnement multi-cam´era `a l’aide de
filtrage `a particules. Nous d´ecrirons, dans un premier temps, une m´ethode de suivi multi-
r´esolutionparfiltrage`aparticulesaveccontrˆoledecoh´erence.Cettem´ethodefutappliqu´ee
au suivi d’un seul objet non rigide dans des vid´eos dont le nombre d’images pas seconde
´etaitfaibleetvariable.Ellefutensuiteetenduepoursuivredesobjetsmultiplesparfiltrage
`a particules avec double contrˆole de coh´erence. Elle fut notamment appliqu´ee pour le d´efi
de TRECVID 2009. Une analyse d’´ev´enements est finalement ajout´ee.
Notre m´ethode de suivi a ensuite ´et´e ´etendue d’une seule cam´era vers de multiples
cam´eras. Elle fut utilis´ee pour le suivi d’un objet non-rigide par interaction de cam´eras.
Enfin,unem´ethodedesuiviparfiltrage`aparticulesd’objetsmultiplesavecanalysed’´ev`ene-
ments a´et´e d´efinie pour le suivi de deux objets non-rigides dans un environnement `a deux
cam´eras.
Notre syst`eme peut ˆetre facilement adapt´e `a de nombreux types de vid´eo surveillance
car aucune information sur les sc´enes n’est pr´e-requise.
Mots cl´es : Suividemulti-objectnon-rigide,vid´eosurveillancedemulti-cam´era,filtrage
`a particules (filtrage particulaire), multi-r´esolution, test de Kolmogorov-Smirnov, double
contrˆole de coh´erence, in´egalit´e de Schwartz, projection arri´er´ee, moindres carr´es pond´er´es
it´eratives
Discipline : Informatiqueviii
LaBRI (UMR CNRS 5800)
Universit´e Bordeaux 1
351, cours de la Lib´eration
33405 Talence Cedex (FRANCE)Tracking Non-rigid Multi-object based on Particle Fil-
ter in Multi-camera Systems for the Application of
Video Surveillance
Abstract: The video surveillance is believed to play a so important role in the crime
prevention that only in France, the number of cameras installed at public thoroughfare
was tripled in the year 2009, from 20 000 to 60 000. Even though its increasing use has
triggered a large debate about security versus privacy, it seems that no government has
a willingness to stop the surveillance popularity. However, if we just put aside this social
anxiety, from the scientific point of view, millions of surveillance systems do offer us a rich
database and an exciting motivation for the multimedia research.
We focus on the multiple non-rigid object tracking based on the Particle Filter method
in multiple camera environments in this dissertation. The method of Multi-resolution
Particle Filter Tracking with Consistency Check is firstly introduced as the basis of our
tracking system. It is especially used for single non-rigid object tracking in videos of low
and variable frame rate. It is then extended to track multiple non-rigid objects, denoted
as Multi-object Particle Filter Tracking with Dual Consistency Check. It is in particularly
applied to the challenge TRECVID 2009. An automatic semantic event detection and
identification is integrated at last.
Our tracking method is later extended from mono-camera to multi-camera environ-
ments. It is used for the single non-rigid object tracking with the interaction of cameras.
Finally, a system named Multi-object Particle Filter Tracking with Event analysis is de-
signed for tracking two non-rigid objects in two-camera environments.
Our tracking system can be easily applied to various video surveillance systems since
no prior knowledge of the scene is required.
Keywords: Multiple non-rigid object tracking, multi-camera video surveillance, Parti-
cle filter, multi-resolution, Kolmogorov-Smirnov test, dual consistency check, Schwartz’s
inequality, backward projection, adaptive iteratively reweighted least-squares
Discipline: Computer Science and Vision
LaBRI (UMR CNRS 5800)
Universit´e Bordeaux 1x
351, cours de la Lib´eration
33405 Talence Cedex (FRANCE)