Cette publication est accessible gratuitement
Télécharger

N°d’ordre: D.U.2089
EDSPIC: 487
UNIVERSITÉ BLAISE PASCAL - CLERMONT II
ÉcoleDoctorale
SciencesPourl’IngénieurdeClermont-Ferrand
Thèse
Présentéepar:
Bertrand LUVISON
pourobtentirlegradede
DOCTEUR D’UNIVERSITÉ
Spécialité:Visionpourlarobotique
Détectionnonsuperviséed’évènementsrares
dansunflotvidéo:
Applicationàlasurveillanced’espacespublics
Soutenuepubliquementle13/12/2010devantlejury:
M.Serge MIGUET Président
Mme.Catherine ACHARD Rapporteur
Mme.Jenny BENOIS-PINEAU
M.Jean-Marc ODOBEZ Examinateur
M.Thierry CHATEAU Encadrant
M.Quoc-Cuong PHAM
M.Patrick SAYD Encadrant
M.Jean-Thierry LAPRESTÉ Directeurdethèse
tel-00626490, version 1 - 26 Sep 2011tel-00626490, version 1 - 26 Sep 2011Remerciements
Cemanuscritdethèsedétaillelestravauxderecherchequiontétémenéspourproposerunsystème
de vidéoassistance pour la détection d’évènements anormaux dans une scène publique. Ces travaux
ont été réalisés en co-tutelle entre le LASMEA à Aubière, dirigé par Michel DHOME et le LVIC du
CEA, LIST à Gif-sur-Yvette, dirigé par François GASPARD que je remercie pour m’avoir donner
l’opportunitéderéalisercettethèseauseindeleurlaboratoirerespectif.
Je remercie Serge MIGUET, Professeur et Directeur de Recherches au LIRIS (Laboratoire d’In-
foRmatique en Image et Systèmes d’information à Lyon) pour avoir accepté la présidence de mon
jury.
Je remercie Madame Catherine ACHARD, Maître de Conférences et Directeur de Recherches à
l’ISIR (Institut des Systèmes Intelligents et de Robotique à Paris) ainsi que Jenny BENOIS-PINEAU,
Professeur et Directeur de Recherches au LABRI (LAboratoire Bordelais de Recherche en Informa-
tique)pourletempsqu’ellesontconsacréetl’intérêtqu’ellesontportéàl’évaluationdemestravaux
entantquerapporteurs.
JeremercieégalementMonsieurJean-MarcODOBEZ,ChercheurSénioràl’IDIAPenSuissepour
l’ensembledesesremarquesetconseilslorsdenosdifférentesrencontresdurantcettethèseainsique
pouravoiracceptédeparticiperaujugementdemestravaux.
J’adressetoutemagratitudeàJean-Thierry LASPRESTÉ pouravoiraccepterd’êtremondirecteur
de thèse et pour avoir toujours été là lors des nombreuses difficultés auxquelles j’ai du faire face
durantcettethèse.Mercipourtoutescesconnaissancesscientifiquesquetuassumetransmettre.
Magratitudes’adresseaussiàl’ensembledemesencadrants,Thierry CHATEAU,MaîtredeCon-
férences à l’université Blaise Pascal, Quoc-Cuong PHAM et Patrick SAYD, tous deux Ingénieurs
Chercheurs au CEA. Merci pour votre soutien et votre encadrement tout au long de cette thèse, pour
votre bonne humeur quotidienne et surtout pour avoir su me transmettre la passion de ce travail. Je
suisaujourd’huifierdepouvoircontinueràtravailleravecvous.
Je remercie également l’ensemble des personnes du LASMEA et du LVIC que j’ai pu rencon-
trer qui m’ont aidé durant mes travaux et qui m’ont permis de réaliser cette thèse dans d’excellente
condition.
Je remercie tout particulièrement l’ensemble des personnes du LASMEA et du LVIC que j’ai pu
rencontrer et qui sont désormais de précieux amis. Les citer tous serait trop long mais merci à eux
pour leur bonne humeurs, pour les fous rires et les merveillleux moments passer en leur compagnie
aussibienaulaboratoirequ’endehors.
Enfinjeremerciemafamille.Mercidem’avoirtoujoursencouragéetsoutenutoutaulongdemes
études.C’estgrâceàvotredévotionquej’aipuréalisercettethèse.
iii
tel-00626490, version 1 - 26 Sep 2011iv
tel-00626490, version 1 - 26 Sep 2011Résumé
CettethèseestunecollaborationentreleLAboratoiredesSciencesetMatériauxpourl’Électron-
ique et d’Automatique (LASMEA) de Clermont-Ferrand et le Laboratoire Vision et Ingénierie des
Contenus (LVIC) du CEA LIST à Saclay. La première moitié de la thèse a été accomplie au sein de
1l’équipeComSee duLASMEAetladeuxièmeauLVIC.L’objectifdecestravauxestdeconcevoirun
systèmedevidéo-assistancetempsréelpourladétectiond’évènementsdansdesscènespossiblement
denses.
La vidéosurveillance intelligente de scènes denses telles que des foules est particulièrement dif-
ficile, principalement à cause de leur complexité et de la grande quantité de données à traiter simul-
tanément.Lebutdecettethèseconsisteàélaboreruneméthodededétectiond’évènementsraresdans
de telles scènes, observées depuis une caméra fixe. La en question s’appuie sur l’analyse
automatique de mouvement et ne nécessite aucune information a priori. Les mouvements nominaux
sont déterminés grâce à un apprentissage statistique non supervisé. Les plus fréquemment observés
sont considérés comme des évènements normaux. Une phase de classification permet ensuite de dé-
tecter les mouvements déviant trop du modèle statistique, pour les considérer comme anormaux.
Cetteapprocheestparticulièrementadaptéeauxlieuxdedéplacementsstructurés,telsquedesscènes
de couloirs ou de carrefours routiers. Aucune étape de calibration, de segmentation de l’image, de
détection d’objets ou de suivi n’est nécessaire. Contrairement aux analyses de trajectoires d’objets
suivis, le coût calculatoire de notre méthode est invariante au nombre de cibles présentes en même
tempsetfonctionneentempsréel.
Notre système s’appuie sur une classification locale du mouvement de la scène, sans calibration
préalable. Dans un premier temps, une caractérisation du mouvement est réalisée, soit par des méth-
odes classiques de flot optique, soit par des descripteurs spatio-temporels. Ainsi, nous proposons un
nouveaudescripteurspatio-temporelfondésurlarecherched’unerelationlinéaireentrelesgradients
spatiauxetlesgradientstemporelsendeszonesoùlemouvementestsupposéuniforme.Toutcomme
les algorithmes de flot optique, ce descripteur s’appuie sur la contrainte d’illumination constante.
Cependant en prenant en compte un voisinage temporel plus important, il permet une caractérisation
du mouvement plus lisse et plus robuste au bruit. De plus, sa faible complexité calculatoire est bien
adaptéeauxapplicationstempsréel.
Nousproposonsensuited’étudierdifférentesméthodesdeclassification:
⊲ Lapremière,statique,dansuntraitementimageparimage,s’appuiesuruneestimationbayési-
enne de la caractérisation du mouvement au travers d’une approche basée sur les fenêtres de
Parzen. Cette nouvelle méthode est une variante parcimonieuse des fenêtres de Parzen. Nous
montronsquecetteapprocheestalgorithmiquementefficacepourapproximerdemanièrecom-
pacteetpréciselesdensitésdeprobabilité.
⊲ La seconde méthode, basée sur les réseaux bayésiens, permet de modéliser la dynamique du
1. acronymedeComputersthatSee.
v
tel-00626490, version 1 - 26 Sep 2011vi
mouvement.Aulieudeconsidérercedernierimageparimage,desséquencesdemouvements
sontanalyséesautraversdechaînesdeMarkovCachées.Ajoutéàcela,uneautrecontribution
de ce manuscrit est de prendre en compte la modélisation du voisinage d’un bloc afin d’a-
jouter une cohérence spatiale à la propagation du mouvement. Ceci est réalisé par le biais de
couplagesdechaînesdeMarkovcachées.
Ces différentes approches statistiques ont été évaluées sur des données synthétiques ainsi qu’en
situations réelles, aussi bien pour la surveillance du trafic routier que pour la surveillance de foule.
Cettephased’évaluationpermetdedonnerdespremièresconclusionsencourageantesquantàlafais-
abilitédelavidéosurveillanceintelligented’espacespossiblementdenses.
Motsclés: Flotoptique,descripteursspatio-temporels,machined’apprentissage,fenêtredeParzen,
modèledeMarkovcachés,classificationdumouvement.
tel-00626490, version 1 - 26 Sep 2011Abstract
The automatic analysis of crowded areas in video sequences is particularly difficult because of
thelargeamountofinformationtobeprocessedsimultaneouslyandthecomplexityofthescenes.We
proposeinthisthesisamethodfordetectingabnormaleventsinpossiblydensescenesobservedfrom
a static camera. The approach is based on the automatic classification of motion requiring no prior
information.Motionpatternsareencodedinanunsupervisedlearningframeworkinordertogenerate
a statistical model of frequently observed (aka. normal) events. Then at the detection stage, motion
patterns that deviate from the model are classified as unexpected events. The method is particularly
adapted to scenes with structured movement with directional flow of objects or people such as corri-
dors,roads,intersections.Nocameracalibrationisneeded,norimagesegmentation,objectdetection
andtracking.Incontrasttoapproachesthatrelyontrajectoryanalysisoftrackedobjects,ourmethod
isindependentofthenumberoftargetsandrunsinreal-time.
Oursystemreliesonalocalclassificationofglobalscenemovement.Thelocalanalysisisdoneon
eachblocksofaregulargrid.Wefirstintroduceanewspatio-temporallocaldescriptortocharacterize
themovementefficiently.Assumingalocallyuniformmotionofspace-timeblocksoftheimage,our
approach consists in determining whether there is a linear relationship between spatial gradients and
temporal gradients. This spatio-temporal descriptor holds the Illumination constancy constraint like
optical flow techniques, but it allows taking into account the spatial neighborhood and a temporal
window by giving a smooth characterization of the motion, which makes it more robust to noise. In
addition,itslowcomputationalcomplexityissuitableforreal-timeapplications.
Secondly,wepresenttwodifferentclassificationframeworks:
⊲ The first approach is a static (frame by frame) classification approach based on a Bayesian
characterizationofthemotionbyusinganapproximationoftheParzenwindowingmethodor
KernelDensityEstimation(KDE)tomodeltheprobabilitydensityfunctionofmotionpatterns.
This new method is the sparse variant of the KDE (SKDE). We show that the SKDE is a very
efficient algorithm giving compact representations and good approximations of the density
functions.
⊲ The second approach, based on Bayesian Networks, models the dynamics of the movement.
Instead of considering motion patterns in each block independently, temporal sequences of
motion patterns are learned by using Hidden Markov Models (HMM). The second proposed
improvement consists in modeling the movement in one block by taking into account the ob-
servedmotioninadjacentblocks.ThisisperformedbythecoupledHMMmethod.
Evaluationswereconductedtohighlighttheclassificationperformanceoftheproposedmethods,
onbothsyntheticdataandverychallengingrealvideosequencescapturedbyvideosurveillancecam-
eras. These evaluations allow us to give first conclusions concerning automatic analyses of possibly
crowdedarea.
vii
tel-00626490, version 1 - 26 Sep 2011viii
Key-words: OpticalFlow,spatio-temporaldescriptors,Learningmachine,KernelDensityEstima-
tion,HiddenMarkovModel,movementclassification.
tel-00626490, version 1 - 26 Sep 2011Tabledesmatières
Notationsetconventions 3
1 Introductionàlavidéosurveillanced’espacespublics 5
1.1 Lesenjeuxetbesoins . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Lescontraintesapplicatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Panoramadel’existant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1 Différentstypesd’application . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.1.1 Lesapprochesmicroscopiques . . . . . . . . . . . . . . . . . . . 10
1.3.1.2 Lesapprochesmacroscopiques . . . . . . . . . . . . . . . . . . . 10
1.3.2 Lestechnologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.3.2.1 Approchesmicroscopiques . . . . . . . . . . . . . . . . . . . . . 13
1.3.2.2macroscopiques . . . . . . . . . . . . . . . . . . . . . 15
1.3.2.3 Lesmécanismesd’apprentissage . . . . . . . . . . . . . . . . . . 18
1.4 Notreapproche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.1 Noschoix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.4.2 Notresystème. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4.3 Lesprincipauxverrous . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4.4 Plandumémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2 Extractiondeprimitivesdecaractérisationdumouvement 25
2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Uneapprocheclassique:Leflotoptique . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.1 Étatdel’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.2.1.1 Lesméthodesdifférentielles . . . . . . . . . . . . . . . . . . . . . 26
2.2.1.2 Lessparcorrélation . . . . . . . . . . . . . . . . . . . . 28
2.2.1.3 Lesméthodesparrégression . . . . . . . . . . . . . . . . . . . . 31
2.2.1.4 Lesshiérarchiques . . . . . . . . . . . . . . . . . . . . . 32
2.2.2 Notrechoix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.2.2.1 Leproblèmed’ouverture . . . . . . . . . . . . . . . . . . . . . . 32
2.2.2.2 Comparaisonqualitative . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.2.3 Propriétésentermesdedescripteur . . . . . . . . . . . . . . . . . 35
2.3 Lesdescripteursspatio-temporels. . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.1 Etatdel’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.2 Notredescripteur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.3.2.1 Théorieinitiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.3.2.2 Propriétés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
ix
tel-00626490, version 1 - 26 Sep 2011x TABLEDESMATIÈRES
2.3.2.3 Versundescripteurrobusteàlaforme . . . . . . . . . . . . . . . 41
2.3.2.4 Validationexpérimentale . . . . . . . . . . . . . . . . . . . . . . 43
2.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3 Estimationdedensitédeprobabilitépourlaclassificationprobabiliste 53
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2 Etatdel’art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
3.3 Uneméthodehybride:leSKDE . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.3.1 Théorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.3.2 SparseKernelDensityEstimation . . . . . . . . . . . . . . . . . . . . . . . 59
3.3.3 SKDELocal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3.4 LeCritèredeConfiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3.5 Danslecadreapplicatifdecestravaux . . . . . . . . . . . . . . . . . . . . . 63
3.4 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.4.1 InfluencedesparamètresduSKDE . . . . . . . . . . . . . . . . . . . . . . 64
3.4.2 Résultatscomparatifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2.1 Qualitéd’approximation . . . . . . . . . . . . . . . . . . . . . . . 66
3.4.2.2declassification . . . . . . . . . . . . . . . . . . . . . . . 68
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4 Classificationparréseauxbayésiens 75
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 LeschaînesdeMarkovcachées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.1 Théorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.1.1 Lesalgorithmesdeparcours . . . . . . . . . . . . . . . . . . . . . 77
4.2.1.2 Résolutiondestroisproblèmes . . . . . . . . . . . . . . . . . . . 79
4.2.2 Versl’implémentationpourlavidéosurveillance . . . . . . . . . . . . . . . 83
4.2.2.1 Lesproblèmesd’implémentation . . . . . . . . . . . . . . . . . . 83
4.2.2.2 Lessolutionsetleursconséquences . . . . . . . . . . . . . . . . . 84
4.3 Priseencompteduvoisinage:leschaînescouplées . . . . . . . . . . . . . . . . . . 86
4.3.1 Étatdel’artdescouplages . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
4.3.2 ThéoriedesCoupledHMMs . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.3.2.1 Principeducouplage . . . . . . . . . . . . . . . . . . . . . . . . 88
4.3.2.2 Adaptationdesalgorithmesdeparcours . . . . . . . . . . . . . . . 90
4.3.2.3 Résolutiondestroisproblèmes . . . . . . . . . . . . . . . . . . . 91
4.3.2.4 Adaptationdelathéorie . . . . . . . . . . . . . . . . . . . . . . . 92
4.3.3 Implémentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.3.4 Enrichissementdeladétection . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
5 ComparaisonetÉvaluation 101
5.1 Analysedeperformance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.1.1 Critèred’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
5.1.2 Protocoleexpérimental . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.2 Expérimentations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.2.1 Evaluationdesdescripteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
tel-00626490, version 1 - 26 Sep 2011