Analyse de séquences vidéo

Analyse de séquences vidéo
Séance 3
Christian Wolf
http://liris.cnrs.fr/christian.wolf Deux pistes / framework
Segmentation fond/forme
Points d’intérêt Sommaire de la troisième séance
•  Méthodes basées segmentation fond/forme
–  Méthode 1 : Descriptions 2D du mouvement
–  Méthode 2 : Séquences de silhouettes
•  Méthodes basées points d’intérêt
–  Méthode 1 : Sac de mots (rappel)
–  Méthode 2 : Appariement de graphes
–  Méthode 3 : Pairwise features
–  Méthode 4 : Relations spatio-temporels

•  Les technologies utilisées en TP
–  Le détecteur de points d ’intérêts S.T. d ’Ivan Laptev
–  Les descripteurs HoG et HoF
–  La classification par SVM (support vector machines) Méthode 1
Descriptions 2D du mouvement
Techniques :
• Soustraction de fond
[Bobick and Davis, 2001] Descriptions 2D du mouvement
Objectif : traduction du mouvement d’une séquence en
images 2D discriminantes
[Bobick and Davis, 2001] Descriptions 2D du mouvement
•  Soustraction de fond ð images binaires D(x,y,t)
•  Motion energy images (MEI) et
… decay
parameter
•  Motion history images (MHI)
[Bobick and Davis, 2001] Descriptions
2D du
mouvement
[Bobick and Davis, 2001] Descriptions 2D : classification
Description statistique de chaque MEI et de chaque MHI :
vecteur F de caractéristiques (7 moments de Hu) i
Apprentissage : pour chaque classe d’actions et pour
chaque vue:
-  Moyenne F des vecteurs F i
-  Matrice de covariance Σ des vecteurs
Classification : calcul de la distance entre un nouveau
vecteur et la moyenne F, en tenant compte de Σ Méthode 2 :
Modèles statistiques du mouvement
humain

Techniques :
• Soustraction de fond
• Modèles de séquences Modèles statistiques
du mouvement humain
•  Modélisation de l ’évolution temporelle d ’une silhouette
binaire
•  Classification de l ’action (marcher, courir, s ’asseoir,
saut vertical etc.)
[Wolf, Taylor and Jolion 2010]