Catégorisation par le contenu sémantique d'objets vidéo : recherche et reconnaissance d'acteurs dans les films, Content-Based Video Semantic Object Categorization : actor Retrieval and Recognition in Movies

Shuji Zhao

Description

Sous la direction de Sylvie Philipp-Foliguet
Thèse soutenue le 10 juin 2011: Cergy Pontoise
Dans cette thèse, nous proposons un nouveau système de recherche par le contenu de catégories sémantiques d'objets vidéo.A partir des séquences vidéo, nous détectons et extrayons les régions contenant le même objet (visage d'une personne, un modèle de voiture, etc.) au cours d'un plan-séquence. A partir de ce volume, appelé Track, nous extrayons un ensemble de caractéristiques visuelles spatio-temporellement cohérentes qui forme ainsi un Tube Spatio-Temporel représentant l'objet.Pour évaluer la similarité entre Tubes Spatio-Temporels, nous concevons des fonctions noyaux dédiées. À partir de ces noyaux, nous proposons des stratégies d'apprentissage supervisé et interactif, intégrées dans un cadre Machine à Vecteurs de Supports.Notre approche est évaluée sur des bases de données de films réels. Elle surpasse les méthodes de l'état de l'art pour la reconnaissance d'acteurs multi-classes. Notre méthode est également testée pour la recherche interactive d'un acteur dans une base de vidéo et sur une base de données de voitures, illustrant ainsi la généricité de la méthode et ses possibles extensions à tout type d'objets vidéo.
-Connaissance des formes
-Vision par ordinateur
-Traitement d'images
In this thesis, we propose a new video object retrieval and recognition system based on visual content.From video sequences, we detect, then extract video objects such as face and car, and define the continuous content made of regions containing this object in successive frames. From this volume, called Track, we extract spatio-temporally consistent visual features to define the video object representation: Spatio-Temporal Tube.To evaluate the similarity between complex tube objects, we design a Spatio-Temporal Tube Kernel (STTK) function. Based on this kernel similarity we present both supervised and active learning strategies embedded in Support Vector Machine framework. Additionally, we propose a multi-class classification framework dealing with highly unbalanced datasets.Our approach is successfully evaluated on real movie databases. Our machine learning approach outperforms the state of the art methods for multi-class actor recognition. Our method is also evaluated for actor retrieval task and on a car database showing hence promising results for car identification task and the potential of extension to any category of video objects.
-Pattern recognition
-Computer vision
-Image processing
Source: http://www.theses.fr/2011CERG0511/document

Sujets

• Vision par ordinateur
• Traitement d'images

Informations

• Publié par: Thesee
• Nombre de lectures: 42
• Langue: English
• Poids de l'ouvrage: 18 Mo

Extrait

laTH?SEd'Apr?sendet?eRetriev?orteurl'Univth?seersit?VideodeueCergy-PteonantoisethphercourFilmsobtenirjectleingrade2011deNicole:kDoRappcteurFdeMatthieul'UnivPhilipp-Fersit?:deetCergy-PdansontentoiseticDisciplineA:andSciencesvieset10Tanecd'examenhnologiestdePl'Information?rezetRiccardodeM.laExaminateurCommPreciosounication?sePCo-directeurarMme.ShCo-directriceujiVid?oZHARecOheEquipReconnaissanceescteursd'accueilles:ConEquipt-BasedesSemanTObraitemenCategorization:tctordeall'InformationRecognitionetMoSyst?mesSouten(ETIS)le-juinUMRdev8051tLabcommissionoratoireMme.InformatiqueVincendePr?idenPM.arisatric6P(LIP6)Rapp-M.UMRLeonardi7606orteurTitreIvdeLaptevlaM.th?ser?d?ric:DirecteurCat?gorisationthparM.leCordCondeten?seuSylvieS?manoliguettiqueded'ObjetsmTTofamilymoyyhusbandtheAypinessimisturcseesortunittheerydicultWinstonyseesinoppevyeryevoppdicultortunit.y;ChAnhilloptimistyR?sum?mDansdecettevth?se,tissagenouslmspropteractivosons?unynouvdanseau?vsyst?mel'?tatdetest?erecvid?oherclahedesparpartirleosonsconintenhineuapprodebasescat?goriesless?manourtiquesded'obrecjetsdansvid?o.baseAainsipartirsesdeses?quencestionsvid?o,d?di?es.nouscesd?tectonsnousetstrat?giesextraervis?yinonscadrelesVr?gionsorts.conhetenansurtdonn?esleEllem?medesobl'artjetreconnaissance(visageNotred'une?galemenpourersonne,heund'unmobased?lesurdedonn?esvillustranoiture,g?n?ricit?etc.de)ossiblesautcoursjetsd'unfonc-plan-nos?quence.auxAApartirdedenoceaux,vpropolume,desappd'appren-el?supTetracteractif,k,t?gr?esnousunextraMacy?onsecteursunSuppensemNotreblecdeestcarac-alu?et?ristiquesdesvisuellesdespatio-tempdeorellemenr?els.tsurpassecoh?renm?thotesdequideformepainsilaund'acteursTulti-classes.ubm?thoeestSpatio-tTpemplaorelhercrepr?senintanetacteurl'obunejet.dePetourune?vdealuerdelaoitures,similarit?tenlatredeTm?thoubetespSpatio-Textensionsemptoutorels,ypnousd'obconcevvid?o.onsernelAbstractingInwthiscarthesis,strategieswOurerecognition.proptialoseothaectornewframewvideorealobthejectforretrievcaralvideoanderecognitionandsysteminbasedork.onavisualhighlyconsuccessfullytenOurt.erformsFforromisvideotasksequences,hencewandeandetect,thisthenyextracttvideoer-obejectsbsucorthhineasdditionallyfacepropandulti-classcar,dealingandbalanceddenehthealuatedconvietinhineuoushconstatetenmethotulti-classmademethoofevregionsretrievconontainingshothisresultsobticationjectpinextensionsuccessivcategoryejects.frames.kFsimilaritromwthispresenvbolume,supcalledvisedTactivraclearningk,emweddedeSuppextractVspatio-tempMacorallyframewconsistenAt,visualefeaturesosetomdeneclassicationtheorkvideowithobun-jectdatasets.represenapproactation:isSpatio-TevemponoralmoTdatabases.ubmace.learn-TapproacooutpevthealuateoftheartsimilaritdsymbactoretOurwdeenalsocomplexaluatedtubactorealobandjects,awdatabaseewingdesignpromisingaforSpatio-TidenemptaskoraltheTotenubofetoKernely(STTK)offunction.obBasedon