Modèle computationnel d'attention pour la vision adaptative, Computational attention model for adaptive vision

Matthieu Perreira Da Silva

Description

Sous la direction de Pascal Estraillier
Thèse soutenue le 10 décembre 2010: La Rochelle
L'analyse temps réel de la masse de données générée par les mécanismes de gestion de la vision dans les applications interactives est un problème toujours ouvert, promettant des avancées importantes dans des domaines aussi variés que la robotique, l’apprentissage à distance ou les nouvelles formes d’interactions avec l’utilisateur, sans clavier ni souris. Dans le cadre général de la vision, les algorithmes d’analyse de scène doivent trouver un compromis entre d'une part la qualité des résultats recherchés et d'autre part la quantité de ressources allouable aux différents tâches. Classiquement, ce choix est effectué à la conception du système (sous la forme de paramètres et d’algorithmes prédéfinis), mais cette solution limite le champ d’application de celui-ci. Une solution plus flexible consiste à utiliser un système de vision adaptatif qui pourra modifier sa stratégie d’analyse en fonction des informations disponibles concernant son contexte d’exécution. En conséquence, ce système doit posséder un mécanisme permettant de guider rapidement et efficacement l’exploration de la scène afin d’obtenir ces informations. Chez l’homme, les mécanismes de l’évolution ont mis en place le système d’attention visuelle. Ce système sélectionne les informations importantes afin de réduire la charge cognitive et les ambiguïtés d’interprétation de la scène. Nous proposons, dans cette thèse, un système d'attention visuelle, dont nous définissons l’architecture et les principes de fonctionnement. Ce dernier devra permettre l’interaction avec un système de vision afin qu’il adapte ses traitements en fonction de l’intérêt de chacun des éléments de la scène, i.e. ce que nous appelons saillance. A la croisée des chemins entre les modèles centralisés et hiérarchiques (ex : [Koch1985], puis [Itti1998]), et les modèles distribués et compétitifs (ex : [Desimone1995], puis [Deco2004, Rolls2006]), nous proposons un modèle hiérarchique, compétitif et non centralisé. Cette approche originale permet de générer un point de focalisation attentionnel à chaque pas de temps sans utiliser de carte de saillance ni de mécanisme explicite d’inhibition de retour. Ce nouveau modèle computationnel d'attention visuelle temps réel est basé sur un système d'équations proies / prédateurs, qui est bien adapté pour l'arbitrage entre un comportement attentionnel non déterministe et des propriétés de stabilité, reproductibilité, et réactivité. L'analyse des expérimentations menées est positive : malgré le comportement non-déterministe des équations proies / prédateurs, ce système possède des propriétés intéressantes de stabilité, reproductibilité, et réactivité, tout en permettant une exploration rapide et efficace de la scène. Ces propriétés ouvrent la possibilité d’aborder différents types d’applications allant de l’évaluation de la complexité d’images et de vidéos à la détection et au suivi d’objets. Enfin, bien qu’il soit destiné à la vision par ordinateur, nous comparons notre modèle au système attentionnel humain et montrons que celui-ci présente un comportement aussi plausible (voire plus en fonction du comportement défini) que les modèles classiques existants.
-Attention visuelle
-Vision par ordinateur
-Adaptation
-Systèmes dynamiques
Providing real time analysis of the huge amount of data generated by computer vision algorithms in interactive applications is still an open problem. It promises great advances across a wide variety of fields : robotics, distance education, or new mouse-less and keyboard-less human computer interaction.When using scene analysis algorithms for computer vision, a trade-off must be found between the quality of the results expected, and the amount of computer resources allocated for each task. It is usually a design time decision, implemented through the choice of pre-defined algorithms and parameters. However, this way of doing limits the generality of the system. Using an adaptive vision system provides a more flexible solution as its analysis strategy can be changed according to the information available concerning the execution context. As a consequence, such a system requires some kind of guiding mechanism to explore the scene faster and more efficiently.In human, the mechanisms of evolution have generated the visual attention system which selects the most important information in order to reduce both cognitive load and scene understanding ambiguity.In this thesis, we propose a visual attention system tailored for interacting with a vision system (whose theoretical architecture is given) so that it adapts its processing according to the interest (or salience) of each element of the scene.Somewhere in between hierarchical salience based (ex: [Koch1985], then [Itti1998]) and competitive distributed (ex: [Desimone1995], then [Deco2004, Rolls2006]) models, we propose a hierarchical yet competitive and non salience based model. Our original approach allows the generation of attentional focus points without the need of neither saliency map nor explicit inhibition of return mechanism. This new real-time computational model is based on a preys / predators system. The use of this kind of dynamical system is justified by an adjustable trade-off between nondeterministic attentional behavior and properties of stability, reproducibility and reactiveness.Our experiments shows that despite the non deterministic behavior of preys / predators equations, the system exhibits interesting properties of stability, reproducibility and reactiveness while allowing a fast and efficient exploration of the scene. These properties are useful for addressing different kinds of applications, ranging from image complexity evaluation, to object detection and tracking. Finally, while it is designed for computer vision, we compare our model to human visual attention. We show that it is equally as plausible as existing models (or better, depending on its configuration).
-Visual attention
-Computer vision
-Adaptation
-Dynamical systems
Source: http://www.theses.fr/2010LAROS317/document

Sujets

• Vision par ordinateur
• Systèmes dynamiques

Informations

• Publié par: Thesee
• Nombre de lectures: 75
• Langue: Français
• Poids de l'ouvrage: 17 Mo

Extrait

Université de la Rochelle Ecole doctorale S2i
Thèse
présentée pour obtenir le titre de DOCTEUR en
Informatique et applications
Modèle computationnel
d’attention pour la vision
adaptative
Matthieu Perreira Da Silva
[e-mail]
Soutenue publiquement le 10/12/2010 devant un jury composé de :
Rapporteurs Laurent Itti University of Southern California
Hervé Glotin Université du Sud Toulon-Var
Examinateurs Anne Guérin Université de Grenoble
Olivier Le Meur Université de Rennes 1
Directeur de thèse Pascal Estraillier Université de La Rochelle
Co-encadrant de thèse Vincent Courboulay Université de La Rochelle
Laboratoire Informatique, Image, Interaction
tel-00573844, version 1 - 4 Mar 2011tel-00573844, version 1 - 4 Mar 2011Thèse réalisée au Laboratoire Informatique, Image, Interaction
Pôle Sciences & Technologies, Université de La Rochelle
Avenue M. Crépeau
17042 La Rochelle cedex 01
Tél : [phone]
Fax : [phone]
Web : http ://l3i.univ-larochelle.fr
Sous la direction de Pascal Estraillier [e-mail]
Co-encadrement Vincent Courboulay [e-mail]
Armelle Prigent [e-mail]
Financement Allocation de recherche de la Région Poitou-Charentes
tel-00573844, version 1 - 4 Mar 2011tel-00573844, version 1 - 4 Mar 2011Résumé
L’analyse temps réel de la masse de données générée par les mécanismes de gestion de
la vision dans les applications interactives est un problème toujours ouvert, promettant
des avancées importantes dans des domaines aussi variés que la robotique, l’apprentis-
sage à distance ou les nouvelles formes d’interactions avec l’utilisateur, sans clavier ni
souris.
Dans le cadre général de la vision, les algorithmes d’analyse de scène doivent trouver
un compromis entre d’une part la qualité des résultats recherchés et d’autre part la quan-
tité de ressources allouable aux différents tâches. Classiquement, ce choix est effectué
à la conception du système (sous la forme de paramètres et d’algorithmes prédéfinis),
mais cette solution limite le champ d’application de celui-ci. Une solution plus flexible
consiste à utiliser un système de vision adaptatif qui pourra modifier sa stratégie d’ana-
lyse en fonction des informations disponibles concernant son contexte d’exécution. En
conséquence, ce système doit posséder un mécanisme permettant de guider rapidement
et efficacement l’exploration de la scène afin d’obtenir ces informations.
Chez l’homme, les mécanismes de l’évolution ont mis en place le système d’attention
visuelle. Ce système sélectionne les informations importantes afin de réduire la charge
cognitive et les ambiguïtés d’interprétation de la scène.
Nous proposons, dans cette thèse, un système d’attention visuelle, dont nous défi-
nissons l’architecture et les principes de fonctionnement. Ce dernier devra permettre
l’interaction avec un système de vision afin qu’il adapte ses traitements en fonction de
l’intérêt de chacun des éléments de la scène, i.e. ce que nous appelons saillance.
A la croisée des chemins entre les modèles centralisés et hiérarchiques (ex : [Koch 85],
puis [Itti 98]), et les modèles distribués et compétitifs (ex : [Desimone 95], puis [Deco 04,
Rolls 06]), nous proposons un modèle hiérarchique, compétitif et non centralisé. Cette
approche originale permet de générer un point de focalisation attentionnel à chaque pas
de temps sans utiliser de carte de saillance ni de mécanisme explicite d’inhibition de
retour. Ce nouveau modèle computationnel d’attention visuelle temps réel est basé sur
un système d’équations proies / prédateurs, qui est bien adapté pour l’arbitrage entre
i
tel-00573844, version 1 - 4 Mar 2011Résumé
un comportement attentionnel non déterministe et des propriétés de stabilité, reproduc-
tibilité, et réactivité.
L’analyse des expérimentations menées est positive : malgré le comportement non-
déterministe des équations proies / prédateurs, ce système possède des propriétés inté-
ressantes de stabilité, reproductibilité, et réactivité, tout en permettant une exploration
rapide et efficace de la scène. Ces propriétés ouvrent la possibilité d’aborder différents
types d’applications allant de l’évaluation de la complexité d’images et de vidéos à la
détection et au suivi d’objets. Enfin, bien qu’il soit destiné à la vision par ordinateur,
nous comparons notre modèle au système attentionnel humain et montrons que celui-
ci présente un comportement aussi plausible (voire plus en fonction du comportement
défini) que les modèles classiques existants.
Mots clés : Attention visuelle, vision par ordinateur, adaptation, systèmes dynamiques.
ii
tel-00573844, version 1 - 4 Mar 2011Computational attention model for
adaptive vision
tel-00573844, version 1 - 4 Mar 2011tel-00573844, version 1 - 4 Mar 2011Abstract
Providing real time analysis of the huge amount of data generated by computer vi-
sion algorithms in interactive applications is still an open problem. It promises great
advances across a wide variety of fields : robotics, distance education, or new mouse-less
and keyboard-less human computer interaction.
When using scene analysis algorithms for computer vision, a trade-off must be found
between the quality of the results expected, and the amount of computer resources allo-
cated for each task. It is usually a design time decision, implemented through the choice
of pre-defined algorithms and parameters. However, this way of doing limits the gener-
ality of the system. Using an adaptive vision system provides a more flexible solution as
its analysis strategy can be changed according to the information available concerning
the execution context. As a consequence, such a system requires some kind of guiding
mechanism to explore the scene faster and more efficiently.
In human, the mechanisms of evolution have generated the visual attention system
which selects the most important information in order to reduce both cognitive load and
scene understanding ambiguity.
In this thesis, we propose a visual attention system tailored for interacting with a
vision system (whose theoretical architecture is given) so that it adapts its processing
according to the interest (or salience) of each element of the scene.
Somewhere in between hierarchical salience based (ex: [Koch 85], then [Itti 98]) and
competitive distributed (ex: [Desimone 95], then [Deco 04, Rolls 06]) models, we pro-
pose a hierarchical yet competitive and non salience based model. Our original approach
allowsthegenerationofattentionalfocuspointswithouttheneedofneithersaliencymap
nor explicit inhibition of return mechanism. This new real-time computational model
is based on a preys / predators system. The use of this kind of dynamical system is
justified by an adjustable trade-off between nondeterministic attentional behavior and
properties of stability, reproducibility and reactiveness.
Our experiments shows that despite the non deterministic behavior of preys / preda-
v
tel-00573844, version 1 - 4 Mar 2011Abstract
tors equations, the system exhibits interesting properties of stability, reproducibility and
reactiveness while allowing a fast and efficient exploration of the scene. These properties
are useful for addressing different kinds of applications, ranging from image complexity
evaluation, to object detection and tracking. Finally, while it is designed for computer
vision, we compare our model to human visual attention. We show that it is equally as
plausible as existing models (or better, depending on its configuration).
Keywords: Visual attention, computer vision, adaptation, dynamical systems.
vi
tel-00573844, version 1 - 4 Mar 2011