Présentation opportuniste et multimodale d'informations dans ...

De
Publié par

Numéro d’ordre : 8511
Université Paris XI
Faculté des sciences d’Orsay
THÈSE
présentée par
Christophe Jacquet
pour obtenir le grade de DOCTEUR EN SCIENCES
de l’Université de Paris Sud XI Orsay
Spécialité : INFORMATIQUE
Présentation opportuniste et
multimodale d’informations dans le
cadre de l’intelligence ambiante
Soutenue le 14 décembre 2006 devant la commission d’examen suivante :
M. Yacine Bellik, encadrant
Mme Yolaine Bourda, encadrante
M. Joseph Jean Mariani, examinateur
M. Philippe Palanque, rapporteur
M. Jean Paul Sansonnet, directeur de thèse
M. Jean Vanderdonckt, rapporteur ACe document a été mis en page avec le logiciel LT X2 et la classe memoir.εE
Numéro de révision du document : 228.
Fichier PDF généré le 26 janvier 2007. Remerciements
Je tiens à remercier :
Yacine Bellik et Yolaine Bourda, mes deux encadrants de thèse, qui m’ont guidé et conseillé
au quotidien. Yacine m’a notamment fait découvrir le domaine de la communication homme-
machine multimodale, et Yolaine m’a apporté son éclairage sur les aspects liés à la représen-
tation des connaissances.
Jean-PaulSansonnet, mondirecteurdethèse, responsabledugroupeArchitectureetModèles
pour l’Interaction (AMI) du LIMSI, pour ses conseils, son inventivité, sa grande culture
scientifique, et pour ses apports toujours originaux à nos discussions.
Joseph Mariani, directeur de recherche CNRS, ancien directeur du LIMSI, ancien directeur
du département Technologies de l’Information et de la Communication du ministère de ...
Voir plus Voir moins
Numéro d’ordre : 8511 Université Paris XI Faculté des sciences d’Orsay THÈSE présentée par Christophe Jacquet pour obtenir le grade de DOCTEUR EN SCIENCES de l’Université de Paris Sud XI Orsay Spécialité : INFORMATIQUE Présentation opportuniste et multimodale d’informations dans le cadre de l’intelligence ambiante Soutenue le 14 décembre 2006 devant la commission d’examen suivante : M. Yacine Bellik, encadrant Mme Yolaine Bourda, encadrante M. Joseph Jean Mariani, examinateur M. Philippe Palanque, rapporteur M. Jean Paul Sansonnet, directeur de thèse M. Jean Vanderdonckt, rapporteur ACe document a été mis en page avec le logiciel LT X2 et la classe memoir.εE Numéro de révision du document : 228. Fichier PDF généré le 26 janvier 2007. Remerciements Je tiens à remercier : Yacine Bellik et Yolaine Bourda, mes deux encadrants de thèse, qui m’ont guidé et conseillé au quotidien. Yacine m’a notamment fait découvrir le domaine de la communication homme- machine multimodale, et Yolaine m’a apporté son éclairage sur les aspects liés à la représen- tation des connaissances. Jean-PaulSansonnet, mondirecteurdethèse, responsabledugroupeArchitectureetModèles pour l’Interaction (AMI) du LIMSI, pour ses conseils, son inventivité, sa grande culture scientifique, et pour ses apports toujours originaux à nos discussions. Joseph Mariani, directeur de recherche CNRS, ancien directeur du LIMSI, ancien directeur du département Technologies de l’Information et de la Communication du ministère de la recherche, pour s’être intéressé à mes travaux et avoir accepté de faire partie du jury de thèse. Philippe Palanque, professeur en informatique à l’université de Toulouse 3 (Paul Sabatier), chercheur à l’IRIT (Institut de Recherche en Informatique de Toulouse) où il est responsable de l’équipe LIIHS (Logiciels Interactifs et Interaction Homme-Système), pour avoir accepté d’être rapporteur de ce travail. Jean Vanderdonckt, professeur en informatique à l’université catholique de Louvain, direc- teur du Laboratoire belge d’Interaction Homme-Machine (BCHI), pour avoir accepté d’être rapporteur de ce travail. Tous les membres du Département d’Informatique et du Centre de Ressources Informatiques de Supélec, pour leur bonne humeur, leur soutien et les discussions fructueuses que nous avons eues sur des sujets divers. En particulier, l’aide du technicien, Gilbert Dahan, m’a été précieuse pour la réalisation des circuits imprimés du système de badges présenté en annexe C. Les personnes qui m’ont accueilli au LIMSI, et tout spécialement les membres du groupe AMI, qui m’ont permis d’évoluer dans un environnement scientifique très riche et diversifié. iii À Séverine, à ma famille, à mes amis. Table des matières Table des matières v 1 Introduction 1 1.1 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Structure du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.4 Collaboration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 I État de l’art 5 2 Techniques des interactions homme-machine 7 2.1 Modèles d’architecture logicielle . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Multimodalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.2.2 Taxonomie des modalités . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2.3 Relations entre modalités . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.3.1 Propriétés CARE . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2.3.2 Multimodalité exclusive . . . . . . . . . . . . . . . . . . . . . 17 2.2.4 Élaboration d’une présentation multimodale . . . . . . . . . . . . . . . 18 2.2.4.1 Sélection des modalités . . . . . . . . . . . . . . . . . . . . . 18 2.2.4.2 Instanciation des modalités . . . . . . . . . . . . . . . . . . . 19 2.2.4.3 Sélection des dispositifs . . . . . . . . . . . . . . . . . . . . . 20 2.3 Prise en compte des handicaps sensoriels . . . . . . . . . . . . . . . . . . . . . 20 v vi 2.3.1 Importance du handicap . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3.2 Handicap visuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 2.3.3 Handicap auditif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3.4 Conclusion : importance des handicaps sensoriels . . . . . . . . . . . . 23 2.4 Vers l’intelligence ambiante . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3 Le contexte : caractéristiques et accès 29 3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2 La localisation : une composante majeure du contexte . . . . . . . . . . . . . 31 3.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.2.2 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.2.3 Détection de proximité . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2.3.1 Infrarouges, ultrasons et réseaux radio . . . . . . . . . . . . . 36 3.2.3.2 Systèmes RFID . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.2.4 Reconnaissance d’empreintes . . . . . . . . . . . . . . . . . . . . . . . 40 3.2.5 Analyse de scènes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.2.6 Navigation à l’estime . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 3.2.6.1 Odométrie et podométrie . . . . . . . . . . . . . . . . . . . . 43 3.2.6.2 Centrales inertielles . . . . . . . . . . . . . . . . . . . . . . . 44 3.2.7 Récapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 3.2.8 Amélioration des résultats par des méthodes mathématiques . . . . . 44 3.2.8.1 Recalage sur une carte . . . . . . . . . . . . . . . . . . . . . 44 3.2.8.2 Localisation markovienne . . . . . . . . . . . . . . . . . . . . 46 3.2.8.3 Localisation Monte-Carlo . . . . . . . . . . . . . . . . . . . . 48 3.2.9 Combinaison de plusieurs techniques . . . . . . . . . . . . . . . . . . . 50 3.3 Applications contextuelles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.4 Plates-formes d’accès au contexte . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.4.1 Plates-formes existantes . . . . . . . . . . . . . . . . . . . . . . . . . . 54 TABLE DES MATIÈRES vii 3.4.1.1 Approches de type « tableau noir » . . . . . . . . . . . . . . 54 3.4.1.2 Plates-formes à composants . . . . . . . . . . . . . . . . . . . 57 3.4.2 Notre proposition de plate-forme . . . . . . . . . . . . . . . . . . . . . 60 3.4.2.1 Modèle et plate-forme . . . . . . . . . . . . . . . . . . . . . . 61 3.4.2.2 Composants et typage . . . . . . . . . . . . . . . . . . . . . . 62 3.4.2.3 Ruche d’objets . . . . . . . . . . . . . . . . . . . . . . . . . . 64 3.4.2.4 Solutions technologiques . . . . . . . . . . . . . . . . . . . . 65 3.4.2.5 Conclusion sur notre plate-forme . . . . . . . . . . . . . . . . 67 3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 II Le modèle 69 4 Motivations 71 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4.2 Problèmes à traiter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 4.2.1 Mise en contexte dynamique . . . . . . . . . . . . . . . . . . . . . . . 73 4.2.1.1 Mobilité des utilisateurs . . . . . . . . . . . . . . . . . . . . . 73 4.2.1.2 Mobilité des dispositifs de présentation . . . . . . . . . . . . 74 4.2.1.3 Accrochage sémantique entre informations . . . . . . . . . . 76 4.2.1.4 Priorités entre informations . . . . . . . . . . . . . . . . . . . 77 4.2.2 Différences entre utilisateurs . . . . . . . . . . . . . . . . . . . . . . . 77 4.2.2.1 Identification des différences . . . . . . . . . . . . . . . . . . 77 4.2.2.2 Multimodalité . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.2.2.3 Priorités entre utilisateurs . . . . . . . . . . . . . . . . . . . 80 4.2.3 Aspects relatifs à la vie privée . . . . . . . . . . . . . . . . . . . . . . . 81 4.3 Conclusion : problèmes retenus dans ce travail . . . . . . . . . . . . . . . . . . 81 5 Le modèle KUP 83 5.1 Information (Knowledge), Utilisateur et dispositif de Présentation . . . . . . 83 5.2 Proximité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 viii 5.2.1 Espace, positions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 5.2.2 Espace perceptuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 5.2.3 Espace de rayonnement . . . . . . . . . . . . . . . . . . . . . . . . . . 90 5.2.4 Récapitulatif sur les espaces perceptuels et de rayonnement . . . . . . 92 5.2.5 Cas des sources d’information . . . . . . . . . . . . . . . . . . . . . . . 93 5.3 Unités sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3.2 Contenu concret des u.s. . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3.3 Métadonnées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 5.4 Un système opportuniste pour la présentation d’informations . . . . . . . . . 99 5.4.1 Fonctionnement global . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 5.4.2 Précisions sur les interactions entre entités logicielles . . . . . . . . . . 101 5.5 Modèle à agents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 5.5.2 Caractéristiques des agents . . . . . . . . . . . . . . . . . . . . . . . . 104 5.5.3 Retour sur la structure du modèle . . . . . . . . . . . . . . . . . . . . 106 5.6 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5.6.1 L’aérogare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 5.6.2 La porte intelligente . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 5.6.3 Décomposition des entités physiques . . . . . . . . . . . . . . . . . . . 109 5.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 6 Algorithmes 113 6.1 Mesure de la proximité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 6.2 Choix et instanciation d’une modalité pour la présentation d’une u.s. . . . . . 114 6.2.1 Modélisation de l’utilisateur et de l’environnement . . . . . . . . . . . 114 6.2.2 Arbres taxonomiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 6.2.3 Arbres de pondération . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 6.2.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 TABLE DES MATIÈRES ix 6.2.3.2 Interdépendance entre attributs . . . . . . . . . . . . . . . . 120 6.2.3.3 Définition formelle . . . . . . . . . . . . . . . . . . . . . . . . 122 6.2.3.4 Intersection d’arbres de pondération . . . . . . . . . . . . . . 123 6.2.4 Évaluation d’un arbre de pondération . . . . . . . . . . . . . . . . . . 123 6.2.5 Instanciation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 6.2.5.1 Espace des combinaisons possibles d’attributs. . . . . . . . . 127 6.2.5.2 Évaluation des combinaisons d’attributs . . . . . . . . . . . . 127 6.2.5.3 Choix d’une combinaison d’attributs . . . . . . . . . . . . . . 129 6.2.5.4 Précision sur les évaluations w (π) . . . . . . . . . . . . . . 132i,‘ 6.2.5.5 Précisions sur l’ordre lexicographique . . . . . . . . . . . . . 133 6.2.6 Compléments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 6.2.6.1 Multiples contenus pour une même modalité . . . . . . . . . 133 6.2.6.2 Unités pour l’expression des valeurs d’attributs . . . . . . . . 135 6.2.6.3 Préférences contradictoires . . . . . . . . . . . . . . . . . . . 139 6.3 Choix d’un dispositif parmi plusieurs . . . . . . . . . . . . . . . . . . . . . . . 140 6.3.1 Position du problème. . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 6.3.2 Formalisation mathématique . . . . . . . . . . . . . . . . . . . . . . . 142 6.3.3 Algorithme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 6.3.4 Résumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 6.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 III Implémentation 151 7 Implémentation : la plate-forme PRIAM 153 7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 7.2 Taxonomie et profils . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 7.2.1 Taxonomie des modalité . . . . . . . . . . . . . . . . . . . . . . . . . . 154 7.2.2 Profils . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 7.2.2.1 Fonctions de pondération . . . . . . . . . . . . . . . . . . . . 156 x 7.2.2.2 Recherche pratique des extrema . . . . . . . . . . . . . . . . 157 7.2.2.3 Éditeur de profils . . . . . . . . . . . . . . . . . . . . . . . . 157 7.3 Agents et unités sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 7.3.1 Enchaînement des actions des agents . . . . . . . . . . . . . . . . . . . 159 7.3.2 Hiérarchie de classes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 7.3.3 Unités sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 7.3.4 Communications par RMI . . . . . . . . . . . . . . . . . . . . . . . . . 164 7.4 Le simulateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.4.1 Introduction – Motivations . . . . . . . . . . . . . . . . . . . . . . . . 165 7.4.2 Réalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 7.4.3 Format XML de description d’expérimentation . . . . . . . . . . . . . 166 7.5 Simulateur de collaboration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 7.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 8 Expérimentations et démonstrations 171 8.1 Recherche d’informations dans une liste . . . . . . . . . . . . . . . . . . . . . 172 8.1.1 Description générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 8.1.2 Affichage des résultats d’examen . . . . . . . . . . . . . . . . . . . . . 173 8.1.3 Aérogare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 8.1.4 Perception subjective des expériences . . . . . . . . . . . . . . . . . . 177 8.1.5 Notes d’implémentation . . . . . . . . . . . . . . . . . . . . . . . . . . 180 8.2 Recherche de direction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 8.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 8.2.2 Description générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 8.2.3 Expérimentation à un utilisateur . . . . . . . . . . . . . . . . . . . . . 184 8.2.4 Expérimentation à plusieurs utilisateurs . . . . . . . . . . . . . . . . . 185 8.2.5 Notes d’implémentation . . . . . . . . . . . . . . . . . . . . . . . . . . 187 8.3 Démonstration : aspects multimodaux du système . . . . . . . . . . . . . . . 188 8.4 Démonstration : instanciation . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.