Memoria-Mea, ou comment stocker, classifier, rechercher et mémoriser ses informations multimédias

Anne Le Calvé

Description

Memoria-Mea, ou comment stocker, classifier, rechercher et mémoriser ses informations multimédias [e-mail], HES-SO Valais,[e-mail], HES-SO Fribourg,[e-mail], HES-SO ARC et [e-mail], HES-SO ValaislecadreduprojetMemoria-Mea,laHES- mérique avec laquelle elle a interagi pendant ses activités DansSO,l’IDIAP,l’UniversitédeFribourget quotidiennes.l’UniversitédeSiennemettentenplaceuneéquipeinter-disciplinaire capable d’approcher de manière globale laproblématiquecomplexedel’extractionetdel’exploitation gestion Personnelle de l’inFormationdel’information.Ceprojetestnonseulementcollaboratif2 surleplanorganisationneletinstitutionnel,maisaussid’un Le PIM (Personal Information Management) est l’axe de pointdevuescientifique.Dèslors,undesobjectifsmajeurs recherche scientifique actuel traitant de la problématique estlaconnexiondesdifférentesforcesafind’intégrerpar liée aux activités que des personnes exécutent pour acquérir, synergielesdifférentescompétencesetrésultatsdelare- organiser, maintenir et récupérer l’information digitale pour cherchedansunesolutionglobaledePersonal Information leur utilisation quotidienne. Management Systemdestinéeàunlargepublic. Le fonctionnement idéal d’un système PIM est celui Avec l’arrivée en masse des nouvelles technologies qui nous garantit d’avoir toujours la bonne information à ...

Informations

• Publié par: Faut
• Nombre de lectures: 72
• Langue: Français

Extrait

Memoria-Mea, ou comment stocker, classifier, rechercher et mémoriser ses informations multimédias personnelles

[e-mail], HES-SO Valais, [e-mail], HES-SO Fribourg, [e-mail], HES-SO ARC et [e-mail], HES-SO Valais

le cadre du projet Memoria-Mea, la HES- Dans SO, l’IDIAP,l’Université de Fribourg et l’Université de Sienne mettent en place une équipe inter- disciplinaire capable d’approcher de manière globale la problématique complexe de l’extraction et de l’exploitation de l’information. Ce projet est non seulement collaboratif sur le plan organisationnel et institutionnel, mais aussi d’un point de vue scientifique. Dès lors, un des objectifs majeurs est la connexion des différentes forces afin d’intégrer par synergie les différentes compétences et résultats de la re- cherche dans une solution globale dePersonal Information Management Systemdestinée à un large public. Avec l’arrivée en masse des nouvelles technologies qui ont envahi notre vie quotidienne lors de nos activités privées (voyage, rencontre, social, etc.) et de nos activités professionnelles (réunions, télétravail, etc.), nous ne pouvons que constater l’augmentation drastique et exponentielle de 1 la quantité d’information digitaleà laquelle nous sommes capables d’accéder et de sauvegarder sur nos supports in- formatiques (ordinateur, PDA, etc.). Cette situation a créé une complexité infranchissable à laquelle l’être humain doit pouvoir faire face et doit être capable de gérer d’une manière optimale. Trouver, stocker, chercher et manipuler les données digitales doivent être des tâches simples et intuitives. Or, nous constatons que cette problématique est loin d’être résolue; pire encore, dans la réalité de notre vie quotidienne nous sommes souvent incapables de retrouver la bonne informa- tion au moment qui nous est opportun. L’information utile pour nous à un moment donné n’est jamais trouvée ou elle arrive si tard qu’elle devient rapidement obsolète. Il arrive souvent que l’information ne soit pas au bon endroit: elle peut être à la maison quand nous sommes au bureau ou vice versa, elle peut être aussi stockée sur le mauvais support que nous n’avons pas sous la main. Une autre frustration s’ajoute à cela, la fragilité de notre mémoire. Par exemple, nous pouvons savoir ce que nous cherchons, mais nous n’arrivons plus à mettre la main dessus. Nous pouvons également oublier d’utiliser l’information même si nous avons dépensé beaucoup d’énergie pour la sauvegarder à un endroit précis afin de pouvoir la restituer par la suite selon nos besoins. Le projetMemoria-Mea (www.memoria-mea.ch) vise à pallier ces problèmes cités plus haut en développant un système permettant à une personne d’organiser, de classifier et de rechercher tout type d’information multimédia nu-

mérique avec laquelle elle a interagi pendant ses activités quotidiennes.

g estionPersonnelledel ’ inFormation

2 Le PIM(Personal Information Management)est l’axe de recherche scientifique actuel traitant de la problématique liée aux activités que des personnes exécutent pour acquérir, organiser, maintenir et récupérer l’information digitale pour leur utilisation quotidienne. Le fonctionnement idéal d’un système PIM est celui qui nous garantit d’avoir toujours la bonne information à la bonne place, au bon moment et dans le bon format corres- pondant à notre besoin à un instant donné. Les outils et les technologies actuels nous aident, certes, à dépenser moins de temps avec des tâches fastidieuses et répétitives liées à la gestion de l’information en général comme le classement, la correction automatique, etc., mais ils sont très loin de nous garantir ce fonctionnement idéal, car ils souffrent de plusieurs défaillances: z Cesoutils sont incapables d’assurer tous les besoins des utilisateurs lors de leurs activités quotidiennes (privées et professionnelles) par exemple l’accès précis et intuitif à toute l’information que l’utilisateur possède ou la re- cherche personnalisée et contextuelle d’un certain type d’information. zoutils n’offrent pas de techniques de visualisation Ces assurant des vues personnalisées et personnalisables sur la masse d’information, permettant par exemple à une personne d’avoir une vue temporelle ou thématique de ces données. z Laprolifération et la diversité de ces outils sont deve- nues le grand problème menant à la fragmentation de l’information: en effet, une personne peut maintenir plusieurs schémas organisationnels de ces documents digitaux (photos, emails, vidéos, bookmarks, etc.) qui sont quasiment comparables, mais inévitablement in- consistants. Cela est largement accentué si la personne possède plusieurs comptes emails, plusieurs ordinateurs (privé et professionnel), et utilise des supports mobiles (PDA ou Smartphones). z Cesoutils ne permettent pas d’englober la totalité des sources informatives dont nous disposons, notamment le contenu multimédia et multimodal des téléphones

1  Lanotion d’information digitalese réfère dans le cadre de ce projet à tous types de documents multimédias qu’une personne possède. 2  PersonalInformation Management (PIM) is the practice of managing information that helps us in our daily lives such as addresses, phone numbers, to-dos, appointments, notes, documents, folders, and also, these days, urls and email addresses.

FI 7 – 25 septembre 2007 – page 12

Memoria-Mea, ou comment stocker, classifier, rechercher et mémoriser ses informations multimédias personnelles

portables. L’information contenue dans un téléphoneToute la problématique et le potentiel de la gestion, du mobile n’est pas complètement exploitée voire pas encorepartage et de la diffusion de l’information sont ainsi mis en exploitable sous certains aspects. Au-delà du transfertévidence. Et même si le marché propose déjà nombre de de la voix, textes, contacts, rendez-vous, tâches, vidéos,solutions de synchronisation entre téléphones portables ou sons, images, documents de format propriétaire et autresentre téléphones portables et ordinateurs, toutes les questions applications peuvent également être reçus et envoyés àde connexion, de compatibilité, d’ergonomie et de facilité partir d’un cellulaire.d’utilisation des solutions existantes n’ont pas encore trouvé réponse. Une fois les données du téléphone transférées sur un ordinateur tout n’est pas résolu. Il apparaît dès lors comme t éléPhonemobile : source une nécessité de pouvoirindustrialiserrecherche et la la d ’ inFormationàexPloiter collecte d’informations. Les moteurs de recherche et autres outils de syndication sont là pour nous aider. Cependant, Prenons un exemple concret sur ce dernier point. À partirseuls les agents intelligents sont capables de se substituer à un d’une photo prise par un téléphone portable, il devrait êtreopérateur humain pour effectuer une recherche réellement possible de retrouver la date, l’heure, le lieu du cliché, maisfine. Et sans données structurées, ces agents ne peuvent pas aussi les participants, voire l’événement. Il est aujourd’huitravailler. L’information nécessite d’être structurée, catégo- envisageable grâce à des algorithmes de détecter la présencerisée et sémantisée avant d’en permettre une représentation d’un ou plusieurs visages sur une photo, fournissant alorspersonnalisée et intelligente. pour peu qu’elles soient judicieusement exploitées des in- formations supplémentaires très précieuses. Si l’utilisateur a la possibilité d’associer ces visages avec les contacts de son m emoria -m ea répertoire, l’information s’enrichit encore. Bien que des prototypes de détection de visage pour téléphones mobilesLe but du projet Memoria-Mea (www.memoria-mea.ch) existent, cette fonctionnalité n’est pas encore disponibleest donc la mise en place d’une plate-forme PIM qui corres- sur le marché. Or, grâce aux informations intrinsèques etponde à un organisateur informationnel de notre mémoire déductibles contenues dans le téléphone portable, il seraitnumérique personnelle (voir fig. 2). Grâce à la plate-forme possible d’extraire la connaissance de l’image elle-mêmeMemoria-Mea, une personne pourrait organiser, classifier, et et ainsi alimenter le PIM (fig. 1). Il va sans dire que touterechercher tout type d’information multimédia avec laquelle la question de la structuration de l’information récupéréeelle a interagi pendant ses activités quotidiennes. Plus en du système d’information du téléphone mobile devientdétail, les données sont traitées sur deux niveaux différents névralgique. Les ontologies vont permettre de structurerpar la plate-forme: des informations hétérogènes et, en fin de compte, il serazgénérique (voir fig. 2 (c)): ce niveau applique des niveau possible de fédérer les données et informations de diversestraitements génériques d’indexation et de génération de sources afin d’enrichir lePersonal Information Managementvia des outils existants (ex. Google desktop,. métadonnées L’utilisation de métatags sera aussi nécessaire dans la phaseetc.) et les résultats sont stockés dans une base de données d’extraction de l’information du SI mobile.dédiée. z niveausémantique (voir fig. 2 (b)): ce niveau MultiModal Mobile Phone Personal Information Management applique des traitements per- sonnalisés d’indexation et de Face tracker génération de métadonnées Visualization via un modèle sémantique basé sur des techniques de Face tracker datamining et d’expression for mobile ontologique.

Add picture to contact

Video Face Tracker

Deduction – rules Social Information network retrieval Ontologies Text Personal Mining Profile Information data

fig. 1 – téléphone mobile: source d’information supplémentaire vers le PIM

Les processus de recher- che, de visualisation et de classification de l’informa- tion se basent sur la logique de l’utilisateur, ses préféren- ces, ainsi que sur les aspects contextuels exprimés via les deux niveaux de traite- ments cités plus haut. Cela va permettre à la plate-forme Memoria-Mea de fournir des modalités personnalisées et personnalisables de gestion et d’accès à l’information (voir fig. 2 (a)).

FI 7 – 25 septembre 2007 – page 1

Memoria-Mea, ou comment stocker, classifier, rechercher et mémoriser ses informations multimédias personnelles

La philosophie adoptée user dans le cadre de la réalisa- Memoria – Mea Platform tion de ce projet consiste à réutiliser une majorité de techniques et de réalisations Interface for existantes actuellement dans information le domaine de la recherche visualization and search (a) d’informations et des tech- niques d’indexation et de ontology visualization classification (voirfig. 2 converters user model personal (c)) par exemple Google semi automatic automatic browsing indexinginformation Personal annotations Desktop, etc. annotations indexes based on user Les collections du CERN database indexes datamining searching model (b) et du Centre de traitement de l’information du canton Desktop On demand AV de Neuchâtel, ainsi que les search engine metadata e.g. e.g. Google Pandora, TSR Generic Indexing collections privées des per- based on existing sonnes impliquées dans le Face recognition e.g. Face Tracker system &tools projet seront utilisées pour (c) assurer la masse nécessaire d’informations afin d’ef- Heterogeneous web fectuer les tests dans des text personal video photo conditions réelles (voir fig. information 2 (d)). De manière synthé- repositories (d) tique, le projet s’intéresse à résoudre les problématiques fig. 2 – architecture Memoria-Mea suivantes: 4 tology) , elle explicite des concepts relatifs à un niveau de ztraitement d’une image prise par un téléphone mobile Le connaissance particulier et les règles de leur utilisation dans avec exploitation des différentes métadonnées associées une application définie. (heure et date de la photo, lieu par coordonnées GSM, Dans notre cas, l’ontologie serait ainsi une représentation etc.); abstraite de l’ensemble des connaissances propres aux sous zcréation de couches sémantiques personnalisées basées La domaines considérés dans les trois scénarii, à savoir celui d’un sur des approches ontologiques et des techniques de député cantonal, d’un chercheur et d’un voyageur. datamining décisionnel Afin de décrire une ontologie, il existe plusieurs forma- z Lamise en place d’un module de recherche contex- lismes parmi lesquels nous citerons leResource Description tuelle 5 FrameworkRDF est un environnement pour la (RDF). z Laspécification d’une interface de visualisation et de conceptualisation et le traitement des connaissances d’un navigation personnalisable. domaine précis. Il s’appuie essentiellement sur la représen- tation des objets et des entités qui composent ce domaine l esontologiesàlarescousse en tant que ressources, caractérisées par des propriétés et des valeurs attribuées à ces propriétés. Ainsi, il pourrait à l’avenir être possible de retracer en Cette association, dite de triplet, permet de décrire les semi-automatiques certains événements de façon chronolo- caractéristiques des classes avec le modèle attribut/valeur et gique, géographique, thématique ou contextuelle. Pour cela, ainsi lier entre les différentes classes puisque les valeurs des l’approche sémantique développée dans ce projet va permet- attributs peuvent être des lienssémantiques versd’autres tre l’exploitation optimale des différentes informations et la classes; on retrouve ainsi une représentation en réseau de découverte de leurs liens. Afin de représenter les différents connaissances. RDF peut être utilisé dans de nombreux liens sémantiques entre les diverses classes d’objets du sys- types d’investigation, par exemple dans la recherche d’in- tème, nous suggérons de modéliser cette conception sous formations afin de fournir de meilleures performances aux forme d’ontologie, dont le rôle est de spécifier un vocabulaire moteurs informatiques; dans la description structurelle consistant et non ambigu de l’ensemble des connaissances du contenu et de l’interaction du contenu des documents du domaine ainsi que la nature et le contexte des relations 6 Web (Web sémantique) ou des bibliothèques numériques; qui les interconnectent. ou encore dans les applications de partage et d’échange de Une ontologie est une spécification formelle d’une 3 connaissances. conceptualisation partagée . Diteappliquée(applied on- 3  Cf.Gruber, T. R.,A translation approach to portable ontologies, in Knowledge Acquisition, 5 (2), 1993, pp. 199 - 220. 4  Cf.Peter Mika. Applied Ontology-based Knowledge Management: A Report on the State-of-the-Art. Master’s thesis, Vrije Universiteit, Amsterdam, Amsterdam, August 2002. 5  WorldWeb Consortium (W3C), Resource Description Framework (RDF), cf.www.w3.org/RDF/. 6  TheSemantic Web Community Portal, Semantic Web, cf.www.semanticweb.org/. Voir également les sites www.w3.org/2001/sw/ et www.w3.org/DesignIssues/Semantic.html .

FI 7 – 25 septembre 2007 – page 1

Memoria-Mea, ou comment stocker, classifier, rechercher et mémoriser ses informations multimédias personnelles

7 Le langageWeb Ontology Language (OWL)de W3C est une extension de RDF qui permet l’intégration de di- verses formes de raisonnement (telles que les contraintes de cardinalité, d’(in)égalité, de type de données, etc.) afin d’offrir une meilleure efficacité et une grande souplesse dans la représentation des connaissances. La création des ontologies RDF/OWL est une tâche complexe en soi et requiert l’utilisation d’un outil d’édition qui offre une interface utilisateur agréable pour la création consistante des classes et de leurs descriptions. Dans ce 8 contexte, l’éditeurProtégépar l’université de développé Stanford offre un GUI et un environnement très puissant au niveau de la conception des modèles RDF/OWL.Protégé génère des descriptions en syntaxe XML qui peuvent par la suite être parsées dans les applications à l’aide des parseurs 9 spécialisés commeJena.Protégépourra également être inté- gré comme un élément logiciel par la suite directement dans nos applications afin d’offrir à l’utilisateur final un moyen de maintenir ses ontologies.

l etravaild ’ uneéquiPe

À l’heure de l’explosion du nombre de terminaux mul- timédias et multimodaux aux fonctionnalités toujours plus étoffées, la notion de Personal Information Management (PIM) devient de plus en plus présente tant dans l’industrie que dans le monde de la recherche académique. Faisant appel à des compétences multiples, l’extension de l’offre passe par des collaborations entre différents centres de compétences. Le projet Memoria-Mea est un exemple en la matière. La collaboration instaurée entre les RCSO TIC et ISnet de la HES-SO et l’IDIAP est à l’image du monde multiculturel et international dans lequel nous évoluons.

ICTI HES–SO Fribourg IICT UER4 HES–SO HES–SO Vaud Genève RCSO–TIC ISI ISIC HES–SO HES–SO Valais ARC

ISnet IIG–Sierre HES–SO Valais

fig.  – structure collaborative du projet

Les intervenants venant de ces divers partenaires sont les suivants: Omar Abou Khaled, Houda Chabbi, Fabian Cretton, Nastaran Fatemi, Dominique Gabioud, Hatem Ghorbel, Blaise Hurtlin, Markus Jaton, Anne Le Calvé, Sébastien Marcel, Elena Mugellini, Nicolas Pittet, Florian Poulin, Philippe Richard, Laura Raileanu, Andrés Revuelta, Yann Rodriguez, Maria Sokhn. L’équipe de Memoria-Mea est ouverte à toute proposition de collaboration ou de coopération avec les milieux académi- ques ou l’industrie désireux d’investir dans le domaine.n

7  WebOntology Language (OWL)www.w3.org/2004/OWL/. 8  Développépar Stanford Universityprotege.stanford.edu/. 9  Jenaest un parseur des fichiers RDF/OWL utilisée dans l’environnement Java et développé par HP Labsjena.sourceforge.net/.