No d'ordre:

Ludovic Sternberger

Description

Niveau: Supérieur, Doctorat, Bac+8
No d'ordre: 5265 THÈSE présentée à l'Université Louis Pasteur Laboratoire des Sciences de l'Image, de l'Informatique et de la Télédétection UMR 7005 CNRS-ULP par M. Ludovic Sternberger pour obtenir le grade de Docteur de l'université Louis Pasteur de Strasbourg 1 Mention SCIENCES Spécialité INFORMATIQUE Interaction en réalité virtuelle soutenue publiquement le 28 novembre 2006, devant la commission d'examen composée de : Mme Dominique BECHMANN, Directeure de Thèse, Professeure à l'Université Louis Pasteur de Strasbourg I M. Jean-Michel DISCHLER Rapporteur Interne, Professeur à l'Université Louis Pasteur de Strasbourg I M. Stéphane DONIKIAN Rapporteur Externe, Chargé de recherches - HDR à l'IRISA de Rennes M. Frédéric MERIENNE Rapporteur Externe, Professeur à l'ENSAM de Chalon-sur-Saône M. Jean-Pierre JESSEL Examinateur, Professeur à l'Université Paul Sabatier de Toulouse

• modèle de déformation pour l'édition multi-résolution


• interaction


• structure globale de la vrlib


• interfaces haptiques


• interaction en réalité virtuelle


• volumes de sélection


• navigation


• traqueurs inertiels

Sujets

• Sternberger
• Jessel
• Sabatier
• 5024 Bechmann
• Louis Pasteur University
• Interaction

Informations

• Publié par: profil-zyak-2012
• Publié le: 01 novembre 2006
• Nombre de lectures: 66
• Langue: Français
• Poids de l'ouvrage: 9 Mo

Extrait

THÈSE

présentée à

o N d’ordre: 5265

l’Université Louis Pasteur Laboratoire des Sciences de l’Image, de l’Informatique et de la Télédétection UMR 7005 CNRSULP

par

M. LudovicSternberger

pour obtenir le grade de

Docteur de l’université Louis Pasteur de Strasbourg 1 Mention SCIENCES Spécialité INFORMATIQUE

Interaction en réalité virtuelle

soutenue publiquement le28 novembre 2006, devant la commission d’examen composée de :

Mme DominiqueBECHMANN, Directeure de Thèse, Professeure à l’Université Louis Pasteur de Strasbourg I M. JeanMichelDISCHLERRapporteur Interne, Professeur à l’Université Louis Pasteur de Strasbourg I M. StéphaneDONIKIANRapporteur Externe, Chargé de recherches  HDR à l’IRISA de Rennes M. FrédéricMERIENNERapporteur Externe, Professeur à l’ENSAM de ChalonsurSaône M. JeanPierreJESSELExaminateur, Professeur à l’Université Paul Sabatier de Toulouse

Table

Introduction

I

1

2

État de l’art

des

matières

La réalité virtuelle 1.1 Historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Plusieurs définitions . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.1 Immersion, présence et mal virtuel . . . . . . . . . . . . . 1.2.2 Autres définitions . . . . . . . . . . . . . . . . . . . . . . . 1.3 Les sens de l’homme rendent réel le virtuel . . . . . . . . . . . . 1.3.1 La vision . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.2 Le toucher . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.3 L’ouïe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.4 L’odorat . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.5 Le goût . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1 2.2 2.3 2.4 2.5

Interaction3D Introduction . . . . . . . . . . . . . . . . . . . . . . . . Les différentes formes d’interaction en réalité virtuelle 2.2.1 La navigation . . . . . . . . . . . . . . . . . . . 2.2.2 La sélection . . . . . . . . . . . . . . . . . . . . 2.2.3 La manipulation . . . . . . . . . . . . . . . . . 2.2.4 Le contrôle du système . . . . . . . . . . . . . . 2.2.5 L’entrée de symboles . . . . . . . . . . . . . . . La navigation . . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Navigation par mouvements physiques . . . . . 2.3.2 Navigation par contrôle du point de vue . . . . 2.3.3 Navigation par indication de la direction . . . . 2.3.4 Navigation par accroche . . . . . . . . . . . . . 2.3.5 Navigation planifiée . . . . . . . . . . . . . . . La sélection . . . . . . . . . . . . . . . . . . . . . . . . 2.4.1 Sélection locale . . . . . . . . . . . . . . . . . . 2.4.2 Sélection distante . . . . . . . . . . . . . . . . . 2.4.3 Sélection dirigée . . . . . . . . . . . . . . . . . 2.4.4 Sélection par commande vocale . . . . . . . . . 2.4.5 Sélection dans une liste de choix . . . . . . . . La manipulation . . . . . . . . . . . . . . . . . . . . . 2.5.1 Manipulation locale . . . . . . . . . . . . . . .

iii

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

1

5

7 7 9 11 13 15 15 18 20 21 21 22

25 25 26 27 29 30 30 31 31 31 38 42 45 46 49 49 51 58 63 63 63 64

iv

3

II

4

2.6

2.7

2.8

2.5.2 Manipulation distante . . . . . . 2.5.3 Manipulation bi-manuelle . . . . 2.5.4 Manipulation contrainte . . . . . 2.5.5 Manipulation hybride . . . . . . Le contrôle du système . . . . . . . . . . 2.6.1 Outils graphiques . . . . . . . . . 2.6.2 Outils physiques . . . . . . . . . 2.6.3 Commandes gestuelles et vocales L’entrée de symboles . . . . . . . . . . . 2.7.1 Les claviers . . . . . . . . . . . . 2.7.2 La reconnaissance de gestes . . . 2.7.3 La reconnaissance vocale . . . . Conclusion . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

Les interfaces matérielles Introduction . . . . . . . . . . . . . . . . . . . . Interfaces visuelles . . . . . . . . . . . . . . . . 3.2.1 Interfaces fixes . . . . . . . . . . . . . . 3.2.2 Interfaces portables . . . . . . . . . . . Interfaces de suivi du mouvement . . . . . . . . 3.3.1 Traqueurs magnétiques . . . . . . . . . 3.3.2 Traqueurs acoustiques . . . . . . . . . . 3.3.3 Traqueurs optiques . . . . . . . . . . . . 3.3.4 Traqueurs mécaniques . . . . . . . . . . 3.3.5 Traqueurs inertiels . . . . . . . . . . . . Interfaces d’entrée utilisateur . . . . . . . . . . 3.4.1 Périphériques de pointage3D. . . . . . 3.4.2 Gants de données . . . . . . . . . . . . . Interfaces haptiques . . . . . . . . . . . . . . . 3.5.1 Interfaces haptiques actives . . . . . . . 3.5.2 Interfaces haptiques passives . . . . . . 3.5.3 Interfaces tangibles . . . . . . . . . . . . 3.5.4 Interfaces pseudo-haptiques . . . . . . . Interfaces dédiées à l’ouïe, à l’odorat et au goût 3.6.1 Interfaces sonores . . . . . . . . . . . . . 3.6.2 Interfaces odorantes . . . . . . . . . . . 3.6.3 Interfaces gustatives . . . . . . . . . . . Conclusion . . . . . . . . . . . . . . . . . . . .

3.1 3.2 3.3 3.4 3.5 3.6 3.7

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

Table des matières

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

Réflexions et développements sur l’interaction

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . .

65 66 69 71 71 72 82 85 87 87 88 90 92

95 95 96 96 99 100 102 102 102 103 103 104 104 105 107 107 109 109 110 110 111 112 113 113

117

La vrLib : une librairie de conception d’applications de RV 119 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 4.2 Motivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 4.2.1 État de l’art . . . . . . . . . . . . . . . . . . . . . . . . . 121 4.2.2 Motivation et philosophie . . . . . . . . . . . . . . . . . . 125 4.3 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 4.3.1 Structure globale de la vrLib . . . . . . . . . . . . . . . . 127 4.3.2 Gestion des événements . . . . . . . . . . . . . . . . . . . 130

5.1 5.2 5.3 5.4 5.5 5.6

v

4.3.3 Graphe de scène . . . . . . . . . . . . . . . . . . . . . . . 135 4.3.4 Outils d’interaction . . . . . . . . . . . . . . . . . . . . . . 146 4.3.5 Environnement de développement . . . . . . . . . . . . . 151 Exemples d’utilisation . . . . . . . . . . . . . . . . . . . . . . . . 153 4.4.1 Hello world ! . . . . . . . . . . . . . . . . . . . . . . . . . 154 4.4.2 Changement d’outil d’interaction . . . . . . . . . . . . . . 155 4.4.3 Manipulation contrainte . . . . . . . . . . . . . . . . . . . 156 Conclusion et perspectives . . . . . . . . . . . . . . . . . . . . . . 158 4.5.1 vrDesigner : un studio de programmation graphique . . . 158 4.5.2 vrDesktop : un gestionnaire de fenêtres pour la réalité virtuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

. . . . . . . . . . . . . . . . . . . . .

161 161 162 163 164 165 166 167 168 169 178 184 188 188 189 189 190 192 193 193 194 195

4.5

4.4

Table des matières

5

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

6

Applications de test de la vrLib 197 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 V R 6.2 Le modeleur multi-résolution MRMaps . . . . . . . . . . . . . 197 6.2.1 Description de l’application . . . . . . . . . . . . . . . . . 198 6.2.2 Interface et interaction . . . . . . . . . . . . . . . . . . . . 200 6.2.3 Un modèle de déformation pour l’édition multi-résolution 204 6.2.4 Conclusions et perspectives . . . . . . . . . . . . . . . . . 206 V R 6.3 Le modeleur géométrique Cad . . . . . . . . . . . . . . . . . . 208 6.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 208 6.3.2 Exemple de construction . . . . . . . . . . . . . . . . . . . 209 6.3.3 Création et sélection bi-manuelle . . . . . . . . . . . . . . 210 6.3.4 Construction bi-manuelle . . . . . . . . . . . . . . . . . . 213 6.3.5 Manipulation bi-manuelle . . . . . . . . . . . . . . . . . . 214 6.3.6 Navigation contrainte . . . . . . . . . . . . . . . . . . . . 216 6.3.7 Conclusion et perspectives . . . . . . . . . . . . . . . . . . 217

Techniques d’interaction évoluées Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . Vers une interaction conduite par la dimension . . . . . . 5.2.1 Dimensionnalités des objets manipulés . . . . . . . 5.2.2 Dimensionnalités des outils d’interaction . . . . . . 5.2.3 Conception de l’interaction : de l’objet à l’outil . . 5.2.4 Les 3 lois de l’interaction . . . . . . . . . . . . . . 5.2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . Interaction gestuelle . . . . . . . . . . . . . . . . . . . . . 5.3.1 Correction du suivi de mouvement . . . . . . . . . 5.3.2 Reconnaissance de postures . . . . . . . . . . . . . 5.3.3 Reconnaissance de gestes . . . . . . . . . . . . . . 5.3.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . Rayon déformable . . . . . . . . . . . . . . . . . . . . . . 5.4.1 Travaux précédents . . . . . . . . . . . . . . . . . . 5.4.2 Description . . . . . . . . . . . . . . . . . . . . . . 5.4.3 Fonctionnement . . . . . . . . . . . . . . . . . . . . 5.4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . Volumes de sélection . . . . . . . . . . . . . . . . . . . . . 5.5.1 Par boîte englobante . . . . . . . . . . . . . . . . . 5.5.2 Par lasso3D. . . . . . . . . . . . . . . . . . . . . Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . .

vi

6.4

6.5

Table des matières

Autres applications . . . . . . . . . . . . . . . . . . . . . . . . . . 218 V R 6.4.1 STIGMA . . . . . . . . . . . . . . . . . . . . . . . . . . 218 V R 6.4.2 SoundShaker . . . . . . . . . . . . . . . . . . . . . . . . 222 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224

Conclusion et perspectives

227

Introduction

Contexte  Domaine

Le sujet de ce mémoire se situe à l’intersection de deux domaines qui sont souvent associés : laréalité virtuelleet l’interaction.

La réalité virtuelle fait l’objet d’un intérêt croissant depuis une quarantaine d’années, et particulièrement depuis le début des années 1990. Cela pour au moins une raison. Elle permet de produire une réalité immatérielle présentée à l’esprit par l’intermédiaire des sens de l’être humain. Ce monde potentiel repose sur une série d’illusions coordonnées et réunies en un tout objectif pour l’esprit humain par l’ordinateur.

L’interaction homme-machine répond au besoin de faciliter la communica- tion entre l’homme et la machine, et d’aider à la construction d’un modèle mental humain cohérent. Elle repose sur l’ensemble des moyens matériels et logiciels mis en œuvre pour favoriser l’interprétation des souhaits et réactions de l’être humain face à un ordinateur. Initialement, ce lien – on parlera encore d’interface – n’était que physique : l’utilisateur manipulait des cartes perforées sur les premiers ordinateurs. Par la suite, l’apparition des premiers écrans per- mit d’introduire une communicationviale clavier et le texte, dématérialisant une partie de l’interaction. À la fin des années 70, l’apparition des premières interfaces graphiques2Dfinit d’attester du rôle fondamental que joueraient dé- sormais les aspects logiciels dans le dialogue entre l’homme et la machine.

Progressivement, l’apparition de la réalité virtuelle et du matériel approprié a permis de créer des environnements en 3 dimensions. Dès lors, l’interaction 2Ddevait laisser la place à une interaction dite3D, plus adaptée aux possi- bilités offertes par ces nouveaux environnements. Cependant, en comparaison des interfaces2D, dont les aspects matériels et logiciels sont désormais quasi- ment standardisés, le challenge est bien plus important dans un monde virtuel 3D. L’interaction homme-machine en réalité virtuelle pose un certain nombre de problèmes inhérents à la fois au matériel qui est utilisé, et aussi à la mise au point d’outils virtuels adaptés à l’utilisation des périphériques.

1

2

Problématique générale

Introduction

Alors qu’il aura fallu une bonne vingtaine d’années pour passer des premiers prototypes d’interfaces2Daux environnements de bureau que l’on connaît et utilise aujourd’hui, la situation est bien différente en3D. La problématique de l’interaction en réalité virtuelle se pose sous deux optiques qui sont liées.

D’une part, le nombre de périphériques physiques est très important et ceux- ci sont souvent de nature très différente. D’une simple paire de lunettes à écrans de projection intégrés, l’utilisateur peut également être confronté à un envi- 3 ronnement immersif dont la taille dépasse les30m. Il y a donc là une réelle nécessité de réussir à standardiser le matériel pour baisser les coûts, à limiter le nombre de périphériques utilisés et pérenniser les solutions existantes. Ce qui facilitera naturellement l’accès de la réalité virtuelle au plus grand nombre. D’un matériel trop expérimental, il est impératif d’aboutir rapidement à des périphériques ergonomiques, simples, fonctionnels et abordables.

D’autre part, l’utilisation de ce matériel dédié aux environnements virtuels n’est pas aisée pour le moment. De nombreuses recherches ont d’ores et déjà abouti à la création d’outils virtuels spécifiques à certaines tâches. Mais on peut constater que très peu d’applications de production existent à l’heure actuelle. Là encore, il est nécessaire de disposer de solutions logicielles standardisées, qui soient, dans la mesure du possible, indépendantes du matériel sous-jacent. Plus encore, en faisant un parallèle avec le monde de la2D, il faut disposer d’outils similaires permettant le développement rapide et efficace d’applications finalisées.

Position du problème à résoudre

Notre travail se situe donc dans l’optique de l’interaction logicielle en réalité virtuelle. Bien que l’étude des techniques du matériel existant soit un préalable indispensable à la compréhension du domaine, au même titre que la connaissance du fonctionnement des sens humains, nous nous consacrerons essentiellement aux aspects informatiques.

Objectifs

Notre objectif est d’améliorer l’interaction logicielle en réalité virtuelle.

Un état de l’artNous souhaitons d’abord commencer par obtenir une vue globale et complète sur le domaine. Pour nous, cela signifie qu’il s’agit à la fois d’étudier les aspects logiciels et les aspects matériels de l’interaction en réalité virtuelle.

Une approche théorique simple de l’interactionNous souhaitons profi- ter des connaissances que nous avons acquises pour proposer un guide de concep- tion de l’interaction homme-machine, qui pourra être utilisé lors de la réflexion préalable à l’écriture d’un logiciel de réalité virtuelle.

Introduction

3

Un ensemble d’outils adaptés à l’interactionNotre objectif final est de proposer au développeur un cadre de travail adapté à l’interaction en réalité virtuelle, par l’intermédiaire d’outils de développement puissants et simples à mettre en œuvre.

Démarche Le premier objectif est de réaliser un état de l’art très fouillé sur l’interac- tion en réalité virtuelle. Sur ce point, notre démarche consiste à couvrir de la façon la plus large possible le domaine, sans se perdre dans ses méandres. Nous proposons de couvrir à la fois les aspects logiciels et les aspects matériels de l’interaction. Mais avant tout, il nous faut poser plus précisément les définitions des termes et des notions fondamentales qui seront utilisées dans la suite du manuscrit.

Le second objectif est de proposer une nouvelle approche de l’interaction adaptée au développement d’applications et de techniques d’interaction de réa- lité virtuelle. Cela signifie établir des règles de conception des techniques d’in- teraction, et de l’ensemble des objets virtuels que ces derniers manipulent. C’est en considérant la chaîne d’interaction dans sa globalité qu’il est possible de dé- terminer ces règles, et d’autres lois.

Les deux premiers objectifs mènent au troisième qui est de proposer au développeur un ensemble d’outils de développement d’applications de réalité virtuelle. En ayant examiné préalablement toute la chaîne d’interaction, et en considérant que les outils doivent être les plus intuitifs possibles pour l’utilisa- teur final, nous souhaitons nous reposer sur la reconnaissance de postures et de gestes. Notre démarche sera de proposer des outils et des objets qui font exactement ce qu’on leur demande, c’est-à-dire ni trop, ni trop peu. Cette boîte à outils constitue la partie concrète de ce travail de thèse.

Enfin, il semble important de tester et confronter notre travail à la réalité de la conception logicielle. Cela signifie qu’il nous faut tester les concepts logi- ciels, eux-mêmes issus de notre travail théorique préalable, dans des applications suffisamment complexes pour nous assurer que notre démarche est correcte.

Apports Nos apports à l’interaction logicielle en réalité virtuelle portent principale- ment sur trois aspects.

Premièrement, nous proposons un état de l’art complet sur l’interaction no- tamment avec les techniques récentes, en y adjoignant notamment un nouveau chapitre sur l’entrée de symboles. Notre souhait est d’inscrire ce travail, de ma- nière claire et précise, dans le triptyque de l’interaction : le matériel, le logiciel et les sens de l’homme que l’on cherche à stimuler.

Deuxièmement, l’élaboration d’une théorie de l’interaction conduite par la dimension fournit à l’interaction des règles et des lois à observer lors de la phase de conception d’une application virtuelle, et ce, quel que soit le matériel utilisé.

4

Introduction

Les notions de dimensionnalité visuelle et fonctionnelle permettent d’avoir une approche plus globale et systématique, peu importe le cas de figure, et surtout de mettre en œuvre rapidement son application au sein d’un canevas de travail.

Troisièmement, la conception d’une librairie de développement rapide et ef- ficace d’applications de réalité virtuelle tend à apporter au domaine ce qui lui manque depuis toujours : une abstraction efficace du matériel, tout en propo- sant une interface de développement simple. Une librairie standard permet à la fois d’offrir un cadre propice au développement de nouvelles techniques d’in- teraction, et autorise la comparaison des techniques entre elles. En définitive, un tel outil de travail évite de réécrire complètement une application dédiée à une plateforme matérielle spécifique. Sobrement nommée vrLib, cette librairie permet tout aussi bien de porter une application2Den environnement3D, que d’utiliser et/ou concevoir des outils d’interaction plus évolués.

Finalement, dans le cadre de notre démarche, nous choisissons deux appli- cations pour tester les concepts théoriques implantés dans notre librairie d’in- teraction. Nous avons développé d’autres applications qui nous permettent de voir quel est le degré d’efficacité de notre trousse à outils, puis d’en affiner les réglages.

Structuredumémoire

La structure du mémoire s’organise de la façon suivante. Nous avons choisi de scinder ce mémoire en deux parties : l’une consacrée à un état de l’art sur l’interaction en réalité virtuelle, et l’autre sur nos travaux. Chaque partie est composée de trois chapitres distincts.

Le chapitre 1 introduit le domaine de la réalité virtuelle et des notions qui y sont associées. En particulier, nous montrons comment les sens de l’homme construisent un modèle mental cohérent de l’environnement dans lequel il est plongé. Le chapitre 2 cherche à couvrir de manière aussi exhaustive que possible les méthodes d’interaction3Ddédiées à la réalité virtuelle. Le chapitre 3 com- plète cet état de l’art en abordant les aspects matériels rencontrés. Le chapitre 1 de la partie 2 présente les grandes lignes de la vrLib, la librairie d’interaction que nous avons développée. Le chapitre 2 de la partie 2 expose notre théorie de l’interaction dirigée par la dimension, ainsi que notre travail sur l’utilisation des mains pour la reconnaissance de postures et de gestes. Le chapitre 3 de la par- tie 2 vient compléter la seconde partie de ce manuscrit en présentant plusieurs applications construites autour de cette librairie.