Localisation 3D basée sur une approche de suppléance multi-capteurs pour la réalité augmentée mobile en milieu extérieur, 3D localization based on multi-sensors assistance scheme for outdoor augmented reality

Iman Mayssa Zendjebil

Description

Sous la direction de Malik Mallem
Thèse soutenue le 01 octobre 2010: Evry-Val d'Essonne
La démocratisation des terminaux mobiles telle que les téléphones cellulaires, les PDAs et les tablettes PC a rendu possible le déploiement de la réalité augmentée dans des environnements en extérieur à grande échelle. Cependant, afin de mettre en œuvre de tels systèmes, différentes problématiques doivent êtres traitées. Parmi elle, la localisation représente l’une des plus importantes. En effet, l’estimation de la position et de l’orientation (appelée pose) du point de vue (de la caméra ou de l’utilisateur) permet de recaler les objets virtuels sur les parties observées de la scène réelle. Dans nos travaux de thèse, nous présentons un système de localisation original destiné à des environnements à grande échelle qui utilise une approche basée vision sans marqueur pour l’estimation de la pose de la caméra. Cette approche se base sur des points caractéristiques naturels extraits des images. Etant donné que ce type d’approche est sensible aux variations de luminosité, aux occultations et aux mouvements brusques de la caméra, qui sont susceptibles de survenir dans l’environnement extérieur, nous utilisons deux autres types de capteurs afin d’assister le processus de vision. Dans nos travaux, nous voulons démontrer la faisabilité d’un schéma de suppléance dans des environnements extérieurs à large échelle. Le but est de fournir un système palliatif à la vision en cas de défaillance permettant également de réinitialiser le système de vision en cas de besoin. Le système de localisation vise à être autonome et adaptable aux différentes situations rencontrées.
-Suppléance de données
The democratization of mobile devices such as smartphones, PDAs or tablet-PCs makes it possible to use Augmented Reality systems in large scale environments. However, in order to implement such systems, many issues must be adressed. Among them, 3D localization is one of the most important. Indeed, the estimation of the position and orientation (also called pose) of the viewpoint (of the camera or the user) allows to register the virtual objects over the visible part of the real world. In this paper, we present an original localization system for large scale environments which uses a markerless vision-based approach to estimate the camera pose. It relies on natural feature points extracted from images. Since this type of method is sensitive to brightness changes, occlusions and sudden motion which are likely to occur in outdoor environment, we use two more sensors to assist the vision process. In our work, we would like to demonstrate the feasibility of an assistance scheme in large scale outdoor environment. The intent is to provide a fallback system for the vision in case of failure as well as to reinitialize the vision system when needed. The complete localization system aims to be autonomous and adaptable to different situations. We present here an overview of our system, its performance and some results obtained from experiments performed in an outdoor environment under real conditions.
Source: http://www.theses.fr/2010EVRY0024/document

Informations

• Publié par: Thesee
• Nombre de lectures: 48
• Langue: Français
• Poids de l'ouvrage: 51 Mo

Extrait

NNT : 2010 Evry 0024
UNIVERSITE D’EVRY-VAL D’ESSONNE
Laboratoire d’Informatique, Biologie Intégrative et Systèmes Complexes
THESE
pour obtenir le grade de
DOCTEUR DE L’UNIVERSITÉ D’ÉVRY
Spécialité : Sciences de l’Ingénieur
Localisation 3D basée sur une approche de
suppléance multi-capteurs pour la Réalité Augmentée
Mobile en Milieu Extérieur
présentée et soutenue publiquement par
Iman Mayssa ZENDJEBIL
Le 01 Octobre 2010
———
JURY
———
Mr. David FOFI , Prof. Université de Bourgogne , Rapporteur
Mr. Eric MARCHAND , Prof. Université de Rennes 1 ,
Mr. Pascal GUITTON , Prof. Université de Bordeaux 1 , Examinateur
Mr. Fakhreddine ABABSA , MdC Université d’Evry , Encadrant
Mr. Jean-Yves DIDIER , MdC Université , Co-encadrant
Mr. Malik MALLEM , Prof. Université d’Evry , Directeur de thèse"lecoeurleplussurestlecoeurd’unemère."Table des matières
Table des matières i
Table des figures v
Liste des tableaux ix
1 Réalité Augmentée en Extérieur : un tour d’horizon 7
1.1 Réalité Augmentée : Définitions . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Système de réalité augmentée : descriptif et technologies . . . . . . . . . . 9
1.2.1 Base de connaissances . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Capteurs de localisation . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.2.1 Global Positioning System (GPS) . . . . . . . . . . . . . 12
1.2.2.2 Capteurs inertiels . . . . . . . . . . . . . . . . . . . . . 14
1.2.2.3 La caméra . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.3 Dispositifs de restitution . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.3.1 Dispositifs basés moniteurs . . . . . . . . . . . . . . . . 16
1.2.3.2 Les casques de RV/RA . . . . . . . . . . . . . . . . . . 18
1.3 Réalité augmentée en extérieur : applications . . . . . . . . . . . . . . . . 19
1.3.1 Applications pour la navigation . . . . . . . . . . . . . . . . . . . 19
1.3.2 pour l’accès à l’héritage culturel . . . . . . . . . . . . 22
1.3.3 pour l’assistance au travail . . . . . . . . . . . . . . . 23
1.4 Synthèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
1.5 RA en extérieur : Problématiques . . . . . . . . . . . . . . . . . . . . . . . 29
1.5.1 Localisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
1.5.2 Visualisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.5.3 Interaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.6 Objectifs de la thèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2 Localisation basée vision 33
2.1 Taxonomie des méthodes d’estimation de pose . . . . . . . . . . . . . . . . 33
2.1.1 Approches avec connaissance a priori . . . . . . . . . . . . . . . . 34
2.1.1.1 Méthodes basées marqueurs . . . . . . . . . . . . . . . . 34
2.1.1.2 sans ou "markerless" . . . . . . . . 35
2.1.2 Approches sans connaissance a priori . . . . . . . . . . . . . . . . 42
2.2 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.3 Méthode basée point d’intérêts : vue globale . . . . . . . . . . . . . . . . . 48
iii TABLEDESMATIÈRES
2.4 Initialisation semi-automatique : Appariement 2D/3D . . . . . . . . . . . . 50
2.5 Suivi basé points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.6 Expérimentations et résultats . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.6.1 Performances de l’initialisation semi-automatique . . . . . . . . . . 54
2.6.2 de l’estimation de pose . . . . . . . . . . . . . . . . 55
2.6.2.1 Erreur de reprojection . . . . . . . . . . . . . . . . . . . 56
2.6.2.2 de localisation : Position . . . . . . . . . . . . . . 58
2.6.2.3 Erreur de : Orientation . . . . . . . . . . . . 59
2.6.2.4 Temps d’exécution . . . . . . . . . . . . . . . . . . . . . 61
2.6.2.5 Résultats de recalage . . . . . . . . . . . . . . . . . . . 62
2.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3 Systèmes de localisation multi-capteurs 65
3.1 Taxonomie des systèmes . . . . . . . . . . . . . . . . . . . 65
3.1.1 La fusion de données . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.1.1.1 You et al. . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.1.1.2 Hol et al. . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.1.1.3 Bleser et al. . . . . . . . . . . . . . . . . . . . . . . . . 69
3.1.1.4 Ababsa et al. . . . . . . . . . . . . . . . . . . . . . . . . 71
3.1.1.5 Reitmayr et Drummond . . . . . . . . . . . . . . . . . . 73
3.1.1.6 Schall et al. . . . . . . . . . . . . . . . . . . . . . . . . 75
3.1.2 La suppléance des données . . . . . . . . . . . . . . . . . . . . . . 77
3.1.2.1 Aron et al. . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.1.2.2 Maidi et al. . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.2 Synthèse et étude comparative . . . . . . . . . . . . . . . . . . . . . . . . 80
3.3 Proposition d’un système de localisation multi-capteurs . . . . . . . . . . . 85
3.4 Enjeux et problématiques . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.4.1 Calibration du capteur hybride . . . . . . . . . . . . . . . . . . . . 87
3.4.2 Localisation et suivi basée vision . . . . . . . . . . . . . . . . . . 87
3.4.3 Prédiction d’erreur et correction . . . . . . . . . . . . . . . . . . . 87
3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4 Modélisation et Calibration de Capteur Hybride 89
4.1 Calibration Inertiel/Caméra : état de l’art . . . . . . . . . . . . . . . . . . . 90
4.1.1 You et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
4.1.2 Alves et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
4.1.3 Lang et Pinz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.1.4 Hol et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
4.1.5 Aron et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
4.1.6 Reitmayr et Drummond . . . . . . . . . . . . . . . . . . . . . . . 94
4.1.7 Maidi et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.1.7.1 Première approche . . . . . . . . . . . . . . . . . . . . . 95
4.1.7.2 Deuxième . . . . . . . . . . . . . . . . . . . . 96
4.1.8 Bleser et al. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
4.2 Synthèse et étude comparative . . . . . . . . . . . . . . . . . . . . . . . . 98
4.3 Capteur Inertiel/Caméra : Modélisation et calibration . . . . . . . . . . . . 99
4.3.1 Centrale inertielle . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.3.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
4.3.3 Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.4 Capteur GPS/Caméra : modélisation et calibration . . . . . . . . . . . . . . 103iii
4.4.1 GPS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.4.2 Modélisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.4.3 Calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
4.5 Expérimentations et résultats . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.5.1 Caractérisation de la centrale inertielle . . . . . . . . . . . . . . . . 107
4.5.2 Calibration Inertiel/Caméra : évaluation de la précision de l’esti-
mation des rotations . . . . . . . . . . . . . . . . . . . . . . . . . 109
4.5.3 Caractérisation du récepteur GPS . . . . . . . . . . . . . . . . . . 111
4.5.4 Calibration GPS/Caméra : évaluation de la précision de l’estima-
tion de la position . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5 Localisation basée suppléance multi-capteurs 119
5.1 Description du système . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2 Composants nécessaires à l’intégration des deux sous-systèmes . . . . . . . 121
5.2.1 Critères de validation . . . . . . . . . . . . . . . . . . . . . . . . . 121
5.2.1.1 Le nombre de points suivis . . . . . . . . . . . . . . . . 122
5.2.1.2 L’erreur de reprojection . . . . . . . . . . . . . . . . . . 122
5.2.1.3 Intervalles de confiance . . . . . . . . . . . . . . . . . . 122
5.2.2 Prédiction et correction d’erreur . . . . . . . . . . . . . . . . . . . 123
5.2.2.1 La régression avec le processus Gaussien . . . . . . . . . 125
5.2.2.2 Application au système d’assistance de localisation . . . 126
5.2.3 Réinitialisation automatique . . . . . . . . . . . . . . . . . . . . . 127
5.3 Fonctionnement et réalisation du système . . . . . . . . . . . . . . . . . . 129
5.3.1 ARCS : Augmented Reality Components System . . . . . . . . . . 131
5.3.1.1 Composants .