Numérisation et reconstruction 3D de la géométrie de la route par observateurs et stéréovision embarquée, Digitization and 3D reconstruction of the road geometry by observers and embedded stereovision

Yazid Sebsadji

Description

Sous la direction de Saïd Mammar, Didier Aubert
Thèse soutenue le 22 octobre 2009: Evry-Val d'Essonne
La connaissance du profil et des attributs de la route est un élément critique dans le développement des assistances à la conduite. Ceci est notamment le cas pour les applications d’alerte et d’aide au maintien de voie. Les résultats des travaux de perception, vidéo notamment, permettent uniquement une localisation relative du véhicule par rapport à la route. Ce type de localisation ne permet pas l’accès au positionnement absolu de la route. A ce titre, il est impossible d’avoir accès au devers de la route via une seule caméra vidéo montée en vision frontale. Pour surmonter cette difficulté, nous proposons dans cette thèse une approche de numérisation et de reconstruction 3D de la géométrie de la route (pente, devers et courbure) dans un repère absolu supposé galiléen. L’idée générale de la numérisation 3D de la route, consiste à localiser le véhicule en 3D, faire le recalage pour obtenir celui du centre de la voie et d’associer à chaque positionnement les valeurs numériques des différents attributs de la route. L’approche développée consiste en la fusion d’informations provenant d’une part de capteurs proprioceptifs et extéroceptifs et d’autre part d’observateurs. On y distingue trois phases principales : La première a pour objet l’estimation des attributs de la route à l’aide d’observateurs. La deuxième est dédiée au positionnement relatif de la route par rapport au véhicule à partir de capteurs de vision embarqués sur le véhicule. La dernière phase aboutit à la reconstruction 3D de la route par fusion des informations provenant des deux premières phases. Techniquement les états des véhicules et les attributs de la route sont reconstruit à l’aide de filtres de Kalman étendus et d’observateurs à entrées inconnues. Par la suite, la géométrie 3D de la route, dans le repère absolu, est obtenue en calculant la matrice de passage du repère relatif, lié aux capteurs embarqués, au repère absolu. On utilise pour cela un schéma de fusion avec les données issues du capteur vidéo et les données GPS en utilisant les techniques IMM (Interacting Multiple Models).
-Observateurs
The knowledge of the profile and the road attributes is a critical item in the development of driving assistances. This is specially the case for alert applications and lateral control. The results of the perception studies, specially the video, only allow a relative localization of the vehicle on the road. This kind of localization does not allow the access to absolute positioning of the road. For this reason, it is impossible to have access to the road bank via only one video camera fixed in frontal view. To overcome this difficulty, we propose in this thesis an approach of digitalization and 3Dreconstruction of the geometry of the road (slope, road bank and curvature) in an absolute frame, supposed Galilean. The general idea of 3D-digitalization of the road consist in localizing the vehicle in 3D, doing the correction to obtain the one of the road center and to associate, to each positioning, the numerical values of the different attributes of the road. The developed approach consists in the fusion of information coming from proprioceptive and exteroceptive sensors on one hand and observers on the other. We find in it three principal cases: The first one has for object the estimation of the road attributes via observers. The second one is dedicated to the relative positioning of the road beside the vehicle via embedded video sensors in the vehicle. The last stage leads to the 3D-reconstruction of the road via fusion of information coming from the two first stages. Technically, the states of the vehicles and the road attributes are reconstructed by application of the extended Kalman filters and proportional integral observers with unknown inputs. Afterwards, the 3D-geometry of the road, in the absolute landmark, is obtained by calculating the transfer matrix from the relative frame, linked to embedded sensors, to the absolute frame. For that, we use a fusion scheme with the video sensors and GPS data by using the IMM techniques.
-Observers
Source: http://www.theses.fr/2009EVRY0025/document

Informations

• Publié par: Thesee
• Nombre de lectures: 42
• Langue: Français
• Poids de l'ouvrage: 10 Mo

Extrait

´ ´Universit´e d’Evry Val d’Essonne Ecole doctorale S&I
Num´ero d’ordre ...
Num´erisation et Reconstruction 3D de
la G´eom´etrie de la Route par
Observateurs et St´er´eovision
`THESE
pr´esent´ee et soutenue publiquement le - - Septembre 2009
pour l’obtention du
´Doctorat de l’Universit´e d’Evry Val d’Essonne
(sp´ecialit´e automatique et robotique)
par
Yazid Sebsadji
Composition du jury
Rapporteurs : Ali CHARARA Professeur `a l’Universit´e de Compi`egne-Heudiasyc
Roland CHAPUIS Professeur a` l’universit´e Clermont Ferrand-LASMEA
Examinateurs : Mohammed M’SAAD Professeur `a l’Universit´e de Caen-Greyc
Daniel LECHNER Directeur de Recherche `a INRETS
Fr´ed´eric HOLZMANN Continental VDO Automotive, Regenburg, Allemagne
Encadrant : S´ebastien GLASER Charg´e de recherche au LCPC
´Directeur : Sa¨ıd MAMMAR Professeur `a l’Universit´e d’Evry Val d’Essonne-IBISC
Didier AUBERT Directeur de recherche a` INRETS
Laboratoire sur les Interactions V´ehicules-Infrastructure-Conducteurs
Unit´e mixte INRETS / LCPC 14, route de la Mini`ere 78000 Versailles-SatoryAvant-propos
1 Résumé
La connaissance du profil et des attributs de la route est un élément critique dans le dévelop-
pement des assistances à la conduite. Ceci est notamment le cas pour les applications d’alerte et
d’aide au maintien de voie.
Les résultats des travaux de perception, vidéo notamment, permettent uniquement une loca-
lisation relative du véhicule par rapport à la route. Ce type de localisation ne permet pas l’accès
au positionnement absolu de la route. A ce titre, il est impossible d’avoir accès au devers de la
route via une seule caméra vidéo montée en vision frontale.
Poursurmontercettedifficulté,nousproposonsdanscettethèseuneapprochedenumérisation
et de reconstruction 3D de la géométrie de la route (pente, devers et courbure) dans un repère
absolu supposé galiléen. L’idée générale de la numérisation 3D de la route, consiste à localiser
le véhicule en 3D, faire le recalage pour obtenir celui du centre de la voie et d’associer à chaque
positionnement les valeurs numériques des différents attributs de la route.
L’approche développée consiste en la fusion d’informations provenant d’une part de capteurs
proprioceptifs et extéroceptifs et d’autre part d’observateurs. On y distingue trois phases prin-
cipales : La première a pour objet l’estimation des attributs de la route à l’aide d’observateurs.
La deuxième est dédiée au positionnement relatif de la route par rapport au véhicule à partir de
capteurs de vision embarqués sur le véhicule. La dernière phase aboutit à la reconstruction 3D
de la route par fusion des informations provenant des deux premières phases.
Techniquement les états des véhicules et les attributs de la route sont reconstruit à l’aide de
filtres de Kalman étendus et d’observateurs à entrées inconnues. Par la suite, la géométrie 3D de
la route, dans le repère absolu, est obtenue en calculant la matrice de passage du repère relatif,
lié aux capteurs embarqués, au repère absolu. On utilise pour cela un schéma de fusion avec les
données issues du capteur vidéo et les données GPS en utilisant les techniques IMM (Interacting
Multiple Models).
Mots Clés : géométrie de la route, attributs de la route, modélisation du véhicule, mou-
vements de la caisse, observateurs, estimateurs, observabilité, identification, expérimentation,
stéréovision, vision artificielle.
2 Abstract
The knowledge of the profile and the road attributes is a critical item in the development
of driving assistances. This is specially the case for alert applications and lateral control. The
results of the perception studies, specially the video, only allow a relative localization of the
vehicle on the road. This kind of localization does not allow the access to absolute positioning
iAvant-propos
of the road. For this reason, it is impossible to have access to the road bank via only one video
camera fixed in frontal view.
To overcome this difficulty, we propose in this thesis an approach of digitalization and 3D-
reconstruction of the geometry of the road (slope, road bank and curvature) in an absolute
frame, supposed Galilean. The general idea of 3D-digitalization of the road consist in localizing
the vehicle in 3D, doing the correction to obtain the one of the road center and to associate, to
each positioning, the numerical values of the different attributes of the road.
The developed approach consists in the fusion of information coming from proprioceptive
and exteroceptive sensors on one hand and observers on the other. We find in it three principal
stages : The first one has for object the estimation of the road attributes via observers. The
second one is dedicated to the relative positioning of the road beside the vehicle via embedded
video sensors in the vehicle. The last stage leads to the 3D-reconstruction of the road via fusion
of information coming from the two first stages.
Technically, thestatesofthevehicles andtheroadattributesarereconstructedbyapplication
of the extended Kalman filters and proportional integral observers with unknown inputs. After-
wards, the 3D-geometry of the road, in the absolute landmark, is obtained by calculating the
transfer matrix from the relative frame, linked to embedded sensors, to the absolute frame. For
that, we use a fusion scheme with the video sensors and GPS data by using the IMM techniques.
Index Terms : road geometry, road attributes, modelisation of the vehicle, vehicle move-
ments, observators, estimators, observability, identification, experimentation, stereovision, arti-
ficial vision.
iiListe des publications
Revues internationales
1. Y. Sebsadji , A. Ndjeng Ndjeng, N. Benmansour, R. Labayrade S. Glaser, S. Mam-
mar, D. Gruyer and D. Aubert, Digitalization and 3D Estimation of the Road, Jour-
nal (soumis).
2. Y. Sebsadji, S. Glaser S. Mammar Road Bank Angle Estimation Using Unknown
Input Proportional Integral Observer, Journal ITS, (soumis).
Articles de conférences internationales avec actes
1. Y. Sebsadji, S. Glaser and S. Mammar, Vehicle Roll and Road Bank Angle Esti-
mation. IFAC World Congress,Seoul, Korea. July 2008.
2. Y. Sebsadji, S. Glaser and S. Mammar, Estimation en Temps Réel des Angles de
Tangage et de Roulis duVéhicule., Conférence Internationale Francophone, Rouma-
nie 2008.
3. Y.Sebsadji, N.Benmansour, S. Glaser,S.Mammar andD. Aubert3D Reconstruc-
tion of the Road Geometry by Embedded Stereovision and Observers, International
Association for Vehicle System Dynamics, Stockholm, Suède, Août 2009.
4. Y. Sebsadji, N. Benmansour, S. Glaser, S. Mammar ,3D Estimation of Road Car-
tography using Vehicle Localization and Observers, IEEE International Conference
on Control Automation Robotic and Vision, Hanoi, Vietnam, Dec 2008.
5. Y. Sebsadji, S. Glaser, S. Mammar and D. Dakhlallah, Road Slope and Vehicle Dy-
namics States Estimation. AmericanControl Conference, Seattle, Washington, USA,
June 2008.
6. C. Sentouh, Y. Sebsadji, S. Glaser and S. Mammar, Road Bank Angle and Faults
Estimation Using Unknown Input Proportional-Inttegral observer. ECC paper,Kos,
Greece, July 2007.
7. N. Minoiu Enache, Y. Sebsadji, S. Mammar, B. Lusetti and S. Glaser Integrated
lane departure avoidance and lane keeping assistance : Theoretical and experimental
study of the driver’s influence on the lane keeping performance, CCA, Saint Peters-
burg, Août 2009.
8. S. Mammar, Y. Sebsadji, S. Glaser, Modèle Takagi-Sugeno et Retour de Sortie
Statique pour l’Aide à la Manoeuvrabilité des Véhicules, Conférence Internationale
Francophone, Roumanie 2008.
9. S. Mammar, S. Glaser and Y. Sebsadji, Time-To-Line-Crossing : from Perception
to Control Variable. ITSC 2007.
10. D.Dakhlallah,S.Glaser,S.MammarandY.Sebsadji.Tire-RoadForcesEstimation
Using Extended Kalman Filter and Mobilized Friction Coefficient and Sideslip Angle
Evaluation. American Control Conference. ACC paper, Seattle, Washington, USA,
June 2008.
iiiArticles de conférences nationales avec actess
1. Y. Sebsadji, S. Glaser et S. Mammar, Observateurs Non Linéaires en Cascade :
Application à l’Estimation de l’État du Véhicule et des Attributs de la Route. JN-
JD-MACS. Angers, France, Mars 2009.
2. Y. Sebsadji, S. Glaser et S. Mammar, Estimation de la pente de la route et les va-
riables d’état du véhicule par le filtre de Kalman étendu. JD-INRETS. Paris, France,
Décembre 2007.
ivTable des matières
Avant-propos i
1 Résumé . . . . . . . . . . . . . . . . .