Reconnaissance d'objets en vision artificielle : application à la reconnaissance de piétons

Laetitia Leyrit

Description

Sous la direction de Jean-Thierry Lapresté
Thèse soutenue le 22 novembre 2010: Clermont Ferrand 2
Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée dans le groupe GRAVIR (1) du LASMEA (2) au sein de l’équipe ComSee (3) qui se consacre à la vision par ordinateur. Ces travaux s’inscrivent dans le cadre d’un projet de l’Agence Nationale pour la Recherche s’intitulant « Logiciels d’Observation des Vulnérables ». Son but est de concevoir des logiciels détectant des piétons en danger et d’améliorer ainsi la sécurité routière. Ma thèse a pour but de détecter et de reconnaître les piétons dans les images. Celles-ci proviennent d’une caméra embarquée dans un véhicule circulant en milieu urbain. Ce cahier des charges implique de nombreuses contraintes. Il faut notamment obtenir un système fonctionnant en temps réel pour être capable de détecter les piétons avant un éventuel impact. De plus, ces piétons peuvent être sujets à de nombreuses variations (taille, type de vêtements...), ce qui rend la tâche de reconnaissance d’autant plus ardue. La caméra étant mobile, aucune information ne pourra être extraite du fond. Dans ma thèse, nous mettons en oeuvre différentes méthodes de vision par ordinateur, toutes basées apprentissage, qui permettent de répondre à ces attentes. Le problème se traite en deux phases. Dans un premier temps, une étape de traitement hors ligne nous permet de concevoir une méthode valide pour reconnaître des piétons. Nous faisons appel à une base d’apprentissage. Tout d’abord, un descripteur d’images est employé pour extraire des informations des images.Puis, à partir de ces informations, un classifieur est entraîné à différencier les piétons des autres objets. Nous proposons l’utilisation de trois descripteurs (ondelettes de Haar, histogrammes de gradients et descripteur binaire). Pour la classification, nous avons recours à un algorithme de Boosting (AdaBoost) et à des méthodes à noyaux (SVM, RVM, moindres carrés). Chaque méthode a été paramétrée, testée et validée, tant au niveau description d’images que classification.La meilleure association de toutes ces méthodes est également recherchée. Dans un second temps, nous développons un système embarqué temps réel, qui soit capable de détecter les piétons avant une éventuelle collision. Nous exploitons directement des images brutes en provenance de la caméra et ajoutons un module pour segmenter l’image, afin de pouvoir intégrer les méthodes de description et classification précédentes et ainsi répondre à la problématique initiale.1. acronyme de « Groupe d’Automatique, VIsion et Robotique ».2. acronyme de « LAboratoire des Sciences et Matériaux Et d’Automatique ».3. acronyme de « Computers that See ».
-Reconnaissance d’objets
-Détection
-Apprentissage
-Classification
-Description d’images
-Base d’apprentissage
-Caméra embarquée
-Temps-réel
-Piétons
This thesis has been realized in the group GRAVIR (4) of the LASMEA (5) with the team Com-See (6), which works on computer vision. My research was involved in a projet of the « Agence Nationale pour la Recherche »nammed « Logiciels d’Observation des Vulnérables ». Its goal was to create softwares to detect endangered pedestrians and thus to improve road safety. My thesis aims to detect and to recognize pedestrians in images. These come from a camera embedded into a vehicle, which is driven in urban areas. These specifications involve many constraints. We have to obtain a real-time system for detect pedestrians before a possible collision. Moreover, pedestrians should be very variable (size, clothes, ...), which make the recognition more complicated. As the camera is moving, no information could be taken from the background. In my thesis, we implement several methods of computer vision, all based on a learning stage, which answer to all theses expectations. The problem is solved in two steps. Firstly, a off-line stage allows us to design a method able to recognize pedestrians. We use a learning database. First of all, an image descriptor is used to extract informations of the images.Then, from these informations, a classifior is trained to differentiate pedestrians to others objects. We suggest to use three descriptors (Haar wavelets, histograms of oriented gradients and binary descriptor). For the classification task, we use a Boosting algorithm (AdaBoost) and kernel methods (SVM, RVM, least squares). We define all the parameters, and each method - of description or classification - is then tested and validated. The best association of these methods is also searched. Secondly, we realize an embedded real-time system, which is able to detect pedestrians before a possible collision. We directly use raw images coming from the camera et add a segmentation stage, so as to insert previous description and classification méthods and thus to answer to the initial problem.4. for « Groupe d’Automatique, VIsion et Robotique ».5. for « LAboratoire des Sciences et Matériaux et d’Automatique ».6. for « Computers that See ».
-Object recognition
-Detection
-Learning
-Classification
-Image description
-Learning database
-Embedded camera
-Real-time
-Pedestrians
Source: http://www.theses.fr/2010CLF22071/document

Sujets

• Apprentissage
• Temps réel
• Piéton

Informations

• Publié par: Thesee
• Nombre de lectures: 62
• Langue: Français
• Poids de l'ouvrage: 11 Mo

Extrait

N° d'ordre : D.U : 2071 EDSPIC : 498

U N IV E R S IT É B L A IS E P A S C A L - C L E R M O N T II

Ecole Doctorale Sciences Pour L'Ingénieur De Clermont-Ferrand

Thèse présentée par : L AETITIA L EYRIT

pour obtenir le grade de

D OCTEUR D 'U NIVERSITÉ

Spécialité : Vision pour la robotique

Reconnaissance d'objets en vision artificielle : Application à la reconnaissance de piétons tel-00626492, version 1 - 26 Sep 2011

M. Mme Mme Mme M. M.

Soutenue publiquement le 22 novembre 2010 devant le jury :

Laurent Catherine Sylvie Alice Thierry Jean-Thierry

T RASSOUDAINE A CHARD T REUILLET C APLIER C HATEAU L APRESTÉ

Pr Univ. Blaise Pascal MCF Univ. Pierre et Marie Curie MCF Univ. d'Orléans Pr Univ. Joseph Fourier MCF Univ. Blaise Pascal Pr Univ. d'Auvergne

I

Président Rapporteur Rapporteur Examinatrice Examinateur Directeur de thèse

II

tel-00626492, version 1 - 26 Sep 2011

Remerciements

Lorsque je parcoure une thèse, je lis toujours la page des remerciements, même si force est de constater que je n'y ai jamais trouvé de quoi développer le moindre algorithme ! Mais c'est dans cet unique feuillet que transparaît le plus souvent le dur labeur d'un thésard, ses années de travail, d'échecs parfois, mais aussi de réussites, cour onnées par ce dernier, mais ô combien important, diplôme ! Je me soumettrais donc bien volontiers à la coutume et j'espè re que je saurais remercier ici toutes les personnes qui, de près ou de loin, ont participé à la réalisation de ma thèse.

Je commence par m'adresser à mon jury de thèse. Je remercie M. Laurent Trassoudaine pour avoir accepté la présidence du jury, et Mme Alice Caplier pour sa participation. Je remercie particulièrement Mme Sylvie Treuillet et Mme Catherine Achard pour avoir accepté de rappor- ter mes travaux. J'ai apprécié la justesse de leurs remarque s, mais aussi la sympathie qu'elles m'ont témoignée. Je m'adresse ensuite à mon encadrement de thèse. M. Jean- Thi erry Lapresté a été un directeur de thèse cordial et chacun de ses conseils m'ont été précieux . Quant à M. Thierry Chateau, c'est un encadrant de thèse accessible avec qui j'ai pu parle r sans contraintes ni pression de mes travaux et de tout ce qui concernait de près ou de loin ma thèse. Je les remercie donc chaleureu- tel-00626492, version 1 - 26 Sep 2011 sement pour m'avoir suivie pendant ces années.

Je tiens également à remercier le personnel du dépatement GIM de l'IUT où j'ai adoré en- seigner tout au long de ma thèse, notamment M. Jean-Marc Lavest, M. François Collange, M. Flavien Paccot, M. Nicolas Deltroy et M. Eric Royer. Leur soutien ne m'a jamais fait défaut et la bonne ambiance du département a été pour moi une véritable bulle de décompression.

Je remercie toutes les personnes du laboratoire LASMEA qui m'ont accompagnée tout au long de ma thèse. Je pense en particulier à mes collègues du bureau 4016, Manu, Bertrand, Alex, Pierre B. et Eric, Christophe (à qui mon ordinateur doit certainement sa survie à ces années de thèse) et tous mes compagnons de galère, Pierre A., Jonathan, Hala, Réda, Ahmed, Franck, Ismaïl, Fabio, Laurence, Pierre L., Baptiste, ... La liste ne sera pas exhaustive mais le cœur y est. Ils ont tous contribué à traverser cette thèse dans une atmosphère de travail agréable ; et j'ai toujours trouvé chez l'un ou l'autre une oreille attentive e t un soutien opportun.

III

Une pensée va également à Manue et Charlène, avec qui j'ai pas sé d'agréables soirées. Elles ont supporté, avec une bonne humeur sans faille, beaucoup d' histoires du laboratoire, qui ont dû être, je le crains, peu passionnantes pour elles ! Et je fais un clin d'œil à nos week-ends canoë, qui resteront d e mythiques«envers du décor»de ces années de thèse.

Je remercie enfin toute ma famille, qui a toujours été là pour moi durant ma thèse mais aussi tout au long de mes études. Je pense en particulier à mes grands-parents et surtout à mes parents que j'embrasse très fort. J'envoie de gros bisous à mes seusœurs : Charlène, ma colocat aire de choc et confidente, Mor- gane et Chloé, pour leur tendresse et bonne humeur. Les virées shopping, cinéma, piscine ou autres m'auront permis de faire des pauses très appréciable s durant cette thèse et de relativiser beaucoup de choses.

Enfin, je remercie de tout mon cœur François, sans qui cette thèse n'aurait pas été la même.

tel-00626492, version 1 - 26 Sep 2011

IV

Résumé

Ce mémoire présente les travaux réalisés dans le cadre de ma thèse. Celle-ci a été menée 1 2 3 dans le groupe GRAVIR du LASMEA au sein de l'équipe ComSee qui se consacre à la vision par ordinateur. Ces travaux s'inscrivent dans le cad re d'un projet de l'Agence Natio- nale pour la Recherche s'intitulant«Logiciels d'Observation des Vulnérables». Son but est de concevoir des logiciels détectant des piétons en danger et d'améliorer ainsi la sécurité routière.

Ma thèse a pour but de détecter et de reconnaître les piétons dans les images. Celles-ci proviennent d'une caméra embarquée dans un véhicule circul ant en milieu urbain. Ce cahier des charges implique de nombreuses contraintes. Il faut notamment obtenir un système fonc- tionnant en temps réel pour être capable de détecter les piétons avant un éventuel impact. De plus, ces piétons peuvent être sujets à de nombreuses variations (taille, type de vêtements...), ce qui rend la tâche de reconnaissance d'autant plus ardue. L a caméra étant mobile, aucune information ne pourra être extraite du fond. Dans ma thèse, nous mettons en œuvre différentes méthodes de vision par ordinateur, toutes basées apprentissage, qui permettent de répondre à ces attentes. Le problème se traite en deux phases.

Dans un premier temps, une étape de traitement hors ligne nous permet de concevoir une tel-00626492, version 1 - 26 Sep 2011 méthode valide pour reconnaître des piétons. Nous faisons appel à une base d'apprentissage. Tout d'abord, un descripteur d'images est employé pour extr aire des informations des images. Puis, à partir de ces informations, un classifieur est entraîné à différencier les piétons des autres objets. Nous proposons l'utilisation de trois descripteur s (ondelettes de Haar, histogrammes de gradients et descripteur binaire). Pour la classification, nous avons recours à un algorithme de Boosting(AdaBoost) et à des méthodes à noyaux (SVM, RVM, moindres carrés). Chaque mé- thode a été paramétrée, testée et validée, tant au niveau description d'images que classification. La meilleure association de toutes ces méthodes est également recherchée.

Dans un second temps, nous développons un système embarqué temps réel, qui soit ca- pable de détecter les piétons avant une éventuelle collision. Nous exploitons directement des

1. acronyme de«Groupe d'Automatique, VIsion et Robotique». 2. acronyme de«LAboratoire des Sciences et Matériaux Et d'Automatique». 3. acronyme de«Computers that See».

V

images brutes en provenance de la caméra et ajoutons un module pour segmenter l'image, afin de pouvoir intégrer les méthodes de description et classification précédentes et ainsi répondre à la problématique initiale.

Mots-clés :reconnaissance d'objets, détection, apprentissage, clas sification, description d'images, base d'apprentissage, caméra embarquée, temps-réel, piét ons.

tel-00626492, version 1 - 26 Sep 2011

VI

Abstract

4 5 This thesis has been realized in the group GRAVIR of the LASMEA with the team Com- 6 See , which works on computer vision. My research was involved in a projet of the«Agence Nationale pour la Recherche»nammed«Logiciels d'Observation des Vulnérables». Its goal was to create softwares to detect endangered pedestrians and thus to improve road safety.

My thesis aims to detect and to recognize pedestrians in images. These come from a ca- mera embedded into a vehicle, which is driven in urban areas. These specifications involve many constraints. We have to obtain a real-time system for detect pedestrians before a possible collision. Moreover, pedestrians should be very variable (size, clothes, ...), which make the re- cognition more complicated. As the camera is moving, no information could be taken from the background. In my thesis, we implement several methods of computer vision, all based on a learning stage, which answer to all theses expectations. The problem is solved in two steps.

Firstly, a off-line stage allows us to design a method able to recognize pedestrians. We use a learning database. First of all, an image descriptor is used to extract informations of the images. Then, from these informations, a classifior is trained to differentiate pedestrians to others ob- jects. We suggest to use three descriptors (Haar wavelets, histograms of oriented gradients and tel-006264 bi 9 n 2 a , r v y e d r e s s i c o r n ipt 1 o - r). 26 Fo S r t e h p e 2 cl 0 a 1 ss 1 ification task, we use aBoostingalgorithm (AdaBoost) and ker- nel methods (SVM, RVM, least squares). We define all the parameters, and each method - of description or classification - is then tested and validated. The best association of these methods is also searched.

Secondly, we realize an embedded real-time system, which is able to detect pedestrians before a possible collision. We directly use raw images coming from the camera et add a seg- mentation stage, so as to insert previous description and classification méthods and thus to answer to the initial problem.

Key-words :object recognition, detection, learning, classification, image description, lear- ning database, embedded camera, real-time, pedestrians.

4. for«Groupe d'Automatique, VIsion et Robotique». 5. for«LAboratoire des Sciences et Matériaux et d'Automatique». 6. for«Computers that See».

VII

VIII

tel-00626492, version 1 - 26 Sep 2011

Table des matières

1

Introduction 1.1 Reconnaissance des formes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.1 De l'Intelligence Artificielle... . . . . . . . . . . . . . . . . . . . . . . 1.1.2 ... à la reconnaissance des formes . . . . . . . . . . . . . . . . . . . . 1.2 Segmentation d'images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3 Description d'images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Apprentissage automatique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Système de reconnaissance de piétons . . . . . . . . . . . . . . . . . . . . . . 1.6 Dans cette thèse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6.1 Problématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6.2 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6.3 Plan du mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2 Descripteurs d'images 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . tel-00626492, version 1 - 26 Sep 2011 2.2 Ondelettes de Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.2.2 Calcul rapide d'ondelettes de Haar à l'aide d'image in tégrale . . . . . . 2.3 Histogrammes de gradients orientés . . . . . . . . . . . . . . . . . . . . . . . 2.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.2 Calcul des HOG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3.3 Utilisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.4 Matrices de covariance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5 Descripteurs binaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.1Local Binary Patterns (LBP). . . . . . . . . . . . . . . . . . . . . . . 2.5.2 Points de contrôle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.5.3 Comparateur de niveaux de gris . . . . . . . . . . . . . . . . . . . . . 2.6 Descripteurs mis en œuvre dans la thèse . . . . . . . . . . . . . . . . . . . . .

IX

1 1 1 2 3 5 6 7 9 9 10 11

13 13 14 14 17 18 18 19 20 21 21 22 23 24 26

3

Apprentissage et classification 3.1 Les différents types d'apprentissage . . . . . . . . . . . . . . . . . . . . . 3.2 L'apprentissage supervisé pour deux classes d'objets . . . . . . . . . . . . 3.2.1 La base d'apprentissage . . . . . . . . . . . . . . . . . . . . . . . 3.2.2 Le classifieur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3 Méthodes deBoosting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.1 LeBoosting. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.3.2Adaptative Boosting(AdaBoost) . . . . . . . . . . . . . . . . . . . 3.3.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4 Méthodes à noyau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.2Support Vector Machine(SVM) . . . . . . . . . . . . . . . . . . . 3.4.2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 3.4.2.2 Formulation . . . . . . . . . . . . . . . . . . . . . . . . 3.4.2.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.3Relevance Vector Machine(RVM) . . . . . . . . . . . . . . . . . . 3.4.3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 3.4.3.2 Formulation . . . . . . . . . . . . . . . . . . . . . . . . 3.4.3.3 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . 3.4.4 Estimation au sens des moindres carrés . . . . . . . . . . . . . . . 3.4.4.1 Méthode basique . . . . . . . . . . . . . . . . . . . . . . 3.4.4.2 Sélection de vecteurs support par«Ridge regression». .

4 Analyse comparative des performances 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Protocole expérimental . . . . . . . . . . . . . . . . . . . 4.2.1 Base d'apprentissage . . . . . . . . . . . . . . . . tel-00626492, version 1 - 26 Sep 2011 4.2.2 Critères d'évaluation . . . . . . . . . . . . . . . . 4.3 Influence de la taille de la base d'apprentissage . . . . . . 4.4 Comparaison des descripteurs . . . . . . . . . . . . . . . 4.5 Performances des classifieurs . . . . . . . . . . . . . . . . 4.6 Sélection de variables . . . . . . . . . . . . . . . . . . . . 4.6.1 Intérêt . . . . . . . . . . . . . . . . . . . . . . . . 4.6.2 État de l'art . . . . . . . . . . . . . . . . . . . . . 4.6.3 AdaBoost pour la sélection de variables . . . . . . 4.6.4 Résultats . . . . . . . . . . . . . . . . . . . . . . 4.7 Combinaison d'AdaBoost avec une méthode à noyau . . . 4.7.1 Méthode . . . . . . . . . . . . . . . . . . . . . . 4.7.2 Résultats . . . . . . . . . . . . . . . . . . . . . . 4.8 Association de descripteurs . . . . . . . . . . . . . . . . . 4.9 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

X

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . .

27 27 30 30 30 33 33 35 40 40 41 41 41 41 50 50 50 50 53 54 54 57

59 59 60 60 61 63 67 69 72 72 73 74 74 79 79 80 83 86