Auto-Calibration à-partir d'une Séquence d'Images

Jérôme Courchay

Description

Master, Supérieur, Master

• rapport de stage
• cours - matière potentielle : l' étude de la caméra

Jérôme Courchay Master MVA 2006-2007 Rapport de Stage : Master MVA Auto-Calibration à-partir d'une Séquence d'Images 02/09/07 1/29

• visualisation de la caméra
• correspondance entre les images
• pic d'orientation dans l'histogramme
• calcul de la matrice fondamentale
• échelle pyramidale
• caméras
• caméra
• points
• point
• image
• images
• orientation
• orientations
• régions
• région

Sujets

• Caméra
• Échelle
• Correspondance
• Orientation
• Région
• Calcul
• Visualization

Informations

• Publié par: sewyor
• Nombre de lectures: 115
• Langue: Français
• Poids de l'ouvrage: 2 Mo

Extrait

Jérôme Courchay Master MVA 2006-2007
Rapport de Stage : Master MVA
Auto-Calibration à-partir d'une Séquence d'Images
02/09/07 1/29Jérôme Courchay Master MVA 2006-2007
INDEX
Introduction....................................................................................................................................... ........................3
Descripteur SIFT.......................................................................................................................................... ..............4
Détection de points d'intérets........................................................................................................ ..................4
Détecteur Laplacien.................................................................................................................. ....................4 DOG....................................................................................................................... .......................4
Descripteur SIFT................................................................................................................................................. ..5
Orientation...................................................................................................................................... ................5
Description.................................................................................................................................... ..................6
Résultats Obtenus .........6
Modélisation d'une caméra.......................................................................................................... ..........................8
Equation de reprojection................................................................................................................. ..................8
Ambiguité projective......................................................................................................................... .................9
Visualisation de la caméra................................................................................................................... ............10
Profondeur des points........................................................................................................................... ......10
Orientation des caméras.................................................................................................... .......................11
Géométrie Epipolaire............................................................................................................................................. 12
Matrice Fondamentale............................................................................................................................. ........12
Estimation des Matrices Projectives........................................................................................................ .13
Calcul de la Matrice Fondamentale : RANSAC...................................................................... .....................13
L'algorithme des 7 points...................................................................................................... .....................14
Calcul du nombre d'itérations K...................................................................................... .........................14l de la distance épipolaire............................................................................................................ ....14
Amelioration itérative du modèle................................................................................................................. .15
Estimation du seuil T................................................................................................................................... .15
Minimisation non linéaire..................................................................................................... .....................15
Résultats Obtenus............................................................................................................................................. .16
Géométrie Trifocale ............18
Le Tenseur Trifocal............................................................................................................................... .............18
Equation du plan pré-image............................................................................................................ ..........18
Mise en Equation de le Contrainte Trifocale.........................................................................................19
Estimation du tenseur trifocal................................................................................................ ...................19
Estimation des matrices des caméras ............21
Structure du programme ....23
Initialisation.............................................................................................................................................. ..........23
Recherche de correspondances trifocales initiales..............................................................................23
Amélioration du modèle trifocal.......................................................................................... ....................23
Reconstruction projective de la séquence..................................................................................... ..............24
RANSAC.......................................................................................................................................... ...............24
Gestion de la table de correspondance............................................................................. .....................24
Rectification Métrique..................................................................................................................... ................25
Rectification linéaire....................................................................................................................... ............25 non linéaire.............................................................................................................. .............26
Résultats Obtenus............................................................................................................................................. .27
Conclusion........................................................................................................................................................ ........29
02/09/07 2/29Jérôme Courchay Master MVA 2006-2007
Introduction
L'objectif du logiciel développé est de calibrer une séquence d'images sans avoir aucune connaissances
à-priori des condition de prise de vue (zoom, position...).
A-partir de correspondance entre les images, il est possible de reconstituer un nuage de points de la
scène en 3 dimensions et de retrouver la géométrie de la scène, qui constituent les paramètres
extrinsèques:
– Centres des caméras par raport à la scène
– Orientation des caméras par rapport à l'objet.
On peut également retrouver les paramètres des caméras, dits paramètres intrinsèques:
– Centre pixellique de l'image
– Distance focale
Ces informations géométriques sur les caméras sont le point de départ pour une reconstruction
complète de la scène en 3 dimensions. A la fin du rapport, les résultats obtenus pour plusieurs
séquences d'images seront présentés ainsi que la reconstruction complète de la scène effectuée par
Yasutaka Furukawa (Doctorant de Jean Ponce) à-partir des paramètres obtenus.
La clé de voûte du logiciel est un détecteur et descripteur de points d'intérets (SIFT) qui permet
d'obtenir des correspondances entre les images. A-partir de ces correspondances potentielles on peut
retrouver les relations géométriques entre les images, afin de récupérer un plus grand nombre de
correpondances.
Une fois que l'on a des correspondances trifocales, on peut estimer les points tri-dimensionnels de
manière précise. A-partir de la quatrième image, chaque nouvelle caméra sera donc estimée à-partir de
la structure tri-dimensionnelle du nuage de points déjà reconstruits.
Je tiens à remercier Jean Ponce et Andrew Zisserman pour leurs conseils avisés qui m'ont permis de
finaliser ce logiciel et d'obtenir des résultats concrets.
02/09/07 3/29Jérôme Courchay Master MVA 2006-2007
Descripteur SIFT
Le Descripteur SIFT utilisé est celui de David Lowe disponible à la page
http://www.cs.ubc.ca/~lowe/keypoints/ . Ce détecteur est basé sur les DOG (Difference of gaussian)
qui sont issus des détecteurs Laplaciens. Voici un bref aperçu de la théorie.
Détection de points d'intérets
Détecteur Laplacien
Si l'on note u , x=G u x la convolution de l'image u par une gaussienne de variance 0 0
2 alors l'équation de la chaleur est satisfaite (l'équation n'étant pas ici paramétrée par t= ):
∂u 2= u
∂
Cette équation étant invariante par transformation affine, il a été démontr&