Méthodes et algorithmes de dématriçage et de filtrage du bruit pour la photographie numérique, Demosaicing and denoising methods and algorithms for digital photography

Harold Phelippeau

Description

Sous la direction de Mohamed Akil, Hugues Talbot
Thèse soutenue le 03 avril 2009: Paris Est
Ces dernières années, les appareils photos/vidéos numériques grand public sont devenus omniprésents. On peut aujourd’hui trouver des systèmes de captures d’images dans toutes sortes d’appareils numériques comme les téléphones portables, les assistants personnels numériques etc. Malgré une augmentation croissante de la puissance et de la complexité de ces appareils, laqualité de la chaîne de capture d’image, composée du couple système optique/capteur est toujours contrainte à des limitations d’espace et de coût. Les défauts introduits sont nombreuxet dégradent considérablement la qualité des images produites : flou, déformations géométriques, artefacts de couleurs, effets de moire, bruits statiques et dynamiques, etc. Une idée intéressante est de corriger ces défauts de manière algorithmique en utilisant la puissance toujours croissante des architectures de traitements. Dans cette thèse nous nous intéressons particulièrement à deux problèmes issues de l’acquisition de l’image par le capteur : le dématriçage de la matrice de Bayer et la réduction du bruit. Dans la première partie, nous décrivons la structure générale de la chaîne de capture d’image dans les appareils photos/vidéos numériques. Nous présentons le rôle, le fonctionnement et les défauts introduits par chacun de ses éléments. Enfin, nous illustrons comment ces défauts peuvent être corriges par des traitements algorithmiques. Dans la deuxième partie, nous montrons comment l’information de couleur est introduite dans les capteurs numériques. Nous présentons ensuite un état de l’art des algorithmes de dématriçage. Un nouvel algorithme de reconstruction de la matrice de Bayer base sur le principe de l’interpolation directionnelle est propose. Il permet d’associer une qualité d’image produite sans artefacts avec une faible complexité de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs numériques, nous énumérons ses différentes sources et leurs dépendances par rapport aux conditions de prises de vues. Apres avoir présenté l’état de l’art des méthodes de restauration des images bruitées, nous nous intéressons particulièrement aux algorithmes de débruitage à voisinage local et plus précisément au filtre bilatéral. Nous proposons un filtre bilatéral pour la mosaïque de Bayer, adaptatif en fonction de la puissance du bruit dans les images. Dans la troisième partie, nous présentons l’implémentation, l’optimisation et la simulation de l’exécution des algorithmes de dématriçage et de réduction du bruit proposes. La plateforme d’implémentation est le processeur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons à traiter des images de taille 5 méga-pixels en moins de 0,5 secondes et des images de résolution VGA à une cadence supérieure à 25 images par seconde. Finalement, pour des raisons de standardisation, de rapidité d’exécution et de consommation d’énergie, nous avons conçu une architecture dédiée à l’algorithme de dématriçage propose. Cette architecture permet de multiplier par 10 la rapidité d’exécution obtenue sur le processeur TriMedia TM3270
-Photographie
-Dématriçage
-Bruit
-Traitement temps-réel
-Restauration
-Capteurs optiques
-Temps réel (informatique)
-Reconstruction d'image
-Photographie numérique
Digital cameras are now present everywhere. They are commonly included in portable digital devices such as mobile phones and personal digital assistants. In spite of constant improvements in terms of computing power and complexity, the digital imaging chain quality, including sensor and lenses system, is still limited by space and cost constraints. An important number of degradations are introduced by this chain that significantly decrease overall image quality : including blurring effects, geometric distortions, color artefacts, moiré effects, static and dynamic noise. Correcting these defects in an algorithmic way, using the increasing power of embedded processing architecture present in mobile phones and PDAs may appear like an interesting solution. In this thesis we are especially interested in reducing two major defects of the sensor acquisition chain : Bayer matrix demosaicing artefacts and photon noise. In the first part, we describe the general imaging chain commonly used in digital cameras and video devices. We show the function, the inner working and the defects introduced by each of its elements. Finally we exhibit possible ways to correct these defects using algorithmic solutions. In the second part, we introduce the principle of Bayer demosaicing. We present the state of the art and we propose a new method based on a directed interpolation principle. Our method yields a good image quality while retaining a low computational complexity. We then enumerate several noise sources present in imaging digital sensors and their dependencies with imaging conditions. We are particularly interested in local algorithms and more specifically in the bilateral filter. After presenting the state of the art in denoising algorithm, we propose a new adaptive bilateral filter for sensor colour mosaic denoising. In the third part, we present the implementation, the optimization and the execution simulation of the proposed demosaicing and denoising algorithms. The implementation target is the TM3270 TriMedia processor from NXP Semiconductors. We show that it is possible to process 5 megapixels images in less than 0.5 seconds and more than 25 images per second at VGA resolution. Finally, for standardization, execution speed and power consumption reasons, we describe a dedicated architecture for our proposed demosaicing algorithm. This architecture improves the execution speed by a factor of 10 compared to the TriMedia TM3270 processor
-Photography
-Sensor
-Restoration
-Noise
-Demosaicing
-Real-time processing
Source: http://www.theses.fr/2009PEST1002/document

Sujets

• Photographie
• Dématriçage
• Bruit (acoustique)
• Photographie numérique
• Le Don du roi

Informations

• Publié par: Thesee
• Nombre de lectures: 230
• Langue: Français
• Poids de l'ouvrage: 7 Mo

Extrait

NXP Semiconductors
Universit´e de Paris Est
´Ecole doctorale ICMS
ESIEE, IGM, Lab Info, A3SI
THESE
pour obtenir le grade de Docteur de l’Universit´e de Paris Est
Sp´ecialit´e Informatique
M´ethodes et algorithmes de d´ematri¸cage
et de filtrage du bruit pour la
photographie num´erique
pr´esent´ee et soutenue publiquement par
Harold Phelippeau
le 3 avril 2009
Directeurs de th`ese:
Mohamed Akil Professeur, ESIEE, UPE, UMR CNRS 8049
Hugues Talbot Professeur, ESIEE, UPE, UMR CNRS 8049
Composition du jury:
Rapporteur: Jean-Pierre Cocquerez Professeur, UTC, UMR CNRS 6599
Rapp Michel Paindavoine Professeur, Le2i, UMR CNRS 2309 STIC
Rapporteur: Marc Van Droogenbroeck Professeur, ULg, DEESC
Examinateur: Stefan Bara Ing´enieur de recherche, NXP Semicondutors
E Thierry Bernard Enseignant chercheur, ENSTA, LEI
tel-00499252, version 1 - 9 Jul 2010tel-00499252, version 1 - 9 Jul 2010R´esum´e
Ces derni`eres ann´ees, les appareils-photos/vid´eos num´eriques grand-public sont devenus om-
nipr´esents. On peut aujourd’hui trouver des syst`emes de captures d’images dans toutes sortes
d’appareils num´eriques comme les t´el´ephones portables, les assistants personnels num´eriques
etc. Malgr´e une augmentation croissante de la puissance et de la complexit´e de ces appareils, la
qualit´e de la chaˆıne de capture d’image, compos´ee du couple syst`eme optique/capteur est
toujours contrainte a` des limitations d’espace et de cout.ˆ Les d´efauts introduits sont nombreux
etd´egradentconsid´erablementla qualit´e des images produites :flou,d´eformations g´eom´etriques,
art´efacts de couleurs, effets de moir´e, bruits statiques et dynamiques, etc. Une id´ee int´eressante
est de corriger ces d´efauts de mani`ere algorithmique en utilisant la puissance toujours croissante
des architectures de traitements. Dans cette th`ese nous nous int´eressons particuli`erement a` deux
probl`emesissuesdel’acquisitiondel’imageparlecapteur:led´ematri¸cagedelamatricedeBayer
etlar´eductiondubruit.Danslapremi`erepartie,nousd´ecrivonslastructureg´en´eraledelachaˆıne
decaptured’imagedanslesappareils-photos/vid´eosnum´eriques.Nouspr´esentonslerˆole,lefonc-
tionnement et les d´efauts introduits par chacun de ses ´el´ements. Enfin, nous illustrons comment
ces d´efauts peuvent ˆetre corrig´es par des traitements algorithmiques. Dans la deuxi`eme partie,
nous montrons comment l’information de couleur est introduite dans les capteurs num´eriques.
Nouspr´esentonsensuiteun´etatdel’artdesalgorithmesded´ematri¸cage.Unnouvelalgorithmede
reconstructiondelamatricedeBayerbas´esurleprincipedel’interpolationdirectionnelleestpro-
pos´e. Il permet d’associer une qualit´e d’image produite sans art´efacts avec une faible complexit´e
de calculs. Pour mieux comprendre les comportements du bruit dans les capteurs num´eriques,
nous´enum´eronsses diff´erentessources etleurs d´ependances par rapportaux conditionsde prises
de vues. Apr`es avoir pr´esent´e l’´etat de l’art des m´ethodes de restauration des images bruit´ees,
nous nous int´eressons particuli`erement aux algorithmes de d´ebruitage `a voisinage local et plus
pr´ecis´ement au filtre bilat´eral. Nous proposons un filtre bilat´eral pour la mosa¨ıque de Bayer,
adaptatif en fonction de la puissance du bruit dans les images. Dans la troisi`eme partie, nous
pr´esentons l’impl´ementation, l’optimisation et la simulation de l’ex´ecution des algorithmes de
d´ematri¸cage et de r´eduction du bruit propos´es. La plateforme d’impl´ementation est le proces-
seur TriMedia TM3270 de NXP semiconductors. Nous montrons que nous arrivons a` traiter des
images de taille 5 m´ega-pixels en moins de 0,5 secondes et des images de r´esolution VGA a` une
cadence sup´erieure a` 25 images par seconde. Finalement, pour des raisons de standardisation, de
rapidit´e d’ex´ecution et de consommation d’´energie, nous avons con¸cu une architecture d´edi´ee `a
l’algorithme de d´ematri¸cage propos´e. Cette architecture permet de multiplier par 10 la rapidit´e
d’ex´ecution obtenue sur le processeur TriMedia TM3270.
Mots-cl´es : photographie, capteur, restoration, bruit, d´ematri¸cage, traitement temps-r´eel.
iii
tel-00499252, version 1 - 9 Jul 2010Abstract
Digital cameras are now present everywhere. They are commonly included in portable digital
devices such as mobile phones and personal digital assistants. In spite of constant improvements
in terms of computing power and complexity, the digital imaging chain quality, including sensor
and lenses system, is still limited by space and cost constraints. An important number of degra-
dations are introduced by this chain that significantly decrease overall image quality : including
blurring effects, geometric distortions, color artifacts, moir´e effects, static and dynamic noise.
Correcting these defects in an algorithmic way, using the increasing power of embedded proces-
sing architecture present in mobile phones and PDAs may appear like an interesting solution.
In this thesis we are especially interested in reducing two major defects of the sensor acquisition
chain : Bayer matrix demosaicing artifacts and photon noise.
In the first part, we describe the general imaging chain commonly used in digital cameras and
video devices. We show the function, the inner working and the defects introduced by each
of its elements. Finally we exhibit possible ways to correct these defects using algorithmic so-
lutions. In the second part, we introduce the principle of Bayer demosaicing. We present the
state of the art and we propose a new method based on a directed interpolation principle. Our
method yields a good image quality while retaining a low computational complexity. We then
enumerate several noise sources present in imaging digital sensors and their dependencies with
imaging conditions. We are particularly interested in local algorithms and more specifically in
the bilateral filter. After presenting the state of the art in denoising algorithm, we propose a
new adaptive bilateral filter for sensor colour mosaic denoising. In the third part, we present
the implementation, the optimization and the execution simulation of the proposed demosaicing
and denoising algorithms. The implementation target is the TM3270 TriMedia processor from
NXP Semiconductors. We show that it is possible to process 5 megapixels images in less than
0.5secondsandmorethan25imagespersecondatVGAresolution.Finally,forstandardization,
execution speed and power consumption reasons, we describe a dedicated architecture for our
proposed demosaicing algorithm. This architecture improves the execution speed by a factor of
10 compared to the TriMedia TM3270 processor.
Keywords : photography, sensor, restoration, noise, demosaicing, real-time processing.
iv
tel-00499252, version 1 - 9 Jul 2010Remerciements
J’exprime mes sinc`eres remerciements a` Gilles Bertrand pour m’avoir accueilli au sein
du laboratoire A3SI et de m’avoir permis de mener `a bien mon projet de recherche.
Mes remerciements s’adressent ´egalement a` Marc Gavard, C´ecile Kohler et Stefan Bara
pour m’avoir accueilli au sein de l’´equipe IVIC (Image and Video Innovation Center) de
NXP Semiconductors.
Je tiens `a remercier Mohamed Akil, mon directeur de th`ese, pour son encadrement, sa
disponibilit´e, son sens de la communication et sa rigueur scientifique.
Je remercie Hugues Talbot, co-directeur de ma th`ese, pour son encadrement, son en-
thousiasme, sa vivacit´e d’esprit, ses conseils avertis et les nombreuses impulsions qu’il a
apport´e a` mes travaux.
Je remercie vivement Stefan Bara, pour la confiance qu’il m’a accord´ee, sa disponibilit´e
et son enthousiasme. Il a su pr´eserver durant ces trois ann´ees l’´equilibre fragile existant
entre les imp´eratifs industriels et les exigences de la recherche.
Jetiensaussi`aremercierJean-PierreCocquerez,MichelPaindavoineetMarcVanDroo-
genbroeck qui m’ont fait l’honneur d’ˆetre rapporteurs de mon manuscrit de th`ese.
J’exprime ma reconnaissance a` Thierry Bernard d’avoir accept´e d’ˆetre examinateur de
ma th`ese.
Une part de mes remerciements vont vers mes coll`egues du laboratoire A3SI et IVIC, je
pense particuli`erement a` Stefan Bara, Eva Dokladalova, Yukiko Kenmochi, Petr Matas,
Nicolas Ngan, Olena Tankyevych et tous les autres ...
Je remercie ma famille, mon p`ere, ma m`ere et mes fr`eres pour l’affection et le soutien
constant qu’ils m’ont quotidiennement apport´e.
Enfin, je remercie Michaela, pour sa bonne humeur, sa joie de vivre et le soutien qu’elle
a su m’apporter dans les moments difficiles.
v
tel-00499252, version 1 - 9 Jul 2010tel-00499252, version 1 - 9 Jul 2010Table des mati`eres
R´esum´e iii
Abstract iv
Remerciements v
Table des mati`eres vi
Table des figures xiii
Liste des tableaux xix
1 Introduction 1
1.1 Cadre et motivations . . . . . . . . . . . . . . . .