Cours DEA 02-2007

Mulhem

Description

„ƒ„ƒ„ƒƒ„ƒƒƒ„„„ƒƒƒƒ„ƒƒƒƒƒƒ„„ƒ„ƒ„ƒƒƒButIndexation et Recherche Sensibiliser sur les problèmes complexes d’images fixes liés à la Recherche d’Information images.Laboratoire d'Informatique de Grenoble Faire un survol des approches et travaux Mastère 2ème année Grenoble dans ce domaine.21 novembre 2007P. Mulhem Esquisser le futur de cette problé[e-mail]1122//1111//22000077 MMaaststerere e -- RIRI Im Imagage e -- P. MuP. Mullhheemm 22Plan 1. Introduction1. Introduction Qu’est qu’une image?2. Spécificités par rapport à la RI textuelle – TLFI (atilf.atilf.fr/tlf.htm): « Représentation (ou réplique) perceptible d’un 3. RI d’images web par le contexteêtre ou d’une chose.4.4. RI par le contenu enu «« brutbrut »»–– La relation entre l''objobjeett et et son son image estimage est de nat de natuure re physique plus précisément optique ou physico-physique plus précisément optique ou physico-5.5. RIRI d d’’images par le contimages par le contenenu su séémantiquemantiquechimique, notamment dans les techniques de 6. Pondération photographie – La relation entre l'objet et son image est de nature 7. Conclusion iconique.– …»8. Bibliographie12/11/2007 Mastere - RI Image - P. Mulhem 3 12/11/2007 Mastere - RI Image - P. Mulhem 412/11001. Introduction 1. IntroductionQuelles images fixesPourquoi de la RI d’images fixes?– Images « réelles » de l’environnement visible1– L’exemple des photographies Photographies ...

Sujets

• ordinateur

Informations

• Publié par: Adrie
• Nombre de lectures: 48
• Langue: Français

Extrait

Index ation et Recherche dimages fixes Laboratoire  d'Informatique de Grenoble Mastère 2ème année Grenoble 21 novembre 2007 P. Mulhem [e-mail]

Plan 1. Introduction 2. Spécificités par rapport à la RI textuelle 3. RI dimages web par le contexte 4. RI par le contenu « brut » 5. RI dimages par le contenu sémantique 6. Pondération 7. Conclusion 8. Bibliographie 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 3

1. Introduction „ Pourquoi de la RI dimages fixes?  L exemple des photographies 1 ƒ Getty Images : 70 millions de photographies ƒ Corbis Images : 65 millions de photographies ƒ Photos personnelles, estimation : 750 milliards  Le besoin de retrouver des photographies est donc évident. 1. www.sims.berkeley.edu/research/projects/how-much-info/index.html 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 5

But „ Sensibiliser sur les problè mes complexe s l i és à l a Recherche dI n formation image s. „ Faire un survol des approches et travau x dans ce domaine. „ Esquisser le futur de cette problématiqu e. 12/11/2007 Mastere -RI Image - P. Mul hem 2

1. Introduction „ Quest quune image?  TLFI ( atilf.atilf.fr/tlf. ht m ): « Représentation (ou réplique) perceptible d un ƒ  être ou dune chose.  La relation entre l'obj et et son   imag e e st de n a ture physique plus précisément optique ou physico- chimique, notamment dans les techniques de photographie  La relation entre l'obj et et son   imag e e st de n a ture iconique.  » 12/11/2007 Mastere -RI Image - P. Mul hem 4

1. Introduction „ Quelles images fixes  Images « réelles » de lenvironnement visible ƒ Photographies 2D ƒ H o l o g r a m m e s  Images « virtuelles » sur univers non-sensible   ƒ Graphiques/peintures  2D  3D ƒ Radios/IRM/scanners/échographies ƒ Imagerie Spatiale du domaine non-visible ƒ Clichés de collisions atomiques, microscopie électronique ƒ  12/11/2007 Mastere -RI Image - P. Mul hem 6

1

1. Introduction „ Quel but pour ces images?  Diagnostic médical  Analyse scientifique  Stockage pour vente  Se remémorer des souvenirs (photos personnelles) et les montrer

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

7

1. Introduction „ Lutilisation de systèmes dindexation et de recherche dimages fixes est donc un besoin crucial pour pratiquement tout le monde : du contexte professionnel au contexte personnel. „  mais comment faire???

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 9

2. Spé cificit és / RI textuelle „ Regardons ces images :

 Que peut-on en dire? 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

11

1. Introduction „ Dans tous ces cas, ces images doivent être retrouvées pour être utiles et utilisées  Cas médical ou spatial, retrouver des images similaires pour des études,  Cas de vente de photographies, trouver ou retrouver rapidement des images qui correspondent au besoin dun client,  Cas personnel, retrouver des photos rapidement pour faire un montage ou pour naviger rapidement dans la base de photographies.

12/11/2007 Mastere -RI Image - P. Mul hem 8

2. Spécificités / RI textuelle „ Mettons-nous à la place dun ordinateur , v o ilà une image :

12/11/2007 Mastere -RI Image - P. Mul hem 10

2. Spécificités / RI textuelle „ Le média image  Nest pas basé sur un langage  Interprétation compliquée pour un humain ƒ différents niveaux : émotions, objets, actions  Interprét a tion encore plus compliquée pour   un ordinateur

12/11/2007 Mastere -RI Image - P. Mul hem 12

2

2. Spé cificit és / RI textuelle „ Tiré de Smeulder et al. 2000 contexte réduit contexte large Variance faible grande Connaissance spécifique géné rique Base établie probable peu prob able Application professionnelle personn elle

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 13

2. Spé cificit és / RI textuelle „ Cycle de Norman sur une interaction de recherche Etat cognitif courant Buts Intension: Evaluation de l’état Besoin d’information  / Buts et intensions Spécification des  Interprétation actions: requête du nouvel état [ D . Norman , Cognitiv e   Exécution des  Perception du nouvel actions état  du système Engineering, Chapter 3. User Centered System Design, New Perspectives on Hu m an Computer Interqction, Hillsdqle, pp. 31-61, 1986] système 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 15

2. Spé cificit és / RI textuelle „ Indexation non-symbolique Etat cognitif courant Buts Faire un dia ora Intension: Evaluation  de l’état Besoin d’information  / Buts et intensions Des photos de John sur Spécification des  Interprétation actions: requête  du nouvel état Je vais Jesél i ectio g n e n s  e Ex t é i c o u ns tiondes  P ét e a r t ce d p u ti s o y n s   t d è u me nouvel des ma ac exemple, après les avoir trouvées... système  17

2. Spécificités / RI textuelle „ Rappel dun SRI textuel Utilisateur Texte Compréhension Indexation Modèle de requête  Correspondance  Modèle de document „ Problèmes dun SRI image  Comment indexer  Comment rechercher

12/11/2007 Mastere -RI Image - P. Mul hem 14

2. Spécificités / RI textuelle „ Par rapport à c e tte interaction de r e cherche, le niveau de repré sentation de lindex des images a un impact importa nt  I n dex non-symbolique ƒ Gouffre entre le niveau de représentation des deux interacteurs  I n dex symbolique ƒ Le symbole est manipulable par les deux interacteurs 12/11/2007 Mastere -RI Image - P. Mul hem 16

2. Spécificités / RI textuelle „ I n dexation Symbolique Etat cognitif courant Buts Faire un dia ora Intension: Evaluation  de l’état Besoin d’information  / Buts et intensions Des photos de John sur Spécification des  Interprétation actions: requête  du nouvel état Je vais cliquer Exécution des  Perception du nouvel Je clique, et j actions e état du système tape “John, Orchard Road” puis enter système      18

3

2. Spé cificit és / RI textuelle „ Lindexation symbolique est donc ce qui semble la « bonne » voie, mais  Elle est compliquée Elle n est pas générale   Elle nest pas totalement automatique Ce qui a amené à proposer des approches „ non-symboliques (voir partie 4)

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 19

3. RI image WEB par le contexte „ Le principe est donc Utilisateur Image Compréhension Indexation  de texte proche Modèle de requête  Correspondance Modèle de document „ Utilisation de tf.idf « habituel »

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 21

3. RI ima ge WEB ar le contexte „ Exemples (google)

www.popsyteam.org/VIP/photos%5C04-Sortie_autoroute4.jpg

http://mgcf.free.fr/sortie/vintage2002/MG PB sublime bleue n256 4seater open Tourer 930cm3 1935 Francois Hoffmann 750x487.jpg guillaume.cottenceau.free.fr/rando200206/22samedi/preview_d1050010.jpg 12/ 1 1 / 2 00 7

3. RI image WEB par le context e „ Ce cas est lié à lutilisation du contexte dapparition des images pour les indexe r  Google (www.google.com) ƒ « Pour déterminer le contenu graphique d'une image, Google analyse le texte de la page qui entoure l'image, le titre de l'i mage et de nombreux autres critère s »  Altavista (www.altavista.com) ƒ « Lorsque vous saisissez une requê te et que vous cliquez sur l e bo uton Chercher, Alta Vista récupère les images contenant les mots cherchés dans le nom du fichier, le texte alternatif ALT , le texte pr oche et/ou l es métatags de la page . »

12/11/2007 Mastere -RI Image - P. Mul hem 20

3. RI image WEB par le context e „ Cest donc de la recherche textuelle « déguisée ». „ Avantages  Transparent  Général „ I n convénients  Très   sensible à l a qualité du contexte  Pas dutilisation du contenu des images

12/11/2007 Mastere -RI Image - P. Mul hem 22

4. RI dimages par le contenu « br ut » „ Idée : s e s e r vir du contenu des images pour les indexer et les retrouver  Similaire au texte „ Problème  Quel niveau de description utilisable? „ Une solution  Niveau de description proche du signal ƒ Couleurs, textures, formes, positions 12/11/2007 Mastere -RI Image - P. Mul hem 24

4

4. RI dimages par le contenu « brut » „ Rappel du cycle de Norman dans ce cas Etat cognitif courant Buts Intension: Evaluation de l’état Besoin d’information / Buts et intensions S é fication des  Interprétation ac p tio ci ns: requête dunouvelétat Exécution des  Perception du nouvel actions état  du système système „ Cest à lutilisateur niveau du s st ème lorsde la recherche de se mettreau y 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 25

4. RI dimages par le contenu « brut » - Couleurs - „ Quest-ce quune couleur?  Sensation perçue pas loeil, caratéristique d e la longueur donde de la radiation l u mineuse r e çue  Elle est modél i sée habituellement par un p oint dans un espace de couleur tridimensionnel

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 27

4. RI dimages par le contenu « brut » - Couleurs - „ Espaces de couleurs non- perceptifs  RGB (Red, Green, Blue) ƒ Espace le plus connu. Utilisé pour les écrans ƒ Les couleurs s o nt obtenues par addition des 3 c o uleurs Rouge, Vert et Bleu ƒ Inspiré de la physiologie de la rétine ƒ Une couleur est une v a leur réelle dans [ 0 ,1] 3 :   N o i r ( 0 , 0 , 0 ) ,   Blanc (1,1,1), Rouge (1,0,0), etc. 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

29

4. RI dimages par le contenu « br ut » - Couleur - „ L e c a s de la couleur pour la RI images  Comme dhabitude, il faut représ e nter les couleurs prés e ntes dans des images ou de s régions en g a r d a n t en t ê te les deux f a cette s indissociables ƒ Indexation : compact et fidèle ƒ Recherche : bonne précision et bo n rappel

12/11/2007 Mastere -RI Image - P. Mul hem 26

4. RI dimages par le contenu « br ut » - Couleurs - „ Espace de couleurs  Représ e nter l e s c o uleurs  Estimer les différ e nces entre c o uleurs  Deux c a tégories despaces de couleurs ƒ Espaces perceptifs (ou uniformes)  Les différences de couleurs perçues sont approximées par des distances euclidiennes entre des points de lespace ƒ Espaces non-perceptifs (ou non-uniformes)

12/11/2007 Mastere -RI Image - P. Mul hem 28

4. RI dimages par le contenu « br ut » - Couleurs - „ Espaces de couleurs non-perceptifs  RGB ƒ RGB nest pas du tout proche de la représentation subjective des couleurs (saturation, luminosité, teinte) ƒ RGB nest pas perceptif avec la d i stance euclidienne :  D RGB ( , = D RGB ( , )  Suscptible de poser des problèmes lors de recherch e dimages ƒ Utilisé par les systèmes QBIC et Netra. 12/11/2007 Mastere -RI Image - P. Mul hem 30

5

4. RI dimages par le contenu « brut » - Couleurs - „ Espaces de couleurs non-perceptifs  HSV (Hue, Saturation, Value) ƒ Hue : type de couleur (bleu, vert, etc.), dans [0, 360], fonction de la longueur donde ƒ Saturation : i n tensité de la couleur (proportio n de gris présent) dans [0, 100] ƒ Value : l u minosité de la couleur dans [0, 100]

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 31

4. RI dimages par le contenu « brut » - Couleurs - „ Espaces de couleurs perceptifs  1976 la CIE (com m ission Internationale de , léclairage) défini L*u*v* et L*a*b*  L*u*v* : Luminance L* (basée sur des mesures perceptuelles et non physiques), chrominance u* et v*. Pour quantifier les différences entre écrans  L*a*b* : Luminance L*, chrominance rouge/bleu   pour a* et jaune/bleu pour b*. Pour quantifier le s différences de couleurs en l u mière quasi-naturelle  Problème : ces espaces nécessitent une estimati on de la couleur blanche de référence pour représenter les couleurs. Donc difficile à employer 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 33

4. RI dimages par le contenu « brut » - Couleurs - „ Histogrammes de couleurs  Fonction de correspondance ƒ Normes L 1 ou L 2 ne donnent pas de très bons rés u ltats ƒ I n t er s e c t io n   dhistogrammes ƒ Distance Euclidienne pondérée  D H (H 1 ,H 2 )=(H 1 -H 2 ) t A(H 1 -H 2 )  Avec A=a i,j indiquant la similarité e n t r e 2 éléments de s histogrammes  Dans QBIC, histogrammes de 256 couleurs tirées de   M u n s e l l , et matrice A entre couleurs RGB de   lespace de   Munsell  Point négatif : calcul coûteux

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

35

4. RI dimages par le contenu « br ut » Couleurs - - „ Espaces de couleurs non-perceptifs  HVS ƒ Cet espace est une déformation du cube RGB, mais plus proche d e s   d e s c r i p t i o n s   humaines ƒ Le p r o b l ème d e l a d i s t a n c e   entre couples de couleurs nest pas résolu ƒ Utilisé par VisualSeek  Autre espaces : CMY, Munsell ( 5 50 couleurs + 11 niveaux de gris) , 

12/11/2007 Mastere -RI Image - P. Mul hem 32

4. RI dimages par le contenu « br ut » Couleurs - - „ Une fois un espace de couleur s c h oisi,   comm ent représ e nter les c o uleurs dune région ou dun e image?  Le principe le plus utilisé est lhistogramme (vecteur) Nb. pixels

Couleurs  Mais combien de dimensions, et correspondant à quelles couleurs? 12/11/2007 Mastere -RI Image - P. Mul hem 34

4. RI dimages par le contenu « br ut » - Couleurs - „ Ensembles de couleurs  Un ensemble de couleurs ne r e présente qu e les couleurs prés e ntes et pas la quantité d e   couleur.   Cest un vecteur booléen.  Intérêt : plus simple que les histogrammes .  VisualSeek utilise des v e cteurs de 166 éléments par quantification de l espace HS V en 18 Hue, 3 Saturations et 3 values.

12/11/2007 Mastere -RI Image - P. Mul hem 36

6

4. RI dimages par le contenu « brut » - Couleurs - „ Ensembles de couleurs  Fonction de correspondance ƒ Distance Euclidienne pondérée  D S (S 1 ,S 2 )=(S 1 -S 2 ) t A(S 1 -S 2 ) ƒ Si S 2 est lensemble de couleurs dune image, on a  D S (S 1 ,S 2 )= S 1t A S 1 + S 2t A S 2 - 2 * Σ r t [m] for all m so that S 1 [ m ]=1  Avec S 2 t A S 2 et r t =AS 2 préc a lculés et stockés, e t S 1 t A S 1 constant pour une r e quête.

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 37

4. RI dimages par le contenu « brut » - Textures - „ Caractéristiques explicites de textures :  Périodicité  Directionnalité  Aspect aléatoire (randomness) 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

39

4. RI dimages par le contenu « brut » - Textures -   „ Tamura, Mori et Yamawaki, 1978 1/4 = (1/n) / S UM (x i  d C e o μ   n g ) t   r r 4 i . a s   s D d te e é s c :   r   i p   t i σ x p e / l   l u s ( s   μ   4 q fi u n /  e e σ l m  4 é e ) c n a t rt l a a t v   y e d p i c s e   p . μ 4  ersion des niv e aux  Granularité : testée sur des sous-fenêtres de taill es différentes rme du ad c  c Di h r a ecti e onnalité : no gr ient alcul   é (3 s x u 3 r ) calc q ul u e s p u i r xe x l     e a tp v i e y x , c e   l p u .  u n E i e s n  l f u a e t n i r l ê i a s t c r a i e n nt e d u e d   n u 9     f c i p l a t i rr x re e é ls d d e e     S c o e b s el de o u n  x centré e sur le valeurs :

12/ 1 1 / 2 00 7 Mastere - RI Image P. Mulhem -

41

4. RI dimages par le contenu « br ut » - Textures - „ L a c o uleur nest pas le s e ul élément mis en j eu dans l a r e cher che dimages. „ L a texture est aussi un paramèt r e à considé rer . „ Texture : Disposition et entrelacement des fibres, des  éléments constitutifs du tissu o r g a n i q u e   Joue un rôle dans la perception de lorientation et de la profondeur spatiale entre des objets se recouvrant.

12/11/2007 Mastere -RI Image - P. Mul hem 38

4. RI dimages par le contenu « br ut » - Textures - „ Matrices de co-occurrences s u r des niveaux de   gris  Pour une image Im=I(i,j) de m x n :  C(g1, g2) = | {(i1, j1) et (i2, j2) e l e m I | I(i1, j1) = g1 et I(i2, j2)=g2} | / (m * n)  Indique la fréquence relative de pixels de gris donnés  On calcule ensuite lénergie (somme des carrés )   d e C par exemple et cette valeur est utilisée.  Lors de recherche on fait une simple d i f f érence avec une référence.  Utilisé dans "Rock Texture Re tr ie val using Gray Leve l Co -occurrence Matrix (pdf)", M. Par tio , B.   Cram a r iuc , M. Gabbouj, a nd A. V i sa, NOR SIG -2002,   5 t h   Nordic Signal Processing Sym posium , On Board Hurtigruten M / S   T r o l l f j o r d , Norway , O c t o be r   4 -7, 2 0 0 2 .   12/11/2007 Mastere -RI Image - P. Mul hem 40

4. RI dimages par le contenu « br ut » - Textures - „ Tamura, Mori et Yamawaki,   1978  Correspondance ƒ Dans le système QBIC, les valeurs de contraste, granularité et directionnalités forment un vecteur à trois dimensions, et la correspondance seffectue comme les couleurs avec distance euclidienne pondérée.

12/11/2007 Mastere -RI Image - P. Mul hem

42

7

4. RI dimages par le contenu « brut » - Textures - „ Filtres de Gabor  Manjunath et Ma 1996 ƒ Utiliser des outils mathématiques (transformé e s en ondelettes) pour caractériser les textures ƒ Un filtre de Gabor détecte une texture en analysant l e s fréquences de variations de nive au de gris dans les images.

12/ 1 1 / 2 00 7 Mastere RI Image - P. Mulhem 43 -

4. RI dimages par le contenu « brut » - Textures - „ Filtres de Gabor  Illustration ( d e Anne Guérin-Dug u é) Image FT de Gabor Image filtrée 12/ 1 1 / 2 00 7 RI Image

4. RI dimages par le contenu « brut » - Textures - „ Filtres de Gabor  Une image/région est représentée soit : ƒ par un vecteur à E*O dimensions stockant les moyenne s des normes des valeurs obtenues pour chaque pix el et po ur chaque échelle*direction. La c o rrespondan ce peut donc être une distance euclidienne. ƒ Soit par un v e cteur à 2*E*O s t ockant les moyennes et écart- type des normes des valeurs obtenues pour c h aque pix e l de limage o u la région (Manjunath & Ma). La c o rresponda nce est calculée c o mme la s o mme des différences r e lat i ves d es moyennes et des éc a rts types normalisés par la moyen ne et lécart-type par dimension s u r la base. (s y stème Netra)

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 47

4. RI dimages par le contenu « br ut » - Textures - „ Filtres de Gabor  Un filtre de Gabor est un f i ltre passe-bande orienté, basé s u r une s i nusoïde modulée p a r   une f o nction gaussienne : Domaine spatial (image) Domaine fréquenciel

12/11/2007 Mastere -RI Image - P. Mul hem 44

4. RI dimages par le contenu « br ut » - Textures - „ Filtres de Gabor  On c a lcule ensuite lénergie (somme des carrés) de chaque image filtrée  On utilise une banque de f i ltres pour détec t e r différentes textures ƒ E échelles (exemple 4) ƒ O orientations (exemple 6)

12/11/2007 Mastere -RI Image - P. Mul hem 46

4. RI dimages par le contenu « br ut » - Contours - „ Recherche qui suppose que lon a déjà l es contours des objets,   ce qui est extrêmement difficile „ Plusieurs approches  Attributs géomét r iques  Déf o rmation pr o gressiv e  

12/11/2007 Mastere -RI Image - P. Mul hem

48

8

4. RI dimages par le contenu « brut » - Contours - „ Attributs géométriques  MMIS (U. of Manchester) ƒ circularité: 4 * area m er peri et 2  invariant à la rotation  Recherche de logos (U. of Maryland) ƒ Moment dinertie: ∑ ∑ ( x 2 + y 2 ) * hape ( x , y ) x y  invariant à la rotation  Recherche par distance entre circularité ou mom ent dinertie 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 49

4. RI dimages par le contenu « brut » - Contours - „ Déformation progressive  Évolution des points de courbure avec stockage des maxima  Pour la correpondance, on aligne les descriptions des maximums et on c a lcule la somme des distances des paires qui  mat chent + coordonnées verticales des maxima qui ne matchent pas 12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

51

4. RI dimages par le contenu « brut » - Représentations spatiales - „ Si on est capable davoir des régions (objets), il est possible de rechercher u ne configuration similaire. „ Deux approches  Approche à base dobjets ƒ Relation non-explicites  Approche à base de relations ƒ Relations explicites

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem

53

4. RI d images par le contenu « br ut » - Contours - „ Déf o rmation progressive  Une f o rme est une f o nction f(t) (t dans [0, 2 π [ )  On l i sse f(t) par application dune f o nction  gaussienne et on garde les points de changement courbure (dér i vée seconde null e )

   .

4. RI dimages par le contenu « br ut » - Contours - „ Attributs géomét r iques  Facile à gérer et à considérer comme des v e cteurs à n dimensions pour n attributs. Donc c a lculs de distance euclidienne par exemple. „ Déf o rmation progressive  Peu adapté à une r e cher che r a pide dans d e   grands v o lumes de données

12/11/2007 Mastere -RI Image - P. Mul hem 52

4. RI dimages par le contenu « br ut » - Représentations sp atiale s - „ A base dobjets  Li m age est déc ou p ée par un quadtree (arbre quaternaire) qui décompose les obj e ts en carrés 1 2 1 2  7 3 4 7 5 6  3 4 5 6

12/11/2007 Mastere -RI Image - P. Mul hem 54

9

4. RI dimages par le contenu « brut » - Représentations spatiales - „ A base dobjets  Le correspondance est calculée sur une différence entre quadtrees. 1 2 1 2  1 2  7 1 2  7  3 4 7 3 4  5  6 7 3 4 5 6 5 6  3 4 5 6

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 55

4. RI dimages par le contenu « brut » - Représentations spatiales - „ A base de relations  Représentation logique ƒ Pour comparer des images, on calcule des distances entre relations basé sur la « signatu re » des 4 ensembles ƒ Par exemple disjoint et touche sont proches, mais disjoint et couvre sont plus lointaines.

12/ 1 1 / 2 00 7 Mastere - RI Image - P. Mulhem 57

4. RI dimages par le contenu « brut » - Exemples - „ Visualseek  Ensembles de couleurs HSV, distance quadratiqu e  2D strings

12/ 1 1 / 2 00 7

Mastere - RI Image - P. Mulhem

59

4. RI dimages par le contenu « br ut » - Représentations sp atiale s - „ A base de relations  R e p r ésentation logique ƒ Une relation spatiale entre régions est identifiée par une re l at i on logique recouvre(a, b) par ex e m p l e ƒ Exemple : le Modèle 4-intersection de Egenhofer et Franz os a (http:/ / w w w.spatial.maine.edu / ~max/ points e t .pdf )  pour une région A : ƒ A ∂ est lensemble des points à la limite de A ƒ A 0 est lensemble de s p o ints à lintér i e ur de A  Pour de ux régions, on définit les relations topologique s , disjoint, touche, égal, contient, couvre et est_superposé A ƒ A couvre B : (A ∂ ∩ B ∂ ≠ ∅ ) ∧ (A 0 ∩ B ∂ ≠ ∅ ) ∧ (A ∂ ∩ B 0 = ∅ ) ∧ (A 0 ∩ B 0 ≠ ∅ ) B 12/11/2007 Mastere -RI Image - P. Mul hem 56

4. RI dimages par le contenu « br ut » - Représentations sp atiale s - „ A b a s e   d e r e l a t i o ns  Approches Chaînes 2D (2D Strings)

 Chaîne 2D : (F<B=G<S,S<B<F=G)  Pour la recherche dima es,   o n   uti chaînesplus oumoinss g imples : lisedes calculsdinclusion de   ƒ exemple : s1 est une sous-séquence de s2 si  s1 est incluse dans s2 (sens ensembliste )  a1 de s1, a1 m atche a 2 de s2 et b1 m atche   b2 d o e p  s b 2 1 est une sous-chaîne ƒ Calcul de recher che co ûteux

12/11/2007 Mastere -RI Image - P. Mul hem 58

4. RI dimages par le contenu « br ut » - Exemples - „ Blobworld  Couleurs Lab 218 dimensions, dis t a n ce quadratique  Textures 2D : contraste, anisotropie

12/11/2007 Mastere -RI Image - P. Mul hem

60

10