Cours Fouille de données

Dsa

Description

Une chaîne globale de fouille de textesMathieu RocheCours ECD2010/2011Processus de fouille de textes- - - - - - - - - - - - - - -Nettoyeur Etiqueteur- - - - - - - - - - - - - - -- - - - - - - - - - - - - - -Corpus Corpus Corpus brut nettoyé étiquetéExtraction des termes- découverte de - - - - -Extraction règles d’association d’informations - - - - -Détection - extraction - - - - -d’information par des traces de Corpus + patrons d’extraction conceptsTermesClassification conceptuelle2 Cours ECD - M2 - 2010/2011Etape 1 : Le nettoyageExemples de corpus spécialisé s:● Corpus de 100 introductions d’articles en anglais écrits par des auteurs anglophones sur le domaine de la « fouille de données » (369 Ko).● Corpus de plus de 6000 résumés d’articles en anglais sur la biologie Moléculaire (9424 Ko).● Corpus en français de plus de 1000 Curriculum Vitæ (VediorBis, 2470 Ko).● Corpus en français relatif aux Ressources Humaines (PerfomanSe,3 784 Ko).3 Cours ECD - M2 - 2010/2011Etape 1 : Le nettoyage● Types de nettoyage :- Enlever les noms, prénoms, coordonnées, etc. (pour les articles et les CVs)- Uniformiser les référencesCORPUS FOUILLE DE DONNEES :Remplacer ([lettres+année], [numéro], etc.) par « a paper » ou « papers » si ces références sont précédées de la préposition « in », sinon on supprime ces références.- Généraliser certains noms : CORPUS DE BIOLOGIE MOLECULAIRE Remplacer : carboxyl-terminal, carboxyl-termini, C00H-terminal, ...

Informations

• Publié par: Mithir
• Nombre de lectures: 22
• Langue: Français

Extrait

Une chaîne globale de fouille de textes

Mathieu Roche

Cours ECD

2010/2011

2

Processus de fouille de textes

    - - - - - Nettoyeur      - - - - -      - - - - -

Corpus brut

-découverte de Extraction règles d’association d’informations extraction - d’information par patrons d’extraction

    - - - - -      - - - - - - - - - -     

Corpus nettoyé

Etiqueteur

- - - - -          - - - - -      - - - - -

Corpus étiqueté

Extraction des termes - - - - -      - - - - -      Détection        - - - - - des traces de concepts Corpus + Classification Termes conceptuelle Cours ECD - M2 - 2010/2011

3

Etape 1 : Le nettoyage

Exemples de corpus spécialisés : ● Corpus de 100 introductions d’articles en anglais écrits par des auteurs anglophones sur le domaine de la « fouille de données » ( 369 Ko ).

● Corpus de plus de 6000 résumés d’articles en anglais sur la biologie Moléculaire ( 9424 Ko ).

● Corpus en français de plus de 1000 Curriculum Vitæ (VediorBis, 2470 Ko ).

● Corpus en français relatif aux Ressources Humaines (PerfomanSe, 3784 Ko ).

CousrE CD- M 2 - 2010/2011

4

Etape 1 : Le nettoyage

● Types de nettoyage :

- Enlever les noms, prénoms, coordonnées, etc. (pour les articles et les CVs)

- Uniformiser les références   CORPUS FOUILLE DE DONNEES :Remplacer ([lettres+année], [numéro], etc.) par « a paper » ou « papers » si ces références sont précédées de la préposition « in », sinon on supprime ces références.

- Généraliser certains noms : CORPUS DE BIOLOGIE MOLECULAIRE   Remplacer : carboxyl-terminal, carboxyl-termini, C00H-terminal, C02H-terminal, etc. par C-term.

Cours ECD- M 2-  2010/2011

5

Processus de fouille de textes

    - - - - - Nettoyeur      - - - - - - - - - -     

Corpus brut

-découverte de Extraction règles d’association d’informations - extraction d’information par patrons d’extraction

    - - - - -      - - - - - - - - - -     

Corpus nettoyé

Etiqueteur

    - - - - -      - - - - -      - - - - -

Corpus étiqueté

Extraction des termes - - - - -      - - - - -      Détection   - - - - -      des traces de concepts Copus + Classification Termes   conceptuelle Cours ECD - M2 - 2010/2011

6

Etape 2 : Etiquetage

Mais pour des personnes très spontanées ...

Étiqueteur de Brill

Mais /COO pour /PREP   des /DTN:pl   personnes /SBC:pl   très /ADV   spontanées /ADJ ...

Cours ECD - M2 - 20102/011

7

Processus de fouille de textes

- - - - -     Nettoyeur      - - - - -      - - - - -

Corpus brut

-découverte de Extraction   règles d’association d’informations - extraction d’information par patrons d’extraction

    - - - - - - - - - -           - - - - -

Corpus nettoyé

Etiqueteur

    - - - - - - - - - -           - - - - -

Corpus étiqueté

Extraction des termes      - - - - -      - - - - - Détection        - - - - - des traces de concepts Corpus + Classification  Termes conceptuelle Cours ECD - M2 - 2010/2011

8

Etape 3 : Extraction des termes

         - - - - - - - - - - - - - - - - -                    - - - - - - - - -

Corpus nettoyé

yTep sde co

Étiqueteur grammatical

llcotaoin

● Nom-Nom ● Adjectif-Nom ● Nom-Adjectif ● Nom-Préposition-Nom ● Formule-Nom ...

s: 

        - - - - - - - - - - - - - - - - -                    - - - - - - - - -

Corpus étiqueté

Extraction des collocations

tête froide activité professionnelle circuit fermé intérêt général Cours ECD - M2 - 2010/2011

9

Etape 3 : Extraction des termes

- - - - - - - - -         - - - - - - - -           - - - - - - - - -         

Corpus nettoyé

activité pofessionnelle tête froide circuit fermé intérêt général

Étiqueteur grammatical

Sélection des “meilleures” collocations

C

- - - - - - - - -                   - - - - - - - -          - - - - - - - - -

orpus que

Extraction des collocations tête froide activité professionnelle circuit fermé intérêt général

ousrE CD - M2 - 20102/011

10

Processus de fouille de textes

    - - - - - Nettoyeur - - - - -      - - - - -     

Corpus brut

-découverte de Extraction règles d’association d’informations - extraction d’information par patrons d’extraction

    - - - - - - - - - -      - - - - -     

Corpus nettoyé

Etiqueteur

- - - - -          - - - - -      - - - - -

Corpus étiqueté

Extraction des termes - - - - -      - - - - -      Détection        - - - - - des traces de cl sification concepts Corpus + as Termes conceptuelle Cours ECD - M2 - 2010/2011

11

Classification conceptuelle

classification  conceptuelle

Ensemble de connaissances

Moyens de transports

bateaux

voitures

Classification conceptuelle Cours ECD - M2 - 2010/2011