Modèles de langage, comment ça se fabrique ?

Brigitte Bigi

Description

Mod`eles de langage, comment ca¸ se fabrique ?Brigitte BigiCLIPS - Equipe GEODITC - Avril 2006Brigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ca¸ se fabrique ? ITC - Avril 2006 1 / 48Plan1 Introduction2 Du texte brut au corpus3 Du corpus au Mod`ele de Langage4 Interpolation de Mod`eles de Langage5 Autres outils bien pratiquesBrigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ¸ca se fabrique ? ITC - Avril 2006 2 / 48Introduction1 Introduction2 Du texte brut au corpus3 Du corpus au Mod`ele de Langage4 Interpolation de Mod`eles de Langage5 Autres outils bien pratiquesBrigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ¸ca se fabrique ? ITC - Avril 2006 3 / 48IntroductionIntroductionUn mod`ele statistique du langage est une distributionde probabilit´es sur des mots ou suites de motsIl permet de classer les mots ou les phrases selon leurprobabilit´e d’apparitionIl faut estimer la probabilit´e P(W) d’un mot oud’une suite de mots W = w w ...w1 2 nPar exemple, estimer P(”une suite de cinq mots”)Brigitte Bigi (CLIPS - Equipe GEOD) Mod`eles de langage, comment ¸ca se fabrique ? ITC - Avril 2006 4 / 48IntroductionRappelOn fait l’hypoth`ese que chaque mot ne d´epend que des (n-1) motsqui le pr´ec`edentTrigrammen = 3un mot d´epend des 2 mots qui le pr´ec`edentOn apprend la distribution de probabilit´e des n-grams`a partir d’un ensemble de textes que l’on appelle corpusBrigitte Bigi (CLIPS - Equipe GEOD) ...

Informations

• Publié par: Naphog
• Nombre de lectures: 45
• Langue: Français

Extrait

igttBir(iLCBegiuiEqS-IP)MODGEpedsele`doegagnalec¸safebac,moemtnC-Avril2riqueIT

Brigitte Bigi

ITC - Avril 2006

CLIPS - Equipe GEOD

Mod`elesdelangage,commentc¸asefabrique?

160084/

rBgitietoM)DOEGeedsele`dLI(CgiBiipqu-EPSafrbacesICTqieuage,langent¸comm

3

DucorpusauMod`eledeLangage

5

Autres outils bien pratiques

InterpolationdeMode`lesdeLangage

4

2

Du texte brut au corpus

1

Introduction

/260

Plan

84rvA-02li

eGipD)EOd`Moeselaledgagnoc,enemmBrigitetiBigC(ILSPE-uq

DucorpusauMod`eledeLangage

3

Du texte brut au corpus

2

Introduction

1

Autres outils bien pratiques

5

4

InterpolationdeMod`elesdeLangage

euIrbqiesaf¸tac3/482006vrilTC-A niotcudortnI

Il permet de classer les mots ou les phrases selon leur probabilit´ed’apparition

Ilfautestimerlaprobabilite´P(W) d’un mot ou d’une suite de motsW=w 1 w 2 ...w n Par exemple, estimerP(”une suite de cinq mot”) s

8

Introduction

Unmode`lestatistiquedulangageestunedistribution deprobabilit´essurdesmotsousuitesdemots

64/4l200uipeGEODCLIPS-EqdslenaagM)doe`el¸cntefas,cgemeom-CTIirvAirbaeuq oductionIntr tteBigi(Brigi

Iortntcudnio -ATCIue0620ilvrac¸tnemmqirbafes

Rappel

Onapprendladistributiondeprobabilite´desn-grams a partir d’un ensemble de textes que l’on appelle corpus `

Onfaitl’hypoth`esequechaquemotned´ependquedes(n-1)mots quileprece`dent ´ Trigramme n= 3 unmotde´penddes2motsquilepr´ec`edent

/584itigBite(CgiPSLIrBelesdelangage,coE-uqpiGeOE)DoM`d

ontiucodtrIn 8

Proce´de´

Cre´erunmod`elestatistiquedulangagepeutsere´sumeren3 operations : ´ 1 Collecter des textes 2 Transformer les textes en corpus 3 tsirubitnoedrpboabilit´esrTemrofsnapuorecrldinenuse Enpratique,cesoperationssontloinsd’eˆtretriviales ´

002l4/66-CTIirvAriabequ¸cntefasmoemegc,naagdsle`ele)ModGEODuipeqE-SPILC(igiBettgiriB

igeBCLi(riBttgigageelanlesdod`eDOM)epEGqEiuPI-Sl2riAvC-ITequribafesac¸tnemmoc,67008/4

Collecter des textes

O`utrouverdestextes?Etcommentlesrecuperer? ´ ´ CD/ROM de journaux transcriptions manuelles de documents de parole Web Lestextesdoiventˆetreenad´equationavecl’applicationvise´e ˆdomaiethe´matique meme n meˆmestyledelangage meme epoque ˆ ´ Lestextesdoiventˆetreenquantite´suffisante

rontInioctdu

8

Lestextesdoiventsuivredesre`glesd’e´criture,comme contenirunephraseparligneavecdesbalisesdede´butetfindephrase ˆetr´ritsseulementenminuscule e ec avoirlecaract`ereespacecommes´eparateurdemot respecterunvocabulairepre´d´efini ...

68/4l200AvriTI-Cuqebairsafeagnac,egemmoc¸tnODGEod)Mle`eelsdgi(iLCPI-SqEiuepBrigitteB ntIioctduro rofsarT n etselremencoxtesrpus

Innortdocuit DOM)epEGqEiuPI-Sgageelanlesdod`eCLi(igeBttgiriB

Quel toolkit ? 1-grams, 2-grams, 3-grams, 4-grams, 5-grams, ... ? Quelleestlaquantit´edecorpusutile/pertinente? Quelle valeur de cut-off ? Quelleme´thodedesmoothing?

Transformer le corpus en une distribution de probabilit´s e

00964/8sac¸bafemoc,tnemAvC-l2riquriITe

docuitnoIntr 8

Exemple de texte d’origine

”Des´eclairciesfugacess’annoncentenmi-journeepresdesfrontie`resdu ´ ` nord-estmaislecielsecouvrepeua`peuparunvoiledenuagesqui s’´epaissitparl’ouest.Lapluies’e´tendenjournee`alamajeurepartiedu ´ paysene´vitanttemporairementl’extreˆmenord-estetl’extrˆemesud-estdu pays,maislespre´cipitationsfaiblissentprogressivementl’apr`es-midiet deviennentpluseparses,alorsquequelquestroue´esensoleille´esse ´ montrent temporairement sur le nord-ouest. Les flancs ouest du relief gardent des pluies continues. Leventd’ouestsoufflemode´r´ementsurlescˆotesatlantique.Ilsoufflede sud-ouestsurlescˆotesdelaMancheenserenforcant,atteignant60a`70 km/hensoire´e.Pr`esdelaM´editerrane´e,ilatteint70`a80km/henrafales, maispermetdes´eclaircies,pluslargesenProvence-Cˆoted’Azur,ilse calme en s i ´ .” o ree

200610/4cat¸fasecoe,enmmA-CTlirvqirbIeuEOD)ipeG-EquLIPSgngaedalleseoM`dC(igiBettigirB

)MODGEpesdle`eodLC(igiBeiuqE-SPIefab¸caseITriquageglenaemtnc,mo

<s>ed´scealriicseufgacess’annoncentneimojru´neerpe`sdesfronti`eres dunord-estmaislecielsecouvrepeu`apeuparunvoiledenuagesquis’ ´epaissitparl’ouest< /s> <s>tavintyspa´eenrn´ee`alendenjouaptreiudmajaueerpllaet’´esui temporairementl’extrˆemenord-estetl’extreˆmesud-estdupaysmaisles pre´cipitationsfaiblissentprogressivementl’apr`es-midietdeviennentplus ´lorsquequelquestrou´eesensoleille´essemontrenttemporairement eparses a sur le nord-ouest< /s> <s>flancs ouest du relief gardent des pluies continuesles < /s> <s>qieualtnesatcˆotrlesntsueme´re´domeffluostesoud’ntvele< /s> <s>effledsluouoseus-dlesctsursdelˆoteeehcnamaofneresntanrci atteignantsoixante`asoixantedixkmhensoir´ee< /s> <s>ntedoixaintsattenitgerv-uqtaxia`nhekmpse`ralededm´eritn´railee rafalesmaispermetdese´clairciespluslargesenprovencecˆoted’azurilse calmeensoire´e< /s>

Exemple de texte propre

vA-C2lir160084/1irBttig udoroitcnInt