Master Recherche en Informatique

Carole Lemort

Description

Niveau: Supérieur, Master

• rapport de stage

Rapport de stage Master 2 Recherche en Informatique Détection automatique d'erreurs d'annotations pour améliorer les performances des algorithmes d'apprentissage automatique Carole LEMORT Maître de stage : Christian Raymond Équipe : TEXMEX Mars - Juillet 2011 du m as -0 06 36 45 4, v er sio n 1 - 2 7 O ct 2 01 1

• annotation


• protocole expérimen


• techniques de transcriptions automatiques de parole et d'annotation


• détection des annotations erronées


• langage perl


• expériences avec di?érentes combinaisons de modèles


• expériences avec les modèles individuels


• apprentissage automatique

Sujets

• Raymond
• Annotation
• Perl (langage)
• Apprentissage automatique

Informations

• Publié par: dumas_ccsd
• Publié le: 01 juillet 2011
• Nombre de lectures: 54

Extrait

deRappalgorithmesort:dCaroleeRastageJuilletMastertissage2TRec:herc?quipheMarsen2011Informatiqued'apprenD?tectionautomatiqueautomatiqueLEMORd'erreursMa?tred'annotationsstagepChristianourymondam?lioererTEXMEXles-performancesdes
dumas-00636454, version 1 - 27 Oct 20112
dumas-00636454, version 1 - 27 Oct 2011etRemerciemenMathildetsNRIATsuroutoudraisd'abl?guesord,ourjettieerl.nsp?ialemenremercierBUNRAKU.P3atricgrandesktraiteetdesChristianlangagepjeourtoutleurdesoutienspetmesleursl'?quipconseils.aussiEnsuite,?jeptiensnosaussidiscussions?leremerciermentousautomatiqueleslanguesmemlebresPdEnn,evl'?quipremercierelepersonnelourl'Ileetu?crtaccueilcol-etdeleuresympathie.MerciEn?particulieter,Jonathan.Florent
dumas-00636454, version 1 - 27 Oct 2011r?sultats.R?sum?eAqu'ilctuellemenlt,d?telescorrigertecnoushniquesDansdedutranscriptionsdesautomatiquespardeannotationsparolepet?tatd'annotationoledenouscesTtranscriptionsapprresteneterron?estr?spd?psuiteendand'obtenirtesmeilledeDansl'enmiervitonsronl'art,neprotomen?rimen-tseconddanstonslequelclefsonaitementtnaturlieuautomatique,les4enregistremenctionts.annotationsCelaanpsoitoseossibleunlaprobl?melespetourdesleder?ursuqualit?.mun?reautomatique,temps,lapr?sentraduction,unainsidequepuislaereconnaissancecd'enexptit?stal.nomm?euns.temps,AussicommenlelesbutMotsde:cerdoautomatiquecumenlangagetel,estentissaged'am?liorerannotations,laction.d?t
dumas-00636454, version 1 - 27 Oct 2011ExpT.able.desExpmati?resnom1.?tat.de.l'art.8.1.1.Donn?esailutilis?es....indivi...binai...correctemen.......3.27.........ec.......ec.mo...?riences.mo.5............8.1.2raAlgorithmes?ald'apprenDescripteurstissage.automatique.p.our.la.classication.de.s?quences2813a1.3moD?tectionued'erreurs.et.correction.automatique.d'annotations29.a.tes.s.......3.416fonction2dProtoquicole33exp.?rimen.t.a.l.19.2.1.Description.du.proto.cole........22.T.v.r.is?.3.1.utilis?s...............................3.2.?riences19v2.2lesDi?rend?lestesdvlsersions.des.co.r.pus..........3.3.?riences.v.di?ren.com.son.de.d?les...........31.Exp.en.du.bre.e.d?les20r?annote2.3tR?sultatsder?f?rence
dumas-00636454, version 1 - 27 Oct 2011.Listeledesptableaux.1.1breExemple.d'annotation.cd?lesonceptuelleTISsur.unour?nonc?.extrait.dulcorpus.A.TISbre9.1.2.Exemplemodeenr.e.prmo?blessen.tationbinaisonss?man.tique,.extraitR?sultatsdeoriginal[6]....t.....t...3.8.le...'ensem..11.1.3.Exemple.d'enco3.3dagetissageBIOdsurAdes.donn?es.dudecorpuseESTERp,.extrait.de.[1].13com2.1surComparaison.des.p.e.rformancesenduquisyst?meoriginale.n.tra?n?.surenlaquivoriginalersion.originale.et.surdulacorrectemvdesersionetcorrig?e35desurl'ensemoriginalble.de.donn?es.p.our.le.corpus.A.TIS..des20les2.2tra?n?sComparaisonemendessppeetrformances.du.syst?me.e.n3.4tra?n?tessurmolatra?n?svbleersionAoriginale.et.sur.la.v.ersion.corrig?e.de32l'ensemdi?renblededendonn?es'ensempourour.le.corpus.ESTER.21.2.3.Comparaison.du3.6modud?lemoappriscorrectemsurl'enseml'ensemourble.moins.les.erreurs.a.v.ec3.7lesdu2momocorrectemd?lesl'ensempr?c?denourts.p.our.le.corpus.A.TISen.bre.qui.t.emen.bles.A.....6.tra?n?s.l.ble.p.ESTER........21.2.4.Comparaison.du.mo.d?le.appris.sur.l'ensem.ble.moins.les.erreurs30aR?sultatsv5ecd?lesd'appren2enmosurd?lesregrouppr?c?denttsepensemourd'origineleourcorpusTISESTERESTER.................30.R?sultats.di?ren.com.de.d?les.n.sur.'ensem22original2.5our?vTISaluation.du.seuil.de.conance.p.our.le.corpus.A.TIS..........3.5.de.tes.binaisons.mo.e.tra?n?s23l2.6ble?vpaluationESTERdu.seuil.de.conance.p.our.le.corpus.ESTER............33.R?sultats.fonction.nom.de24d?les3.1r?annoteR?sultatsendessur5blemopd?lesAd'appren.tissage.en.tra?n?s.sur.l.'ensem.ble.original.p.our.A.TIS34.R?sultats.fonction.nom.de.d?les.r?annote.en.sur.ble.p.ESTER.......................34.R?sultats.fonction.nom.de.d?les.r?annote.en.sur.regroup.t.ensem.d'origine30our3.2TISR?sultatsESTERdes.5.mo.d?lesd'apprentissage
dumas-00636454, version 1 - 27 Oct 2011tInttros.ductionlesAorale,vsoneccunl'?varolutionEnsuite,dein?vitables.lamotsteconhnologie,sonleetstolescirkrepagelesetplus,leortentraitemensontus.des?niencourhierscondededonn?einsincoh?rencesdeiltouteslesortessourcesestcorrig?es.enlonspleinordessor.cole?lel'approheuredesactuelle,detousonctuation,lescela,ordinateurs,tapppasarelesilsdesphotos,d?lest?l?phonesdepCesortables,p.En.un.plus,sonvtd'capablesannoter.d'enregistrerdesdesalgorithmes.donn?eslesdeossible,di?rend'apprenterreurssttd'?treypannotationsesp(textes,psons,incorrectes.vid?os,unimages,r.Enn.p.d?j?).grammairePe.armireprisescessonmasseslesdenedonn?es,nilamaplupartplussontranscriptionstimparfaitesenregistr?esquepuissonstobiencpkdes?esdessansL'inconjamaisdes?treestr?utilis?es,bfauteannot?sdeentempsannot?souhersd'outilsenecaces.desOrlessiannot?snousnomversonnes.oulhonseutquesacesdesdonn?esnotatiopuissenphrasestpart,?treonutiles,ercussionsilerformancesestpn?cessairecrucialdesoienlesexactesclasserparticuliermaisdesaussiautomatique.det,psonouvdoivoirouvlesd?tect?esutiliserretir?es,etquer?utilisertranscriptionsfacilemenmeillet.nousDansvlebutcadrelesducommenceronstraitemenpr?sentdeautomatiquepr?sendeslelangues,?rimenetvenr?sultatsparticulieconclurervde7lalaparole,estlesximativdonn?esDequedesnousetvh?sitationsoulonstanalyserD'ailleurs,sontranscriptionstdialogueslcompesttermespprononc?sniparjusculedesEnhdeulesmautomatiquesains.tP?tanardonn?exemple,lescelanepteuttoujours?trereconndesC'esttranscriptionsourquoid'?missionsm?thoradiophoniquesutilis?esoutt?l?visuelles,m?thounestatistiques.convvtersationmot?l?phonique,statistiquesouqu'ilssimplementtesoinuncorpustextepdict??tredanstra?n?s.uncorpusmicrophone.co?tenL'analysecdeettranscriptionseuvptoss?deteniruerreurs.neet,grandcorpusnomtbrepardgrand'breapplicationspparmiDelesquellesclaatraductionpautomatiqueaetoirlaproprerecterpr?tationhercconsignesheand'informations.nLedestraitemen?tD'autreautomatiquelesdesd'annotationlanguestestr?punsurdomainepquidesn?cessiteC'estdesourquoiconnaissancesestenquelinguistique,donn?esentinformatiqueplusetpenenindanstelligencecasarticiellealgorithmesdanstissagelequelPdecons?quennomlesbreuxquittypd'inexactitude,esendepmood?les?tresonantsoitutsoitiAnlis?s.lesN?anmoins,desdanssoienlelesdomaineuresduossible,traitemenaltaautomatiqueoirdeourladeparole,?rerlesannotationsmoNousd?lesd'abfoparrterm?tatelsl'art.sonnoustteinecacesonscarprotoilsexpsontal.tnoustroperronsrigides.premiersEneteet,ourronsdsuratranailseectu?.lalangue
dumas-00636454, version 1 - 27 Oct 2011vChapitre31i?tatte.deesl'arttienCetteppremirep?retionspartielaappduourpasobeutjectifd'erron?e,deAfairepun[5].?tatdesdetl'artdonn?es.surt?,leststradevbaseauxestexistane,tspencorrectescorrectiondeautomatiquelesd'annotation.AiP(Aourinfocela,onousbasenoustenaitindet?resseronsd'informationsd'ablaorddeauxbredonn?es?t?pbaseourdelesquellesvillesonlacleshercLehefois?dicult?sam?lcelaioreryplesbaseannotations.eNoushevota-erronsphraseensuitebutlesterdi?renettsincorrectes.algorithmesLetraditionnellemenTtInformationutilis?sestpfournirourmag?n?rerlescesagesannotations.l'origine,Etdenn,cnousinfor-vortserronsvilles,leheplimit?eeucausedeetectaillhniquesbaseexistanletesdisppl'?tudeourtcorrigernouvautomatiquemdonn?esenlesta?ropcesdansannotations.?tats-Unis1.1FinalemenDonn?esgrandeutilis?esbaseLesdedonn?esvque?l'ondonn?esutilisegrandesonos?tceissuestdetrecorpuscedededonn?espannot?s.donn?esLesmi?nonc?sl'?cextraitsunedeimpces8ensemtionsblesd'unedequali?edleonn?estestensondet?rericorrigernannotationsterpr?t?es1.1.1coTISmmecorpusdesrphrases,radonceldesSystems?-TIS)quencesutilis?desourtermesdesarv-ecsurunvordreyeta?riensnon?paslasimplemendetonn?cneommeondeslessacsmationsdea?ropmots.queUne11phrasemaiscont?ctenand'indexationt?taitg?n?ralemenuniquement?plusieursdemots,pentg?n?ralteelleeplaoss?dedeaussiAussiplusieursnoman-d'informationsnotations.oniblesCommeournousanousfortemeninaugment?ressonsla?ellededesconprobl?mestd'annotationinformationsde52s?quences,orilsitu?sest46idesmpetortanCanada.tt,deplussatablevlaoirinclutquinformationse2dans457uneols.phrasepassagelesuneannotationsdenetroissonplustn'apasptdeoparticuli?res,uquiteencourageanscarvraiesmonoqueuourtoutestfausses.ePsyst?mourune?viteretitededepperdre?trelessinformations?exacteshelleconourtent?cuesplusdansortanlesann
dumas-00636454, version 1 - 27 Oct 2011PTannot?sab.son1.1d'?tsExemplenond'annotationl'inconceptuelle9surtsunla?nonc?obtenirextraitadunouscorpusleAestTISr?pNum?rososoMotsen?tiquette1cat?gorieinformationind?pntexteulltenait2leonuesnl'exeullla3esamerican-airlinefran?aisairline_namedologie4queighnomtssessionn?l?menullson5fromndeullr?f?rence6Leswenashingtonconfromloendanc.citduirey_named?but,7donto?t?n?taienullaux8dephiladelphialetolo1.1c.cithesy_namerec9hineearly-morning1.1.2depart_time.pfaiterioEvdteste_of_daaluerycollection,10m?metimes-of-ighuntdeighct_timenousDansslesuivcorpusAlaTIS,naud'?vfurlaettranscription?r?pmesureminimaledeonsel'avlaancemenr?cupt,cllescat?goriesprotcessuspd'annotationterpr?tation,ondutour?t?terpr?tationautomatis?s.aluable.Encorpuseet,047le3corpusaienoriginalenades?t?correctemenenregistr?rappselonconunlaprotoscoleouvdeoirMagicienl'd'Oz9..desDansestund'encouragerprheotohommecoleaussideunicationsMagicienLad'Ozaluation,dulesecutilisateursSoncroiend?nirtunequ'ilsoursoncapacit?stlaentelrelationlea?nonc?v?t?ecgrandunbreordinateur,fois.alorsourqu'enhaquer?alit?utilisateur,ilsdispdiscutenntdesatsvanec:unlehdeumainrequ?te(laudioeum?riquemagi-l'historiquecien),?nemenquidesimsessionulelaled?taill?ecomplaoonserr?f?rencetemenr?ptded'unmaximaleservlaeurdevrequ?teodonn?escal?r?esd'informations.tEnass?essuite3,:leendannomdubrtexteeourdel'indialoguesd?pcoltlect?sconestpdevproenl