Agrégation de modèles

Description

Agregation´ de modeles`
Philippe BESSE
´Laboratoire de Statistique et Probabilites
UMR CNRS 5583
Universite´ Paul Sabatier Toulouse III
[e-mail] tlse.fr
www.lsp.ups tlse.fr/Besse
1Journee´ IS2 2003 Apprentissage statistique 2
1 Introduction
1.1 Apprentissage
• Supervise´ vs. non supervise´
• Discrimination vs. regression´
• Modelisation´ (explicative) vs. Apprentissage (predictif)´
• Statistique vs. Data Mining
• Choix de methode´ et estimation de l’erreur
• Choix de modele` : equilibre´ biais variance
• Choix de modele` : selection´ vs. regularisation´
c ´Philippe Besse — LSP/UMR CNRS 5583 — Universite Paul SabatierJournee´ IS2 2003 Apprentissage statistique 3
´1.2 Strategie
1. Extraction avec ou sans echantillonnage´
2. Exploration (valeurs atypiques, incoherences,´ transformations)
3. Partition de l’echantillon´ (apprentissage, validation, test)
4. Pour chacune des methodes´ consider´ ees´ : modele` lineaire´ gen´ eral,´
discrimination parametrique´ ou non parametrique,´ k plus proches voi
sins, arbre, reseau´ de neurones, support vecteur machine, combinaison
de modeles` (bagging, boosting).
` ´Estimer le modele pour une valeur donnee
d’un parametre` de complexite´
Optimiser ce parametre` (echantillon´ de validation)
5. Comparaison des modeles` optimaux obtenus (echantillon´ test)
6. Iteration´ ev´ entuelle (3 a` 5)
7. Choix de la methode´
• Enjeux : rechercher un modele` parcimonieux.
c Philippe Besse — LSP/UMR CNRS 5583 — Universite´ Paul SabatierJournee´ ...

Sujets

• Statistique
• Lspci
• Char Josef Stalin
• N?ud sinusal
• Banque d'Estonie
• Errare humanum est, perseverare diabolicum

Informations

• Publié par: Cheyn
• Nombre de lectures: 64
• Langue: Français

Extrait

Agr ´ egationdemode  les

Philippe BESSE

LaboratoiredeStatistiqueetProbabilit ´ es UMR CNRS 5583 Universite´ Paul Sabatier Toulouse III [e-mail] www.lsp.ups-tlse.fr/Besse

1

Journ ´ eeIS22003Apprentissagestatistique

1

Introduction

1.1 Apprentissage •puSivree ´ svs.non-supervis ´ e •Dsircminitaoinvs.reegr ´ nioss • Mode´lisation (explicative) vs. Apprentissage (pre´dictif) •Statistiquevs.Data Mining • Choix de me´thode et estimation de l’erreur •iaebbrliuieq: ´ lee  domedxiohCcneraaisiv- • ´ nelelcet:isood  exdemhCiovs.ularr ´ egoinsita

2

c  ´ePhilippe Besse — LSP/UMR CNRS 5583 — Universit Paul Sabatier

Journ ´ eeIS22003Apprentissagestatistique

3

1.2Strat ´ egie 1.Extraction avec ou sans e´chantillonnage 2.Exploration (valeurs atypiques, incohe´rences, transformations) 3.Partitionahtnliol(nparpnedel’ ´ ect)es,tonitadilav,egassit 4. Pour chacune desohed´mteses:meresid´con,n´´ealerae´ngeriedoilel ´ discriminationparame ´ triqueounonparam ´ etrique,kplus proches voi- sins,arbre,r ´ eseaudeneurones,supportvecteurmachine,combinaison demode  les(bagging,boosting). -Estimerlepeuourenavelrudonn ´ ee  domel d’unparame  trede ´ eclpmotixe -Oimpteristeerar  mahtn ´ (cendevilloatioalid)npace 5.pmoCdnosiaraeld  moeses)tsllitetno ´ es(anchobuxnutematiop 6. ´ tIeration e´ventuelle (3 a5) 7.hCiodxeodth ´ eamel •Enjeux :rechercher unmxuoniercimlepaod  e.

BeseilppPih c —U83veniitrsPa´eL—esU/PSNCRM55SRluaSabitre

Journ ´ eeIS22003Apprentissagestatistique

2

Arbres binaires

4

2.1 Introduction •Classication and regression trees (CART) •X j explicatives quantitatives ou qualitatives, •Yquantitative :regression tree; •Yqualitative amt´esdalimo{T ` ;`= 1. . . , m}:classication tree; •Objectif: construction d’un arbre de de´cisionbinaire simple ain- terpre ´ ter. •sdehoetM ´ ucalclaseotri: peu d’hypoth

e  sesmaisbeaucoupdedonne ´ es.

c  Paul SabatierPhilippe Besse — LSP/UMR CNRS 5583 — Universit ´e

Journe´e IS2 2003 Apprentissage statistique

5

2.2 Construction d’un arbre binaire 2.2.1 Principe De ´ terminerunes ´ equencet ´ erativeidenœuds. •Racine: nœudinitialenoudelembsenahce ´ ’l.nollit •Nœud: choix d’unevariableet d’unedivision; sous-ensemble auquel est applique´e uneidhctoomie. •Division:valeur seuilou groupes des modalite´s .

c Philippe Besse — LSP/UMR CNRS 5583 — Universit ´e Paul Sabatier

Journ ´ eeIS22003Apprentissagestatistique

Exemple ´ ele ´ mentaired’arbreded ´ ecision.

6

Choix ne´cessaires : 1.t  rieerCde la “meilleure”divisionparmi cellesadmissibles; 2. Regle de nœud terminal :feuille; 3.Reglenauneclassefa’dtcefoitaT ` ou une valeur deY. Obtenirensuiteunmode  leuxieonimrcpapare´lagage(pruning) de l’arbre.

c  e´ Paul SabatierPhilippe Besse — LSP/UMR CNRS 5583 — Universit

Journe´e IS2 2003 Apprentissage statistique

2.2.2Crite  rededivision •Divisionadmissible: descendants6=∅. •X j re´elle ou ordinale : (c j −1)divisions possibles. •X j nominale :2 (c j −1) −1.snoidisiv •Fonction d’ ´ et ´ eroghee ´´ nie ´ tD (k) d’unnœud 1.Nulle : une seule modalite´ de YouYconstante ; 2.amelaMix : modalite´s de Y e´quire´parties ou grande variance. Notations •k:num ´ erod’unnœud. •(k+ 1)et(k+ 2)les nœuds ls. L’mherotilgaretient ladivisionrendantalesminimD (k+1) +D (k+2) . Chaque e´tape kde construction de l’arbre:

ivisions m de a X x j ;j=1} D k −(D (k+1) +D (k+2) ) {d,p

7

 c Philippe Besse — LSP/UMR CNRS 5583 — Universit e´ Paul Sabatier

Journe´e IS2 2003 Apprentissage statistique

8

2.2.3Re  gled’arre ˆ t Unnœud donne´, est terminallp ´ eeapoufeuille, lorsqu’il estmogoe  enh: •plus departitionadmissible ou •nombreatioservd’oba  nueiru ´ fresnniseuil. 2.2.4 Affectation •Yeavtiittnauq, la valeur est lamoyenne des observations. •Ytativeqauil,chaquefeulaecunaessatseelliee´tceffT ` deYen conside´rant le mode conditionnel: •la classe la ´ tneeeperxse ´ reumi ;dans le nœud •la classea posteriorila plusprobablesi desa priori ;sont connus •la classe la moins couˆteuse si desstedocu ˆ iacsamvuemenlasstsont donne ´ s.

 c Philippe Besse — LSP/UMR CNRS 5583 — Universit e´ Paul Sabatier

Journ ´ eeIS22003Apprentissagestatistique

2.3Crite  resd’homog ´ ene ´ ite ´ 2.3.1Yquantitavtei “Variance inter classe” ou “desordre” desbarycentres: ´

Δ =n 1 n 2 (µ .1 −µ .2 ) 2

9

Objectifam:eimix ´ euqpate  haacserΔ. •Chercher ladivisionrendant le test deFisherle pluscatifsignipos- sible. •irCretntlelaaeqe´vauieaicn´dvemndodu’.siengausele

c  Paul Sabatier ´ePhilippe Besse — LSP/UMR CNRS 5583 — Universit

Journe´e IS2 2003 Apprentissage statistique

10

2.3.2Yeativalitqu •Fone ´ gtie ´ :e ´ tincd’oneth ´ ro ´ eentropie,crit  eredecnnerttaoincode Gini ou statistique dutest duχ 2 . •L’entropieest le terme deaicn ´ dveed’unailnimomumdtole  el. Ytivelitaquaammodalite´s ou cate´goriesTt´ro´eumeens`= 1, . . . , m. L’arbre induit unepartition ou n +k est l’fffetiecduk.nmœeu  de Probabilit ´ eunue ´ q’unedt ´ lmek eme nœudrtpaapla  enneia`assedelceme  Y. m X

p `k =P[T ` |k]avecp `k = 1. `=1 D´esordredukœnemo,duueentropie, (convention = 00 log(0)). : m D k =−2 X n +k p `k log(p `k ). `=1

c  Paul SabatierPhilippe Besse — LSP/UMR CNRS 5583 — Universit ´e

Journe´e IS2 2003 Apprentissage statistique

He ´ te ´ roge ´ ne ´ it ´ e ou de´sordre de la partition:

11

K K m D= X D k =−2 X X n +k p `k log(p `k ). k=1k=1`=1 Quantite ´ positiveou nulle,nulleorabelps ´ tseibilsisp `k sont toutes nulles saufuneegalea  1. ´ •n `k delaobserv ´ eeffefitc`  emnalsecealssdeke  .udnœme •Unnœudkillohant’ ´ ecedelitfffcedne’elbmesne-suosnutsn

D

K m =−2 X X n `k log n n ` +k k =D b . k=1`=1

+k = P ` m =1 n `

 c Philippe Besse — LSP/UMR CNRS 5583 — Universit e´ Paul Sabatier