Problèmes sparses en statistique

Description

Mode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
Proble`mes sparses en statistique
GDR MASCOT NUM - IHP, Paris
Je´re´mie Bigot
Institut de Mathe´matiques de Toulouse, UPS
Avril 2008
`Problemes sparses en statistiqueMode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
1 Mode`le line´aire et se´lection de variables
2 Minimisation de la norme ℓ1
3 Quelques simulations
4 Discussion
`Problemes sparses en statistiqueMode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
Mode`le line´aire
tObservations : Y = (Y ,..., Y ) telles que1 n
∗ 2Y = Xβ +ǫ, avecǫ∼ N(0,σ I ),n
∗ pX = [X ,..., X ] matrice n× p connue, etβ ∈R vecteur de1 p
parame`tres a` estimer.
´ ´ ´Exemple : regression nonparametrique et decomposition dans une
base de Fourier
ℓj
Y = f(x )+ǫ, j = 1,..., n, x = , ou` ℓ ∈{1,..., p}j j j j j
p
p p
j∗ −i2π(k−1)x ∗j= β e +ǫ = β X +ǫ,j jk k k
k=1 k=1
j −i2π(k−1)xjavec X = e .k
Cas orthogonal : n = p et X matrice orthogonale
`Problemes sparses en statistiqueMode`le line´aire et se´lection de variables
Minimisation de la normeℓ1
Quelques simulations
Discussion
De´composition en Fourier (sans bruit)
702
1.5 60
1
50
0.5
40
0
30
−0.5
20
−1
10
−1.5
−2 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 10 20 30 40 50 60 70
n = p = 128
∗Remarque : #{k ;β = 0} est petit !k
∗Le vecteurβ est dit sparse (creux) dans ce cas.
`Problemes ...

Sujets

• Marquis de Sade (groupe)
• Élections au Tchad
• Simulation de la turbulence
• Vecteur (homonymie)
• Design transport
• Critère de plasticité

Informations

• Publié par: Olla
• Nombre de lectures: 70
• Langue: Français

Extrait

Mod  elelin ´ eaireeste ´ eltcoidnveiaaresbl niMisaminoitaledmron Q 1 ℓ e uessuelqatioimul cssu sn iDisno Poresenparsmessble Proble  messparsesenstatistique GDRMASCOTNUM-IHP,Paris Avril2008 J´er´emieBigot InstitutdeMathe´matiquesdeToulouse,UPS euqitsitats

Me ´ sttceldnoirave  eodlileean ´ eeir noedalonmr ℓ e Q 1 eu iables Minimisati issucsiDno imssuelqnsioatul Proble Quelquessimulations 4 ℓ 1 3 2 Minimisationdelanorme Modelelin´eaireets´electiondevariables 1 equtiistatsnesesrapssem Discussion

airein ´ eelelMod  anelndio Qu ℓ 1 meor isseuqlenoitalum elecets ´ devationel M sirba sitanimi s Discussion arseessplemProb Exemple:r´egressionnonparame´triqueetd´ecompositiondansune basedeFourier Y j = f ( x j )+ǫ j , j = 1 ,..., n , x j = ℓ j , ou ℓ j ∈{ 1 ,..., p } p pp =β k ∗ e − i2 π ( k − 1 ) x j+ǫ j =β k ∗ X k j +ǫ j , XX k = 1k = 1 avecX k j = e− i2 π ( k − 1 ) x j . Mode  lelin ´ eaire Observations:Y =( Y 1 ,..., Y n ) t tellesque Y = X β ∗ + ǫ , avec ǫ ∼ N ( 0 ,σ 2 I n ), X =[ X 1 ,..., X p ] matricen × pconnue,et β ∗ ∈ R p vecteurde parame  tresa  estimer. qits Casorthogonal:n = petXmatriceorthogonale eusnesitat

M s ni bael taoimisianorndel Quel me ℓ 1 umisseuq D snoital iosscuis mpco ´ e n D Mole  dnileiae ´ teerels ´ tiecdeonriva )tinas(urbsounFerriitosneio Remarque: #{ k ;β k ∗ 6= 0 } estpetit! Levecteur β ∗ estditsparse(creux)danscecas. n = p = 128 equti .50 0 .5-0 1- 1 04 1-5. 0203 0 2- 00.10.20.30.40.50.60.70.80.91010 sesrapsssitatsne 30 20 50 04 2 .51 01 05 70 06 0706 Probleme

is s Dsscu lamuonti sopmoitiD noi oce ´ iondelaninimisat leuqseis roem 1 ℓ uQ ecels ´ etreai ´ ein M selbairavednoitleleoM  d uoirenFnevbcrea()ruit 40 05 06 70 6070 2 15. 1 5.0 0 .5-0 -1 30 20 10 5001 -2 0 00.10.20.30.40.50.60.70.80.910 n = p = 128 Remarque: #{ k ;β k ∗ 6= 0 } estpetit! Levecteur β ∗ estditsparse(creux)danscecas. .5-1 040302 tiisequenesatstapsremsslbePor

obPrpssemelsnesesrastiqtati Soitm =( i 1 ,..., i | m | ) unsous-ensembled'indicesdans1 ,..., p. Modele:supposerque β k = 0pourtoutk ∈/ m. Observations: Y = X m β m + ǫ , avecX =[ X i 1 ,..., i | m | ] et β m ∈ R | m | . Estimationparmoindrescarre´s: Probleme:commentchoisirlemeilleurmodele m ? m Risquedel'estimateur:R ( m )= E k X m ˆ β − X β ∗ k 2 m ideal = arg m ⊂{ m 1 , i . n .., p } R ( m ) noncalculableenpratique! ue m k Y − X m β ˆ k 2 = min k Y − X m β k 2 . β ∈ R | m | ixd'unmod  ele no D s siucssoi C n oh elQuesqumusitila oitalednrona 1 ℓ em ablevari imis s Min ´ sleertenoedceiteld  Moai ´ einel

e  dlenuomxi'd le ´ steerednoitceeld  Moai ´ einel D sno ucsioiss ohC n elQuesqumusitila taoidnlenaroem 1 ℓ variables Minimis mais ˆ R ( m ) n'estpasunbonestimateurde R ( m ) car E R ˆ ( m )≈ R ( m )− 2 σ 2 | m | m Ide´enaive: ˆ R ( m )=k Y − X m β ˆ k 2 m ˆ naif = argminR ˆ ( m ) m ⊂{ 1 ,..., p } esesrapssemelbo m m ˆ= argmin k Y − X m β ˆ k 2 + 2 σ 2 | m | m ⊂{ 1 ,..., p } ˆ β ˆ m = argmin k Y − X β k 2 + 2 σ 2 k β k 0 , p Rβ ∈ Minimisationd'uncriterepe´nalis´e: ou k β k 0 = k p = 1 1 {β k 6= 0 } P ueiqsttitans . rP

ulations Discussi mr ℓ e Q 1 euqleussmi nolae ℓ rm 1 iM no iminitasedno eltcste ´ riee ´ naeleliod  eM onalednoitasiminMi esbliaarevndio euqitsi p ou k β k 1 = k = 1 |β k | et λ≥ 0estunparametredere´gularisation. P Int ´ ere ˆ tdelanorme ℓ 1 : conduitadeschoixdemodelessparsesi.e.denombreuses composantesde β ˆ sontnulles problemedeminimisationconvexequiser´eduitadela programmationline´aire:miseenoeuvrerapide! β ˆ = arg β m ∈ i R n p k Y − X β k 2 + 2 λk β k 1 , Minimisationd'uncrite  repe ´ nalis ´ eparnorme ℓ 1 (crite  reLASSO): Proble  me:minimisationsurl'ensembledes2 p mode  lespossibles: impossibleenpratiquecarproble  meNP-difcilesipesttre  sgrand (ex: n = 100 , p = 1000 )! parsmessstatesenlbePor

pssemelsnesesraiqsttita   y k −λ siy k >λ ˆ β k = 0si | y k |≤λ  y k +λ siy k <−λ ou ( y 1 ,..., y p ) t = X t Y . Casorthogonal:sin = petXorthognalealors ˆ β = arg β m ∈ i R n p k Y − X β k 2 + 2 λk β k 1 , Minimisationd'uncrite  repe ´ nalise ´ parnorme ℓ 1 : est´equivalentafaireduseuillagedouxpourk = 1 ,..., p ue egal Prob Discussi ulations e 1 stueli no oNmr ℓ e deonnolaminitisa euqlmiss ℓ emr euQ 1 lectts ´ eireen ´ ease iM ailbveraoidnilele  doM

anorme ℓ 1 Quelques M s nimisitaoidnle tiecdeonrivaleabnileiae ´ teerle ´ s cienoefFourtsdeueliapsredcsaleg ´ e n D ioss getauibr italumis ucsiD sno rie bolrPpsramesenstaseseiquetist 04030201 -20 00.10.20.30.40.50.60.70.80.910 n = p = 128 Seuillagedouxdescoefcients: λ=σ 2log ( n ) . p 01 70 2 15. 1 0.5 0 -0.5 -1 -1.5 6005 60 07 04 05 02 03 le  doM

Pblromeepasse Seuillagedescoefcients: λ=σ 2log ( n ) . p n = p = 128 02- 00.10.20.30.40.50.60.70.80.9100102030405 5.1- 1 5.0 0 .0-5 -1 .15 2 0670 srsenetstasiituq 07 05 06 30 04 10 20 Mod  elelin ´ eaireee ´ sttceldnoiraveblia Mi es minitisa 1 Que rme ℓ lanoonde oisnlutassmiqleu ruebD ´ onsiusscDi galliuesrapegaticientsdedescoefFeuoirre