Regression Multi taches et Penalite Minimale Memoire de Mastere

De
Publié par

Niveau: Supérieur, Master, Bac+5
Regression Multi-taches et Penalite Minimale Memoire de Mastere 2 Matthieu Solnon Ecole Normale Superieure Universite d'Orsay - Paris XI Memoire encadre par Sylvain Arlot et Francis Bach Mercredi 15 septembre 2010 Table des matieres 1 Introduction 2 2 Resultats existants 2 2.1 Definition du probleme de la regression univariee . . . . . . . . . 2 2.2 Espace de Hilbert a Noyau Auto-Reproduisant . . . . . . . . . . 3 2.3 Regression Ridge . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3.1 Calibration du parametre de regularisation . . . . . . . . 5 2.3.2 Estimation de la variance : penalite minimale . . . . . . . 6 2.3.3 Calcul effectif des ??0(C)C≥0 . . . . . . . . . . . . . . . . . 8 2.4 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 Regression multi-taches 10 3.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2 Probleme . . . . . .

  • espace de hilbert

  • ff ?

  • regression multi-taches

  • noyau auto-reproduisant

  • estimation sans biais du risque


Publié le : mercredi 1 septembre 2010
Lecture(s) : 29
Source : di.ens.fr
Nombre de pages : 37
Voir plus Voir moins
R´egressionMulti-tˆachesetPe´nalit´eMinimale MemoiredeMast`ere2 ´ Matthieu Solnon ´ EcoleNormaleSupe´rieure Universit´edOrsay-ParisXI M´emoireencadre´parSylvainArlotetFrancisBach Mercredi 15 septembre 2010
Tabledesmati`eres 1 Introduction 2 2Re´sultatsexistants2 2.1De´nitionduprobl`emedelare´gressionunivari´ee.........2 2.2EspacedeHilbert`aNoyauAuto-Reproduisant..........3 2.3Re´gressionRidge...........................4 2.3.1Calibrationduparam`etreder´egularisation........5 2.3.2 Estimation de la vab.....l6e..nima´emilati´pnecn:erai 2.3.3 Calcul effectif desλ0(C)C0 8. . . . . . . . . . . . . . . . . 2.4 Simulations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3Re´gressionmulti-taˆches10 3.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2Probl`eme...............................10 4D´enitiondelestimateur12 5Estimationdelamatricedecovariancemulti-taˆchesΣ17 6In´egalite´Oracle24 7 Outils de Concentration de la Mesure 28 8 Conclusion 31 A Preuve du Th´ ` e 2 31 eorem B Preuve de la Proposition 4 35 R´efe´rences37
1
1 Introduction Cem´emoiredeMaste`re2proposeuneanalyseth´eoriqueduprobl`emedela r´egressionmulti-taˆches. Lecasdelar´egressionunivari´ee,quelonpourraitappeler«eomno-tˆach», est bien connu. Il faut, en observant des couples de points (Xi Yi), estimer une certaine fonctionf, typiquementf(Xi) =E[Yi|Xide],nimaee`era`iminimeslr risquequadratique.Onfaitalorssouventlhypothe`sequefvit dans un espace fonctionnelbienparticulier(unespacedeHilbert`anoyauauto-reproduisant), cequipermetlin´eariserleproble`me.Restealors`acalibrerunparame`trede ´egularisation,cequiestfaitdans[5],graˆcea`lutilisationdesconceptde r s p´enalite´sid´ealeetminimale(quelonretrouveaussidans[6]etense´lectionde mode`ledans[1]).Celapermetdaboutira`uneine´galit´edite«oracle», qui com-parelaperformancedelestimateurnalementse´lectionne´a`celledu«meilleur» desestimateurs,bienentendunonobservable.Celaconstitueunepremi`erepar-tiedemonm´emoire,illustr´eeparquelquessimulations. Lebutdecetravailestmaintenantde´tendrecegenredere´sultataucas delar´egressionmulti-tˆaches.Onneconsid`erealorsplusune,maisplusieurs tˆachesder´egressionsurunmeˆmeespace.Celapeutparexempleintervenirdans desproble`mesconcrets:desphotographiesou`lonveutreconnaıˆtreplusieurs objetsdi´erentsouplusieursindividusre´pondant`adesquestions.Onpour-raitalorstraitercesdie´rentestˆachesinde´pendamment,maisonpeutespe´rer gagnerenecacit´eenlesconside´rantsimultane´ment,dufaitdeleurpossible similarit´e.Unpasdanscesensa´ete´eectu´edans[3],o`ulesauteursde´gagent uncritereth´eorique(malheureusementnonobservableenpratique)indiquant ` lescasou`cetteapprocheestplusecace(asymptotiquement)quelapproche «inaetdne´epdn»etlprroenemmuorrpleselifedtteceavare´etapedpremi`er.aL probl`eme,etdetrouverlebonespacepermettantdeleline´ariser(cequiestfait partiellementdans[7]).Danscecadre,descalculsenespe´rancepermettentdex-primer une«laedie´tie´alenp´»q,iueduccellongeprol.e´iomnOnusaravirent alors,ensappuyantfortementsurlecasunivari´e,commentapprochercette pe´nalite´,enestimantla«esˆachti-temulravocnaicirtcedema». On montre fi-nalementquelestimateurutilisantcettepe´nalisation«roch´eeapp»env´erieu ine´galit´eoracle. 2R´esultatsexistants 2.1De´nitionduprobl`emedelare´gressionunivari´ee Cettepartiesappuieessentiellementsurlesr´esultatsd´eveloppe´sdans[6] et [5]. SoitXun ensemble quelconque,Fun sous ensemble deXR. On observe Dn= (Xi Yi)in=1(X ×R)nd´inenepntdatiseedtnqieuemtndssitribu´es,deloi P. On suppose qu’il existef∈ F, (ε1     εn)∼ N(0 σ2In) tels que i∈ {1     n} Yi=f(Xi) +εiDansunemode´lisationa`«design fixe»le but est, sachantXn+1edire,depr´
2
Yn+1o,u`Xn+1esnetsurun´eirttemm´orif{X1     Xn}(Xn+1∼ U({X1     Xn})), etYn+1=f(Xn+1) +εn+1, avecεn+1∼ N(0 σ2to`u)eεn+1tanepdndne´seit deDn. b Laqualite´delapre´dictionfaiteparfleerrueruresee´eerntsdmesmare quadratique : E(Yn+1fb(Xn+1))2|Dndont la version empirique est : 1Xn(Yib2 nf(Xi))i=1
Comme E(Yn+1fb(Xn+1))2|Dn= E(f(Xn+1)fb(Xn+1))2+ε2n+1+ 2εn+1(f(Xn+1)fb(Xn+1))|Dn=E(f(Xn+1)fb(Xn+1))2|Dn+σ2minimiserlerreurquadratiquerevienta`minimiser 1nf(Xi)fb(Xi)2(1) E(f(Xn+1)fb(Xn+1))2Dn=nX i=1 Leprobl`emedepr´edictiondeYn+1avec le risque quadratique est donc ´equivalentauproble`medestimationdef´equationidansl(n)1.ave´dere`tircelce b On choisit un estimateurfλdefcomme un minimiseur dansFde 1nfλk2( ) b b nX(Yifλ(Xi))2+λkF2 i=1 Onpeuticivoirquececrit`ere`aminimiserestcompos´edurisqueempirique etduntermeditder´egularisation(voirlasection2.3). 2.2EspacedeHilbert`aNoyauAuto-Reproduisant Nousintroduisonsiciuncadrepour´etudierlesproble`mesdeminimisation dutypede(2).Lesre´sultatsdecettepartiesontprincipalementtire´sde[2]. SoitXun ensemble quelconque. De´nition1.FeHedacspnEtuesS)KHilbert`aNoyauAut-oeRrpdoiuastnR( surXsi : Fest un sous-espace vectoriel deXR. Fest muni d’un produit scalairehiF, qui en fait un espace de Hilbert. – Pour toutxdeXl’applicationf7→f(x) est continue. LesRKHSontdesproprie´te´stre`sinte´ressantesetnouspermettrontdexpri-mersimplementnosproble`messtatistiques.Envoiciquelques-unes: 3
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.