pdf ML-cours

Publié par

URCA Hugo Harari-Kermadec2008-2009 harari@ecogest.ens-cachan.frEconometrie 1 : Modele lineaireI Outils d’algebre lineaireI.1 ProjectionsSoitX une matrice an lignes etp colonnes avecpn. On note classiquementX2M (R).R est sous-entendunpdans la suite.Proposition I.1 (Projection) Si X est de rang p alors1. la projection sur Vect(X) a pour matrice0 1 0P =X(X X) XXappartient aM ,nn2. la projection sur l’orthogonal de Vect(X) est0 1 0P ? =I P =I X(X X) X ;X n X n3. le rang de P est egal a la dimension de Vect(X) et est donne par la trace de P ,X X4. P est une matrice de projection doncX2 0P =P P =PX XX XI.2 Derivation matricielleSoit A2M et X2M alorsnp p1@ 0AX =A:@XSi A est symetrique (et donc n =p),@ 0X AX = 2AX:@XII Modele et estimationLe modele lineaire pour explique Y a l’aide de K variables explicatives et d’une constante s’ecrit pour uneobservation i :KXY = + x +" ;i K+1 k i;k ik=1c’est- a-direY =X +" ;i i i0 K+1avec X = (x ;:::;x ; 1)2M et = ( ;:::; ; ) 2R .i i;1 i;K 1;K+1 1 K K+1On a alors pour n observations :Y =X +E;0 n 0 n 0avec Y = (Y ;:::;Y ) 2R ,E = (" ;:::;" ) 2R et X = (X ;:::;X ) 2M .1 n 1 n 1 n n;K+11II.1 EstimationOn va utiliser les hypotheses suivantes :H : les colonnes de X sont lineairement independantes,1nH :E[EjX] = 02R .22H : Var(E) = I .3 nDe nition II.1 (Estimateur des moindres carres) L’estimateur des moindres carres est de ni par2^ = arginf jjY Xjj :K+12RProposition ...
Publié le : samedi 24 septembre 2011
Lecture(s) : 40
Nombre de pages : 4
Voir plus Voir moins
URCA 2008-2009
´ Econom´etrie1:Mod`eleline´aire
Hugo Harari-Kermadec
harari@ecogest.ens-cachan.fr
IOutilsdalg`ebreline´aire I.1 Projections SoitXuenamrtice`anlignes etpcolonnes avecpn. On note classiquementX∈ Mnp(R).Rest sous-entendu dans la suite. Proposition I.1 (Projection)SiXest de rangpalors 1. laprojection sur Vect(X) a pour matrice 0 −10 PX=X(X X)X appartient`aMnn, 2. laprojection sur l’orthogonal de Vect(X) est 0 −10 PX=InPX=InX(X X)X , 3. lerang dePXVect(ensionde`lladamietse´agX)edeceratalrape´nnodtsetPX, 4.PXest une matrice de projection donc 20 P=PXP=PX X X I.2D´erivationmatricielle SoitA∈ MnpetX∈ Mp1alors 0 AX=A . ∂X SiAestsym´etrique(edtnocn=p), 0 X AX= 2AX. ∂X IIMod`eleetestimation Lemode`leline´airepourexpliqueYlai`aededKxeselbairavundetesivaticpletse´rccenotsnaeitpourun observationi: K X Yi=θK+1+θkxi,k+εi, k=1 cest-a`-dire Yi=Xiθ+εi, 0K+1 avecXi= (xi,1, . . . , xi,K,1)∈ M1,K+1etθ= (θ1, . . . , θK, θK+1)R. On a alors pournobservations : Y=+E, 0n0n0 avecY= (Y1, . . . , Yn)R,E= (ε1, . . . , εn)RetX= (X1, . . . , Xn)∈ Mn,K+1.
1
II.1 Estimation Onvautiliserleshypothe`sessuivantes: H1: les colonnes deXse,peneadtneriae´ni´dnitnemtlons n H2:E[E |X] = 0R. 2 H3: Var(E) =σ In. De´nitionII.1(Estimateurdesmoindrescarr´es)ateustimLerpanied´stse´erracserdniomsedr ˆ 2 θ=arginfK+1||Y||. θR Proposition II.1Souslhypto`hseeH1quninueuatimsteeomsedrueacserdnis:rr´eielixts 0 −10 ˆ θ= (X X)X Y 20 Preuve II.1On poseL(θ) =||Y||= (Y) (Y)ledae´irotannnluev´ee: ˆ 0 L(θ)|ˆ=2X(Y) = 0 θ ∂θ ˆ 0 0 2X Y= 2X Xθ ˆ 0 −10 (X X)X Y=θ bˆb b De´nitionII.2(Pr´edictionsassoci´ees)On poseY=etE=YY. Proposition II.2SousH1, b 1.Y=PXY, b 0 2.XE= 0, P 1 3.εˆi= 0, n i 0 b b 4.YE= 0 ˆ Proposition II.3SousH1etH2,θest sans biais : ˆ E[θ] =θ0, o`uθ0sreetm`rapaedruetcevudruelaaievlavrestθ. SousH1,H2etH3, 0 b b E E c2 σ= nK1 2 est un estimateur sans biais deσ, ˆ Th´eor`emeII.1(Gauss-Markov)SousH1,H2etH3,θtleesateustime´ialrnisniberassoaiimptdealθ. 20 −1 ˆ Sa variance vaut Var(θ) =σ(X X).
IIITestsdutilite´desre´gresseurs Danscettesection,onfaitlhypothe`sesuivante: 2 HG: La loi deEsachantXnaecse,eedaviren,c´etrortnlemaσ In: 2 E |X∼ N(0I, σn). Cettehypoth`eseentraineH2etH3. Proposition III.1SousH1etHG, 20 −1 ˆ 1.θ∼ N(θ0, σ(X X) ), c2ˆ 2.σetθ´dpetnnioss,ntdaen nK1 2 c2 3.σχ, nK1 2 σ 4.Pourchaquecoordonn´eek[|1, K+ 1|], q ˆ θkθk c20 1 ∼ T(nK1),o`uˆσk=σ(X X). kk σˆk
2
Onpeutalorstesterlapertinencedunevariableexplicative:silhypoth`eseθkescuetqla0=rtseteje,ee´ ke.-emi`veraailbeetstuli PropositionIII.2(Testdenullite´duncoecient)SousH1etHG, le test de “θk= 0” contre “θk6= 0de niveauαa pour zone critique : n o α ˆ Wn=|θk| ≥ˆσkqnK1(1) 2 α α o`uqnK1(1) =est le quantile de niveau1diolutSedenuntde`anK1.tre´ilebseeddr´eg 2 2 Remarque III.1 (p-value)ate´rpretniLeeluvap-ladeontiartpisfounsttr`esimportantdenacscenoettxee peud´eroutante.Onrappellequelap-valueestlerreurdepremie`reesp`ecelimite. Silap-valuedutestestparexemplede37%,caveutdirequavecuneerreurdepremi`ereespe`cemeˆmegrande (jusqua`37%donc),onacceptelhypoth`esenulle.Donconestvraimenttr`esconvaincuquelecoecientsoit nul,cest-a`-direquelavariablenaitpasdeet(line´aire)surY. Silap-valuevaut10%,onacceptedonca`90%(etafortiori`a95%)quelecoecientsoitnul,cestlecasou` linterpr´etationestunpeuambivalente.Ennsilap-valueesttr`espetite(disonsinf´erieurea`1%)alorsonest pratiquementsuˆrquilfautrejeterlhypoth`esenulle:lavariableestutilepourexpliquer(line´airement)Y.
IVPre´visions De´nitionIV.1(Pr´evisions)Pour une nouvelle valeur du vecteur des variables explicativesXn+1,norpe´dit bˆ Y=Xn+1θ. b Proposition IV.1SousH1etHG,Yest un estimateur sans biais deYn+1et   20 −10 b Y∼ NXn+1θ0X, σn+1(X X)X . n+1
V Analysede la variance P P n n n21 2 n poseZ=Zi(Z() =Z Pour un vecteurZR, on i=1etSn i=1iZ) . The´ore`meV.1(De´compositiondelavariance)SousH1, 2 22 b b S(Y) =S(Y) +S(E) n nn b b Preuve V.1naOesr`apd,1itionII.laproposY=PXY+PXY=Y+Eocernnolredae`incos,elmm.Dluepe deXs´eeompoestced,1Y= (1, . . . ,1)YtecaVt`entiarppa(X). DoncYY´mdoecseesopalnemmose b b orthogonale deYYetEO.anppiluqeensuiteleth´eoryPedeme`:erogaht 2 22 b b ||YY||=||YY||+||E ||. On note ces sommes respectivement SCT:SommedesCarre´sTotale SCE:Sommedescarr´esExpliqu´ee SCR:SommedesCarr´esdesRe´sidus. On a donc
SCT=SCE+SCR
. 2 D´enitionV.1(Qualite´delajustement)Ondital´enelsroRsuetemtn:italqulaajlde´eqerusemiu c2 SCE SCR(nK1)σ 2 R= =1= 1SCT SCTSCT 2 2 Il est trivial que leR`a[0ientpaaprt,1]. Plus leRest proche de 1, plus l’ajustement est bon. S’il vaut 1, c’est bˆ que toutes les valeursYirapse´rpetidteaintmentsorfpaYi=Xiθ. 2 2 Ilfautne´anmoinsbiensegarderdinterpre´tertrophˆativementleR: unRde 0.an3tueptrˆer`etboesions peu de variables explicatives et queYrivadeangrneauraptemreplI.ecnaarercompredecontleseom`dedxu a`conditionsquilsaientlemeˆmenombredevariablesexplicatives.Silenombredevariablesexplicative(K) 2 change, il faut introduire leRt´use.aj
3
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.