pdf ML-cours

Description

URCA Hugo Harari-Kermadec2008-2009 [e-mail] 1 : Modele lineaireI Outils d’algebre lineaireI.1 ProjectionsSoitX une matrice an lignes etp colonnes avecpn. On note classiquementX2M (R).R est sous-entendunpdans la suite.Proposition I.1 (Projection) Si X est de rang p alors1. la projection sur Vect(X) a pour matrice0 1 0P =X(X X) XXappartient aM ,nn2. la projection sur l’orthogonal de Vect(X) est0 1 0P ? =I P =I X(X X) X ;X n X n3. le rang de P est egal a la dimension de Vect(X) et est donne par la trace de P ,X X4. P est une matrice de projection doncX2 0P =P P =PX XX XI.2 Derivation matricielleSoit A2M et X2M alorsnp p1@ 0AX =A:@XSi A est symetrique (et donc n =p),@ 0X AX = 2AX:@XII Modele et estimationLe modele lineaire pour explique Y a l’aide de K variables explicatives et d’une constante s’ecrit pour uneobservation i :KXY = + x +" ;i K+1 k i;k ik=1c’est- a-direY =X +" ;i i i0 K+1avec X = (x ;:::;x ; 1)2M et = ( ;:::; ; ) 2R .i i;1 i;K 1;K+1 1 K K+1On a alors pour n observations :Y =X +E;0 n 0 n 0avec Y = (Y ;:::;Y ) 2R ,E = (" ;:::;" ) 2R et X = (X ;:::;X ) 2M .1 n 1 n 1 n n;K+11II.1 EstimationOn va utiliser les hypotheses suivantes :H : les colonnes de X sont lineairement independantes,1nH :E[EjX] = 02R .22H : Var(E) = I .3 nDe nition II.1 (Estimateur des moindres carres) L’estimateur des moindres carres est de ni par2^ = arginf jjY Xjj :K+12RProposition ...

Informations

• Publié par: Methong
• Nombre de lectures: 40
• Langue: Français

Extrait

URCA 2008-2009

´ Econom´etrie1:Mod`eleline´aire

Hugo Harari-Kermadec

[e-mail]

IOutilsd’alg`ebreline´aire I.1 Projections SoitXuenamrtice`anlignes etpcolonnes avecp≤n. On note classiquementX∈ M np (R).Rest sous-entendu dans la suite. Proposition I.1 (Projection)SiXest de rangpalors 1. laprojection sur Vect(X) a pour matrice 0 −10 P X =X(X X)X appartient`aM nn , 2. laprojection sur l’orthogonal de Vect(X) est 0 −10 P X =I n −P X =I n −X(X X)X , ⊥ 3. lerang deP X Vect(ensionde`lladamietse´agX)edeceratalrape´nnodtsetP X , 4.P X est une matrice de projection donc 20 P=P X P=P X X X I.2D´erivationmatricielle SoitA∈ M np etX∈ M p1 alors ∂ 0 AX=A . ∂X SiAestsym´etrique(edtnocn=p), ∂ 0 X AX= 2AX. ∂X IIMod`eleetestimation Lemode`leline´airepourexpliqueYl’ai`aededKxeselbairavund’etesivaticplet’se´rccenotsnaeitpourun observationi: K X Y i =θ K+1 +θ k x i,k +ε i , k=1 c’est-a`-dire Y i =X i θ+ε i , 0K+1 avecX i = (x i,1 , . . . , x i,K ,1)∈ M 1,K+1 etθ= (θ 1 , . . . , θ K , θ K+1 )∈R. On a alors pournobservations : Y=Xθ+E, 0n0n0 avecY= (Y 1 , . . . , Y n )∈R,E= (ε 1 , . . . , ε n )∈RetX= (X 1 , . . . , X n )∈ M n,K+1 .

1

II.1 Estimation Onvautiliserleshypothe`sessuivantes: H 1 : les colonnes deXse,peneadtneriae´ni´dnitnemtlons n H 2 :E[E |X] = 0∈R. 2 H 3 : Var(E) =σ I n . De´finitionII.1(Estimateurdesmoindrescarr´es)ateustimL’erpaniefid´stse´erracserdniomsedr ˆ 2 θ=arginf K+1 ||Y−Xθ||. θ∈R Proposition II.1Sousl’hypto`hseeH 1 quninueuatimsteeomsedrueacserdnis:rr´eielixts 0 −10 ˆ θ= (X X)X Y 20 Preuve II.1On poseL(θ) =||Y−Xθ||= (Y−Xθ) (Y−Xθ)ledae´irotannnluev´ee: ∂ ˆ 0 L(θ)| ˆ =−2X(Y−Xθ) = 0 θ ∂θ ˆ 0 0 2X Y= 2X Xθ ˆ 0 −10 (X X)X Y=θ b ˆ b b De´finitionII.2(Pr´edictionsassoci´ees)On poseY=XθetE=Y−Y. Proposition II.2SousH 1 , b 1.Y=P X Y, b 0 2.XE= 0, P 1 3.εˆ i = 0, n i 0 b b 4.YE= 0 ˆ Proposition II.3SousH 1 etH 2 ,θest sans biais : ˆ E[θ] =θ 0 , o`uθ 0 sreetm`rapaedruetcevudruelaaievlavrestθ. SousH 1 ,H 2 etH 3 , 0 b b E E c 2 σ= n−K−1 2 est un estimateur sans biais deσ, ˆ Th´eor`emeII.1(Gauss-Markov)SousH 1 ,H 2 etH 3 ,θtl’eesateustime´ialrnisniberassoaiimptdealθ. 20 −1 ˆ Sa variance vaut Var(θ) =σ(X X).

IIITestsd’utilite´desre´gresseurs Danscettesection,onfaitl’hypothe`sesuivante: 2 H G : La loi deEsachantXnaecse,eedaviren,c´etrortnlemaσ I n : 2 E |X∼ N(0I, σ n ). Cettehypoth`eseentraineH 2 etH 3 . Proposition III.1SousH 1 etH G , 20 −1 ˆ 1.θ∼ N(θ 0 , σ(X X) ), c 2 ˆ 2.σetθ´dpetnnioss,ntdaen n−K−1 2 c 2 3.σ∼χ, n−K−1 2 σ 4.Pourchaquecoordonn´eek∈[|1, K+ 1|], q ˆ θ k −θ k c 20 −1 ∼ T(n−K−1),o`uˆσ k =σ(X X). kk σˆ k

2

Onpeutalorstesterlapertinenced’unevariableexplicative:sil’hypoth`ese“θ k esc’uetqla”0=rtseteje,ee´ ke.-emi`veraailbeetstuli PropositionIII.2(Testdenullite´d’uncoefficient)SousH 1 etH G , le test de “θ k = 0” contre “θ k 6= 0” de niveauαa pour zone critique : n o α ˆ W n =|θ k | ≥ˆσ k q n−K−1 (1−) 2 α α o`uq n−K−1 (1−) =est le quantile de niveau1−diolutSedenu’ntde`an−K−1.tre´ilebseeddr´eg 2 2 Remarque III.1 (p-value)ate´rpretni’Leeluvap-ladeontiartpisfounsttr`esimportantdenacscenoettxee peud´eroutante.Onrappellequelap-valueestl’erreurdepremie`reesp`ecelimite. Silap-valuedutestestparexemplede37%,caveutdirequ’avecuneerreurdepremi`ereespe`cemeˆmegrande (jusqu’a`37%donc),onacceptel’hypoth`esenulle.Donconestvraimenttr`esconvaincuquelecoefficientsoit nul,c’est-a`-direquelavariablen’aitpasd’effet(line´aire)surY. Silap-valuevaut10%,onacceptedonca`90%(etafortiori`a95%)quelecoefficientsoitnul,c’estlecasou` l’interpr´etationestunpeuambivalente.Enfinsilap-valueesttr`espetite(disonsinf´erieurea`1%)alorsonest pratiquementsuˆrqu’ilfautrejeterl’hypoth`esenulle:lavariableestutilepourexpliquer(line´airement)Y.

IVPre´visions De´finitionIV.1(Pr´evisions)Pour une nouvelle valeur du vecteur des variables explicativesX n+1 ,norpe´dit b ˆ Y=X n+1 θ. b Proposition IV.1SousH 1 etH G ,Yest un estimateur sans biais deY n+1 et   20 −10 b Y∼ NX n+1 θ 0 X, σ n+1 (X X)X . n+1

V Analysede la variance P P n n n2 1 2 n poseZ=Z i (Z() =Z Pour un vecteurZ∈R, o n i=1 etS n i =1 i −Z) . The´ore`meV.1(De´compositiondelavariance)SousH 1 , 2 22 b b S(Y) =S(Y) +S(E) n nn ⊥ b b Preuve V.1naOesr`apd’,1itionII.laproposY=P X Y+P X Y=Y+Eocernnolredae`incos,elmm.Dluepe deXs´eeompoestced,1Y= (1, . . . ,1)∙YtecaVt`entiarppa(X). DoncY−Y´mdoecseesopalnemmose b b orthogonale deY−YetEO.anppiluqeensuiteleth´eoryPedeme`:erogaht 2 22 b b ||Y−Y||=||Y−Y||+||E ||. On note ces sommes respectivement SCT:SommedesCarre´sTotale SCE:Sommedescarr´esExpliqu´ee SCR:SommedesCarr´esdesRe´sidus. On a donc

SCT=SCE+SCR

. 2 D´efinitionV.1(Qualite´del’ajustement)Ondital´efinelsroRsuetemtn:italqulaajl’de´eqerusemiu c 2 SCE SCR(n−K−1)σ 2 R= =1−= 1− SCT SCTSCT 2 2 Il est trivial que leR`a[0ientpaaprt,1]. Plus leRest proche de 1, plus l’ajustement est bon. S’il vaut 1, c’est b ˆ que toutes les valeursY i rapse´rpetidteaintmentsorfpaY i =X i θ. 2 2 Ilfautne´anmoinsbiensegarderd’interpre´tertrophˆativementleR: unRde 0.an3tueptrˆer`etboesions peu de variables explicatives et queYrivadeangrneauraptemreplI.ecnaarercompredecontleseom`dedxu a`conditionsqu’ilsaientlemeˆmenombredevariablesexplicatives.Silenombredevariablesexplicative(K) 2 change, il faut introduire leRt´use.aj

3