Une Evaluation des Procédures de Backtesting Tout va pour le Mieux dans le Meilleur des Mondes

De
Publié par

Niveau: Supérieur, Doctorat, Bac+8
Une Evaluation des Procédures de Backtesting Tout va pour le Mieux dans le Meilleur des Mondes Christophe Hurlin and Sessi Tokpavi y Juin 2007 Abstract Dans cet article, nous proposons une démarche originale visant à évaluer la capacité des tests usuels de backtesting à discriminer di?érentes prévi- sions de Value at Risk (VaR) ne fournissant pas la même évaluation ex-ante du risque. Nos résultats montrent que, pour un même actif, ces tests con- duisent très souvent à ne pas rejeter la validité, au sens de la couverture conditionnelle, de la plupart des six prévisions de VaR étudiées, même si ces dernières sont sensiblement di?érentes. Autrement dit, toute prévision de VaR a de fortes chances d?être validée par ce type de procédure. Abstract This paper proposes an evaluation of backtests that examine the accu- racy of Value-at-Risk (VaR) forecasts. It is well known that VaR backtest- ing procedures outlined by the Basel Committee for Banking Supervision have limited power to control the probability of accepting an incorrect VaR forecast. In this study, we propose an original approach based on the replication of these tests on six di?erent VaR forecasts (parametric or non parametric) for a given asset. We show that backtests generally lead to not reject the accuracy of all (or most of) these di?erent forecasts. In other words, most of VaR forecasts are likely to be considered as valid.

  • associé

  • ex-post de la variable d?intérêt

  • sens de la couverture conditionnelle

  • prévision

  • ex ante

  • procédures usuelles de backtesting


Publié le : vendredi 1 juin 2007
Lecture(s) : 35
Source : univ-orleans.fr
Nombre de pages : 35
Voir plus Voir moins
UneEvaluationdesProcéduresdeBacktesting"ToutvapourleMieuxdansleMeilleurdesMondes"ChristopheHurlinandSessiTokpaviyJuin2007AbstractDanscetarticle,nousproposonsunedémarcheoriginalevisantàévaluerlacapacitédestestsusuelsdebacktestingàdiscriminerdi¤érentesprévi-sionsdeValueatRisk(VaR)nefournissantpaslamêmeévaluationex-antedurisque.Nosrésultatsmontrentque,pourunmêmeactif,cestestscon-duisenttrèssouventànepasrejeterlavalidité,ausensdelacouvertureconditionnelle,delaplupartdessixprévisionsdeVaRétudiées,mêmesicesdernièressontsensiblementdi¤érentes.Autrementdit,touteprévisiondeVaRadeforteschancesd’êtrevalidéeparcetypedeprocédure.AbstractThispaperproposesanevaluationofbackteststhatexaminetheaccu-racyofValue-at-Risk(VaR)forecasts.ItiswellknownthatVaRbacktest-ingproceduresoutlinedbytheBaselCommitteeforBankingSupervisionhavelimitedpowertocontroltheprobabilityofacceptinganincorrectVaRforecast.Inthisstudy,weproposeanoriginalapproachbasedonthereplicationofthesetestsonsixdi¤erentVaRforecasts(parametricornonparametric)foragivenasset.Weshowthatbacktestsgenerallyleadtonotrejecttheaccuracyofall(ormostof)thesedi¤erentforecasts.Inotherwords,mostofVaRforecastsarelikelytobeconsideredasvalid.Mots-Clés:Value-at-Risk;BacktestingJ.E.LClassi…cation:C22,C52,G28LEO,Universitéd’Orléans.RuedeBlois.BP6739.45067OrléansCedex2.France.e-mailaddress:christophe.hurlin@univ-orleans.fr.yLEO,Universitéd’Orléans.RuedeBlois.BP6739.45067OrléansCedex2.France.e-mailaddress:sessi.tokpavi@univ-orleans.fr.1
1Introduction"Toutvapourlemieuxdanslemeilleurdesmondes"estlaphrasequiclôtCandideaprèsqueleprotagonisteetsonmaîtreàpenserPanglossaientpourtantconnutouteslesvicissitudesdelanaturehumaine.TellepourraitêtreaussilaconclusiondenotreévaluationsystématiquedesprocéduresdebacktestingdelaValue-at-Risk(VaR).Notreétudemontreene¤etquepourunmêmeactif,plusieursprévisionsdi¤érentesdelaVaRetdoncdurisquedeportefeuille,ontdetrèsforteschancesd’êtreconsidéréesconjointementcommevalidesàl’issuedesprocéduresusuellesdebacktesting,dansunesorted’optimismequenerenieraitpasLeibniz.Plusprécisément,nousproposonsdanscetarticleunedémarcheoriginalevisantàévaluerlacapacitédestestsstandardsdebacktestingàdiscriminerdif-férentesprévisionsdeVaRnefournissantpaslamêmeévaluationex-antedurisquedeportefeuille.UneprévisiondeVaRestditevalidesilaséquencedesviolations1associéessatisfaitleshypothèsesdecouverturenonconditionnelleetd’indépendance(Christo¤ersen,1998).Plusieursapprochessontaujourd’huipro-poséesdanslalittérature(voirCampbell,2007,pourunsurvey)pourtestercesdeuxhypothèsesdefaçonséparéeoudefaçonjointe(hypothèsedecouverturecon-ditionnelle).Ladémarchehabituelled’évaluationdecesprocéduresdebacktest-ingconsisteàmesurerleurtailleetleurpuissanceempiriquessurdeséchantillonssimulés2dedi¤érentesdimensions(Berkowitz,2001;Christo¤ersenetPelletier,1Ondé…nitlaviolationcommeunevariabledichotomiqueprenantlavaleurunlorsquelerendementdel’actifobservéex-postinférieuràlaVaRpréditeex-anteetzérodanslecascontraire.2Danslecadreparexempled’uneétudedelapuissance,cetyped’exerciceconsisteàsedon-nerunprocessusgénérateurdedonnéespourladistributionconditionnelledesrentabilités(un2
2004;Berkowitz,Christo¤ersenetPelletier,2005;etc.).Laméthoded’évaluationdesprocéduresdebacktestingquenousavonsretenueiciestsensiblementdi¤érente.Nousproposonsdevéri…ersi,lorsquel’ondisposedeplusieursprévisionsdi¤érentesdelaVaRpourunmêmeportefeuille,cestestspermettentdedistinguerunsousensembledeprévisionsvalides(respectivementnonvalides).Ene¤et,ilexisteaujourd’huiunetrèsgrandevariétédeméthodesparamétriquesounonparamétriquesdecalculdelaVaR(voirDownd,2005pourunesynthèse).Or,ilestreconnuquecesméthodesfournissentgénéralementpourunmêmeportefeuilledesmesuressigni…cativementdi¤érentesdelaVaRetdoncdurisque(Beder,1995).Dèslors,laquestionseposedesavoirsilesprocéduresdebacktestingusuellespermettentdediscriminercesdi¤érentesprévisions.Ilnes’agitpasicid’évaluerlacapacitédecestestsàrejeterl’hypothèsedecou-vertureconditionnelle,puisquesurdonnéesréellesla«vraie»mesuredeVaRestaprioriinconnue.Ils’agituniquementdevéri…eràpartird’ungrandnombred’expériences,siparmiNprévisionsdi¤érentesdeVaRissuesdeNméthodesdecalculalternatives,lestestspermettente¤ectivementderejeterlavaliditéd’aumoinsquelquesunesdecesprévisions.Pourcetteétude,nousconsidéronstroistestsquisontparmilesplusutilisésetlesplussouventcitésdanslalittératureconsacréeaubacktesting:lestestsderatiodevraisemblancedeChristo¤ersen(1998),lestestsdequantilesdynamiques(DynamicQuantil,DQ)d’EngleetManganelli(2004)etlestestsdeduréedeprocessusGARCHparexemple)etàreteniruneméthodedecalculdelaVaR(méthodehybride,méthodehistorique,etc.)quinepermetpasdanscecasdemodélisercorrectementlesfractilesdeladistributionconditionnelle.ApartirdesimulationsdeMonteCarloduprocessusdesrentabilités,enrépliquantlaméthodedecalculdeVaR,oncherchealorsàévaluerlafréquencederejetsdel’hypothèsedecouvertureconditionnellepourdi¤érentestaillesd’échantillons.3
Christo¤ersenetPelletier(2004).CestroistestsetleursdéclinaisonsserontsystématiquementappliquéspourdiscriminerparmisixmesuresdeVaRincluanttroismesuresparamétriques(méthodeDeltaNormale,modèleGARCHetmodèleRiskMetrics),deuxmesuresnonparamétriques(méthodehybrideetméthodedesimulationhistorique)etunemesuresemi-paramétrique(modèleCAViaR).A…nd’évaluerlarobustessedenosrésultatscesexpériencessontréaliséessurlesrendementsassociésàtroistypesd’actifs:l’indiceNasdaq,letitreGeneralMotorsetletauxdechangeMark-DollarUS.Leplandurestedel’articleestlesuivant.Dansunepremièresection,nousdé…nissonslesprincipalesnotionsdevaliditédelaVaR(couverturenoncondi-tionnelle,indépendanceetcouvertureconditionnelle)etnousprésentonslesprin-cipauxtestsdebacktestingassociés.Dansunesecondesection,nousdécrivonsendétailnotredémarched’évaluationeninsistantenparticuliersurlesméthodesdecalculdelaVaR.En…n,dansunetroisièmesectionnousprésentonslesrésultats.2LesPrincipauxTestsdeValidationdelaVaRTraditionnellement,laqualitédelaprévisiond’unegrandeuréconomiqueestévaluéeencomparantsaréalisationex-postàlavaleurpréditeex-ante.Lecalculdeserreursdeprévisionpermetalorsdeconstruiredescritèresd’évaluationdesqualitésprédictivesdesdi¤érentsmodèles,commeparexemplelecritèredelaRootMeanSquareForecastError(RMSFE)ouceluidelaMeanAbsoluteError(MAE).L’observationdeceserreursrendenoutrepossiblelaconstructiond’untestdel’hypothèsenulleselonlaquelledeuxmodèlesconcurrentsprésententlesmêmesqualitésprédictives(mesuréesentermesdeRMSFEoudetoutautre4
critère)dansuneapprocheàlaDieboldetMariano(1995).Naturellement,cesprocéduresdecomparaisondemodèlesnesontapplicablesquesilaréalisationex-postdelavariabled’intérêtestobservable.Danslecascontraire,l’exerciced’évaluationnécessitealorsd’utiliserunevariableproxydelavariabled’intérêtlatente.Unexempleassezconnuestceluidel’évaluationdesmodèlesdevolatilité,oùlavolatilitéjournalièreex-postpeutêtreapproximéedefaçonsatisfaisanteparlavolatilitéréalisée,dé…niecommelasommedescarrésdesrentabilitésintra-day(Andersonetal.,2003).Toutefois,danslecadredelaproblématiqueVaR,laconstructiond’unetellevariableproxys’avèrerelativementdélicate.C’estpourquoilescritèresd’évaluationdesprévisionsdelaVaRsontgénéralementfondéssurdestestsstatistiques(etnondesimplescritères)desdeuxprincipaleshypothèsesquelemodèledemesuredurisquedoitsatisfaire:l’hypothèsedecouverturenonconditionnelleetl’hypothèsed’indépendancedesviolations.OnnoteVaRtjt1( )laprévisiondeVaRparunitémonétairepourlapériodetétablieconditionnellementàl’ensembled’information t1disponibleàladatet1etpouruntauxdecouverturede %:Pardé…nition,cettequantitécorrespondaufractiled’ordre deladistributionconditionnelledesrendementsrtdel’actifouduportefeuilled’actifsconsidéré:Prrt<VaRtjt1( )= (1)UneviolationdelaVaR(ouhit)apparaîtlorsquelarentabilitéobservéeex-post,rt;estinférieureàlavaleurprévueex-antedelaVaR.OnnoteIt( )lavariableindicatriceassociéeàuneéventuelleviolationdelaVaRàladatetpour5
untauxdecouverturede %:(It( )=1sirt<VaRtjt1( )(2)0sinonChristo¤ersen(1998)montrequeleproblèmedelavaliditédelaprévisiondeTVaRpeutseramenerauproblèmedesavoirsilaséquencedesviolationsfIt( )gt=1satisfaitounonlesdeuxhypothèsessuivantes:L’hypothèsedecouverturenonconditionnelle:laprobabilitéqueseréaliseex-postuneperteenexcèsparrapportàlaVaRanticipéeex-antedoitprécisémentêtreégaleautauxdecouverture :E[It( )]=Pr[It( )=1]= (3)L’hypothèsed’indépendance:lesviolationsdelaVaRpourunmêmetauxdecouvertureàdeuxdatesdi¤érentesdoiventêtreindépendammentdis-tribuées.Formellement,lavariableIt( )associéeàlaviolationàladatetdelaVaRpouruntauxdecouvertureà %,estindépendantedelavariableItk( )pourtoutevaleurdekdi¤érentede0.Autrementdit,l’observationdesviolationspasséesdelaVaRn’apporteaucuneinformationsurlesviolationscontemporainesetfutures.Cettepropriétéestenoutreval-ablepourn’importequellevariableappartenantàl’ensembled’informationdisponiblesàladatet1.Lapremièrehypothèseesttoutàfaitintuitive:silaprévisiondeVaRestvalide,lafréquencedesviolationsobservéessurunepériodeToùcetteVaRestretenuecommemesuredurisqueextrême;i.e.(1=T)tT=1It( ),nedoitPpasêtresigni…cativementdi¤érentedutauxdecouverturenominale .Dansle6
cascontraire,silafréquencedesviolationsestsigni…cativementinférieure(resp.supérieure)autauxdecouverturenominal ;celatraduitunesurestimation(resp.sous-évaluation)delaVaRetdoncdurisque.Lestestsdevaliditédecettepropriétédecouverturenonconditionnelle,initialementdéveloppésparKupiec(1995),constituentaujourd’huilecoeurdesprincipalesprocéduresd’évaluationdesmodèlesdeVaR,préconiséesnotammentauniveauréglementaire.Toutefois,silacouverturenonconditionnellepermetdes’assurerquelapro-portiondeviolationspourunepériodedonnéegarantitlacouverturenominale,ellenedonneaucuneinformationsurl’indépendancetemporelledesviolations.Or,lapropriétéd’indépendancedesviolationsestunepropriétéessentiellepuisquetoutemesurederisquedoits’ajustersansretardàtoutenouvelleinformationentraînantuneévolutiondansladynamiquedelarentabilitédel’actif.Unemod-élisationquineprendpasencomptecetaspect,risqued’engendrerdesclustersdeviolationssuccessives.Aussi,aucuneformededépendancenedoitelleexisterdanslaséquencedesviolationsetcelaquelsquesoientlestauxdecouvertureconsidérés.IlconvientdenoterquecesdeuxpropriétésdelaVaRsontindépendantesl’unedel’autre.Dèslors,siuneprévisiondeVaRnesatisfaitpasàl’uneoul’autredecesdeuxhypothèses,elledoitêtreconsidéréecommenonvalide.Al’inverse,onquali…edecouvertureconditionnellelasituationquiprévautlorsquelaprévisiondeVaRsatisfaitlesdeuxhypothèses.Danslecadredesprocéduresdebacktesting,denombreuxtestsontétéproposésdanslalittératurepourtesterl’uneoul’autredespropriétésdecouverturenonconditionnelleetd’indépendance,oudirectementlapropriétédecouvertureconditionnelle.Danscecontexte,la7
di¢cultémajeureconsisteàspéci…erlaformedeladépendancedesprocessusIt( )sousl’hypothèsealternative.Auxdi¤érentesspéci…cationsproposéessontassociésdi¤érentstestsparmilesquelsnousneretiendronsiciquetroisapprochesquiconstituentaujourd’huilesréférencesdelalittérature:letestLRdeChristof-fersen(1998),letestDQd’EngleetManganelli(2004)etletestdemodèlededuréedeChristo¤ersenetPelletier(2004).2.1TestLRdeChristo¤ersen(1998)Christo¤ersen(1998)proposeuntestdanslequelonsupposeque,sousl’hypothèsealternativedenone¢ciencedelaVaR,leprocessusdesviolationsIt( )estmod-éliséparunechaînedeMarkovadmettantpourmatricedesprobabilitésdetran-sitionlamatricesuivante:4()=00011011ij=Pr[It( )=jjIt1( )=i].Defaçongénérale,cettechaînedeMarkovpermetdemodéliseruneéventuelledépendancetemporelledanslaséquenceIt( ):Ainsi,laprobabilitéd’observeruneviolation(resp.denepasenobserver)pourlapériodecourantepeutêtreliée(ounon)àl’occurrenced’uneviolation(pourunmêmeniveaudecouverture )àlapériodeprécédente.L’hypothèsenulled’e¢cienceconditionnelleestalorsdé…nieparl’égalité:1 H0:= =1 (5)L’acceptationdel’hypothèsenulleentraînelerespectdel’hypothèsedecou-verturenonconditionnelle.Quelquesoitl’étatdusystèmeent1,laprobabilitéd’observeràladatetuneviolationestégaleautauxdecouvertureconditionnelle,8
i:e:t=Pr[It( )=1]= .Deplus,laprobabilitéd’observeruneviolationàladatetestindépendantedel’étatent1:Unesimplestatistiquederapportdevraisemblance,notéeLRCC;permetalorsdetesterl’hypothèsenulled’e¢cienceconditionnelle.SousH0,onmontreque:oihnT1!LRCC=2lnL[ ;I1( );::;IT( )]lnLb;I1( );::;IT( )L!2(2)bdésignel’estimateurdumaximumdevraisemblancedelamatricedetran-sitionsousl’hypothèsealternativeetoùlnL[;I1( );::;IT( )]désignelalog-vraisemblancedesviolationsIt( )associéesàunematricedetransition.Pardé…nition:L[;I1( );::;IT( )]=(101)n000n101(111)n101n111(6)nijdésignelenombredefoisoùl’onobserveIt( )=jsachantIt1( )=i:Danscetteperspective,ilestenoutrepossiblededistinguersuivantquel’ine¢cienceestdûeaunonrespectdel’hypothèsed’indépendanceet/ouaunonrespectdel’hypothèsedecouverturenonconditionnelle.Ainsi,Christo¤ersenproposedeuxautresstatistiquesderapportdevraisemblance,notéeLRUCetLRIND,associéesàchacunedecesdeuxsoushypothèses.Ainsi,sousl’hypothèsenulled’indépendance,lamatricedetransitionestdé…niepar:1H0:==1(7)oùlaprobabilitén’estpasnécessairementégaleautauxdecouverturenonconditionnelle :Dèslors,lastatistiqueLRINDassociéeàlaseulehypothèsenulled’indépendancedesviolationsestdé…niepar:LnhihioT1!LRIND=2lnLb;I1( );::;IT( )lnLb;I1( );::;IT( )�!2(1)9
dséosuisngleh’lye’psottmièhasteuedrni’dduémpeanxdminaucm.eedrviaesbmalcneedalamrtcieedrtna-ùobsitionCestestssonttrèsfacilesàmettreenoeuvre,maisilapparaissenttoutefoisassezréducteurspourdeuxraisonsessentielles.Toutd’abord,l’indépendanceesttestéecontreuneformetrèsparticulièrequineprendpasencomptenotammentdesdépendancesd’ordresupérieuràun.Deplus,l’utilisationd’unechaînedeMarkovnepermetpasdemesurerlerôled’autresvariablesquelaseuleséquencedesviolationspasséesIt( )dansunepossibledépendancedesviolations.LetestrécemmentproposéparEngleetManganelli(2004)permetdelevercesdeuxinconvénients.2.2TestDQdeEngleetManganelli(2004)8()EngleetManganelli(2004)proposentd’utiliserunmodèlederégressionlinéaireliantlesviolationscourantesauxviolationspasséesa…ndetesterl’hypothèsed’e¢cienceconditionnelle.SoitHit( )=It( ) ;leprocessusdeviolationscentrésur associéàIt( ):1 sirt<VaRtjt1( )(Hitt( )= sinonConsidéronslemodèlederégressionlinéairesuivant:KHitt( )=+ kHittk( )(9)X1=kK+ kg[Hittk( );Hittk1( );:::;ztk;ztk1;:::]+"tX1=k"testunprocessusi:i:d:etoùg(:)désigneunefonctiondesviolationspasséesetdevariablesztkappartenantàl’ensembled’informationdisponible t1.Onpeuticiconsidérerparexemplelesrentabilitéspassésrtk,lecarrédesrentabilités01
passéesrt2k,lesvaleurspasséesdelaVaR,VaRtkjtk1( )ouencoredesdonnéesdevolatilitésimplicites.Mais,quellequesoitlaspéci…cationretenue,letestdel’hypothèsenulled’e¢cienceconditionnelleseramèneàtesterlanullitéjointedescoe¢cients ket ketdelaconstante:H0:= k= k=0;8k=1;::;K(10)LesviolationscourantesdelaVaRsontnoncorréléesauxviolationspasséesdèslorsque k= k=0(implicationdel’hypothèsed’indépendance),tandisquel’hypothèsedecouverturenonconditionnelleestsatisfaitedèslorsquelaconstanteestnulle.Ene¤et,sousl’hypothèsenulle,E[Hitt( )]=E("t)=0;cequiimpliquepardé…nitionquePr[It( )=1]=E[It( )]= :Letestdenullitéjointedetouslescoe¢cientscorresponddoncàuntestd’e¢cienceconditionnelle.UnestatistiqueLRouunestatistiquedeWaldpeuventfacilementêtremisesenoeuvrepourtesterlanullitésimultanéedecescoe¢cients.Ainsi,sil’onnote0 =( 1:: K 1:: K)levecteurdes2K+1paramètresdecemodèleetZlamatricedesvariablesexplicativesdumodèle(9),lastatistiquedeWald,notéeDQCC,associéeautestdel’hypothèsed’e¢cienceconditionnelle3véri…ealors: b0Z0Z bL2DQCC= (1 )T!!1(2K+1)(11)DelamêmefaçonquepourletestdeChristo¤ersen,onpeutbienévidemmentdécomposercetestennetestantparexemplequel’hypothèsed’indépendancedesviolations.OnpeutainsiconstruireunestatistiqueDQINDassociéeautestdel’hypothèsed’indépendanceH0: k= k=0quivéri…e:1b 0R0R(Z0Z)1R0R bL2DQIND= (1 )T!!1(2K)(12)3Sousl’hypothèsenulle,lerésidu"tcorrespondauprocessusdeviolationHitt( )quisuituneloideBernouillideparamètre devariance (1 ):11
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.