Benchmarking HOWTO Linux

Description

Benchmarking HOWTO Linux
par Andre D. Balsa, [e-mail]
traduit par Fran cois Laagel, [e-mail] v0.12, 15 Aouˆt 1997 (v.f. : 2
du 28 Novembre 1997)
Le benchmarking HOWTO Linux traite de certains problemes relatifs a l’evaluation de performances de systemes
Linux et presente un ensemble d’outils ainsi qu’un formulaire associe qui permettent de produire des mesures
de performances signi catives en quelques heures. Peut-ˆetre ce document contribuera-t-il a une diminution du
nombre d’articles inutiles dans comp.os.linux.hardware...
Contents
1 Introduction 2
1.1 Pourquoi l’evaluation de performances est-elle si importante ? . . . . . . . . . . . . . . . . . . 2
1.2 Non-criteres en matiere d’evaluation de performances . . . . . . . . . . . . . . . . . . . . . . . 3
2 Procedures d’evaluation de performances et interpretation des resultats 3
2.1 Comprendre les choix en matiere de benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.1.1 Benchmarks synthetiques vs. benchmarks applicatifs . . . . . . . . . . . . . . . . . . . 4
2.1.2 Benchmarks de haut-niveau vs. de bas-niveau . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Benchmarks standard disponibles pour Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Liens et references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 Le Linux Benchmarking Toolkit (LBT) 8
3.1 Motivations . . . . . ...

Sujets

• D'une ombre à l'autre
• Banque d'Estonie
• Processeur asynchrone
• Note du traducteur
• Large Binocular Telescope
• Orbite cristallographique

Informations

• Publié par: Zunik
• Nombre de lectures: 57
• Langue: Français

Extrait

BenchmarkingHOWTOLinux parAndre´D.Balsa,[e-mail] <mailto:[e-mail]> traduitparFranc¸oisLaagel,[e-mail] <mailto:[e-mail]> v0.12,15Aouˆt1997(v.f.:2 du28Novembre1997) LebenchmarkingHOWTOLinuxtraitedecertainsproble`mesrelatifsa`l’e´valuationdeperformancesdesyste`mes Linuxetpre´senteunensembled’outilsainsiqu’unformulaireassocie´quipermettentdeproduiredesmesures deperformancessignificativesenquelquesheures.Peut-eˆtrecedocumentcontribuera-t-ila`unediminutiondu nombred’articlesinutilesdanscomp.os.linux.hardware... Contents 1Introduction2 1.1Pourquoil’e´valuationdeperformancesest-ellesiimportante?..................2 1.2Non-crite`resenmatie`red’e´valuationdeperformances.......................3 2Proce´duresd’e´valuationdeperformancesetinterpre´tationdesre´sultats3 2.1Comprendreleschoixenmatie`redebenchmarks.........................4 2.1.1Benchmarkssynthe´tiquesvs.benchmarksapplicatifs...................4 2.1.2Benchmarksdehaut-niveauvs.debas-niveau.......................5 2.2BenchmarksstandarddisponiblespourLinux...........................6 2.3Liensetre´fe´rences..........................................7 3LeLinuxBenchmarkingToolkit(LBT)8 3.1Motivations..............................................8 3.2Se´lectiondesbenchmarks......................................8 3.3Dure´edestests............................................9 3.4Commentaires.............................................9 3.4.1Compilationdunoyau2.0.0.................................9 3.4.2LasuiteWhetstone......................................9 3.4.3Xbench-0.2..........................................10 3.4.4UnixBenchversion4.01...................................10 3.4.5LesbenchmarksBytemarkdumagazineBYTE......................10 3.5Ame´liorationspossibles.......................................11 3.6FormulairederapportLBT.....................................11 3.7Testdeperformancesre´seau.....................................13 3.8LestestsSMP.............................................13 4Uneexe´cutiontypeetlesre´sultats31

1.Introduction2 5Pie`gesetmisesengardeenmatie`red’e´valuationdeperformances16 5.1Comparerdespommesetdesoranges...............................16 5.2Informationincomple`te.......................................16 5.3Mate´riel/logicielproprie´taire....................................16 5.4Pertinence...............................................16 QAF661 7Copyright,remerciementsetdivers19 7.1Commentcedocumenta-t-ile´te´produit..............................19 7.2Copyright...............................................19 7.3Nouvellesversiondecedocument..................................20 7.4Retour.................................................20 7.5Remerciements............................................20 7.6Paravent................................................20 7.7Marquesde´pose´es...........................................20 1Introduction ”Cedontonnepeutparlerdoiteˆtrepasse´soussilence.” LudwigWittgenstein(1889-1951),philosopheAutrichien L’e´valuationdeperformances(benchmarking)consistea`mesurerlavitessea`laquelleunordinateurexe´cute unetaˆchecalculatoire,etcedefac¸ona`pouvoircomparerdiffe´rentesconfigurationslogicielles/mate´rielles. Cecin’aaucunrapportaveclafacilite´d’utilisation,l’esthe´tique,lesconside´rationsd’ergonomieoutoute autreappre´ciationsubjective. L’e´valuationdeperformancesestunetaˆchefastidieuseetre´pe´titive.Ellene´ce´ssitequel’onpreˆteunegrande attentionauxde´tails.Tre`ssouventlesre´sultatsobtenusnesontpasceuxauxquelsons’attendaitetsont sujeta`interpre´tation(cequipeuttre`sbieneˆtrelebutd’uneproce´dured’e´valuationdeperformances). Enfin,l’e´valuationdeperformancestraıˆtedefaitsetdechiffresetnonpasd’opinionoud’approximation. 1.1Pourquoil’e´valuationdeperformancesest-ellesiimportante? Hormislesraisonsmentionne´esdansleBogoMipsMini-HOWTO(section7,paragraphe2),ilarrive,lorsque l’onseconstitueunemachineLinux,quel’onsoitconfronte´a`unbudgetlimite´et/oua`desbesoinsen performancesminimalesgaranties. End’autrestermes,lorsquel’onseposelesquestionssuivantes: • Commentmaximiserlaperformanceavecunbudgetdonne´? • Commentminimiserlecouˆtne´ce´ssairepourobtenirunniveaudeperformancedonne´? • Commentobtenirlemeilleurrapportperformance/couˆt(e´tantdonne´unbudgetoudesbesoinsen performancesminimalesgaranties)?

2.Proce´duresd’e´valuationdeperformancesetinterpre´tationdesre´sultats3 ilfaudraexaminer,compareret/ouproduiredesbenchmarks(ndt:unbenchmarkestunprogrammeou unensembledeprogrammes-onparlealorsdesuite-servanta`e´valuerlesperformancesd’unsyste`me informatique). Minimiserlescouˆtssanscontraintesdeperformanceimpliqued’ordinairelaconstitutiond’unemachinea` partirdecomposantsdere´cupe´ration(cevieux386SX-16quitraıˆnedanslegarageseraparfait),etne ne´ce´ssitepasdebenchmarks.Maximiserlaperformancesanscouˆtplafondn’estpasunesituationre´aliste (a`moinsquel’onsouhaitemettreunCraydanssonsalon-labanquetterecouvertedecuirquisetrouveau dessusdesalimentationse´lectriquesestdumeilleurgouˆt,n’est-t-ilpas?). L’e´valuationdeperformancessanscontraintedecouˆtnideperformanceminimalegarantien’apasdesens: c’estunepertedetempsetd’argent.L’e´valuationdeperformancesn’adesensquedanslecadred’uneprise dede´cision,c’esta`diresil’onalechoixentredeuxalternativesouplus. D’ordinairedescrite`resautresquelecouˆtinterviennentdansleprocessusde´cisionnel.Ilpeuts’agirde ladisponibilite´,duservice,delafiabilite´,deconside´rationsstrate´giquesoudetouteautrecaract´eristique rationnelleetmesurabled’unsyste`meinformatique.Parexemple,lorsquel’oncomparelaperformancede diffe´rentesversionsdunoyauLinux,lastabilite´esttoujoursplusimportantequelavitessed’exe´cution. 1.2Non-crite`resenmatie`red’e´valuationdeperformances Malheureusementettre`ssouventdanslesnewsgroups(forums)etlesmailinglists(listesdediffusionpar courriere´lectronique),sontcite´s: 1.Lare´putationdufabriquant(non-mesurableetsanssignification). 2.Lespartsdemarche´dufabriquant(sanssignificationetnon-pertinent). 3.Desparame`tresirrationnels(superstitionoua-prioriparexempleacheteriez-vousunprocesseure´tiquete´ 131313ZAPetpeintenrose?). 4.Lavaleurperc¸ue(non-significative,non-mesurableetirrationnelle). 5.L’ampleurdutapagemarketing(ndt:mercatiquepourlesinte´gristes:)estcequ’ilyadepire,je crois.Personnellement,j’enaimarredeslogos”XXXinside”ou”kkkkkwscompatible”(maintenant ”aaaaaPowered”estdelapartie,etpuisquoiencore?).AMHA,lesmilliardsdedollardsde´pense´s durantdetellescampagnesseraientbienmieuxutilise´spardee´quipesderecherchepourlaconception denouveauxprocesseurs,plusrapides(moinschers:-)etmoinsbugge´s.Aucunecampagnepublicitaire, siambitieusesoit-elle,n’estenmesuredesupprimerunebugdelaFPUencalculflottantsurletout nouveauprocesseurquevousveneztoutjusted’enfichersurvotrecarte-me`re,alorsqu’une´changeau profitd’unprocesseurre-conc¸ulefera. 6.Lesopinionsdutype”Vousavezcepourquoivousavezpaye´”nesontpre´cise´mentquec¸a:desopinions. Donnez-moidesfaits,s’ilvousplait. 2Proce´duresd’e´valuationdeperformancesetinterpre´tationdes r´esultats Quelquesrecommendationssemi-e´videntes: 1.Premie`rementetavanttout,identifiezvosobjectifsd’e´valuationdeperformances.Qu’essayez vousexactementd’e´valuer?Enquoiunprocessusd’e´valuationdeperformancesva-t-ilvousaidera`

2.Proce´duresd’e´valuationdeperformancesetinterpre´tationdesre´sultats4 prendreunede´cisionulte´rieure?Combiendetempsetquellesressourcesvoulez-vousconsacrera`cet effort? 2.Utilisezdesoutilsstandard.Utilisezuneversiona`jouretstabledunoyau,desversionsstandard eta`jourdegccetdelalibc,etunbenchmarkstandard.Enbref,utilisezleLBT(voirplusloin). 3.Donnezunedescriptioncomple`tedevotreconfigurationmate´rielle(voirleformulairedecompte- renduplusloin). 4.Essayezd’isolerunevariableunique.L’e´valuationdeperformancescomparativeestplusinformative quel’e´valuationdeperformances”absolue”.Jen’insisteraijamaisassezla`-dessus. 5.Ve´rifiezvosre´sultats.Faitestournervosbenchmarksplusieursfoisetve´rifiezlesvariationsdes re´sultatsobtenus,sivariationilya.Desvariationsinexplique´esinvaliderontvosre´sultats. 6.Sivouspensezquevotreeffortd’e´valuationdeperformancesaproduitdel’informationsignificative, partagez-laaveclacommunaute´Linuxdefac¸onpre´ciseetconcise. 7.OubliezlesBogoMipss’ilvousplait.Jemeprometsd’imple´menterunjourunASIC(ndt:un acronymepourApplicationSpecificIntegratedCircuit,c’estuncircuitinte´gre´de´die´a`uneapplication donne´e)danslequellesBogoMipsserontcable´s.Etalorsonverracequ’onverra! 2.1Comprendreleschoixenmatie`redebenchmarks 2.1.1Benchmarkssynthe´tiquesvs.benchmarksapplicatifs Avantdeconsacrerlemoindretempsauxtravauxd’e´valuationdeperformances,ilimportedefaireunchoix debaseentrebenchmarkssynthe´tiquesetbenchmarksapplicatifs. Lesbenchmarkssynthe´tiquessontspe´cifiquementconc¸uspourmesurerlaperformancedescomposantsin- dividuelsd’unordinateur,d’habitudeenpoussantl’undesditscomposantsjusqu’a`salimite.Unexemple debenchmarksynthe´tiquece´lebreestlasuiteWhetstone,initialementprogramme´een1972parHarold CurnowenFORTRAN(oue´tait-ceenALGOL?),etdontl’usageesttoujourstre`sre´pandudenosjours. LasuiteWhetstoneproduiraunemesuredelaperformanced’uneCPUenmatie`redecalculflottant. Laprincipalecritiquequel’onpuissefaireauxbenchmarkssynthe´tiquesestqu’ilsnerepre´sententpasla performanced’unordinateur,entantquesyste`mecomplexe,dansdesconditionsd’utilisationre´elles.Prenons parexemplelasuiteWhetstone,dontlaboucleprincipaleesttre`scourte,etquidoncpeutaise´menttenir danslecacheprimaired’uneCPU,cettesuitemaintientlepipelinedelaFPUalimente´enpermanencede fac¸ona`poussercelle-cia`savitessemaximale.OnnepeutpasvraimentcritiquerlasuiteWhetstonesil’on sesouvientqu’elleae´te´programme´eilya25ans(saconceptionestmeˆmeplusanciennequec¸a!),mais ilnousfautnousassurerquenousinterpre´tonssesre´sultatsavecprudencequandnousnouspre´occupons d’e´valuerlesperformancesdemicro-processeursmodernes. Unautreaspecttre`simportantqu’ilnousfautavoirenteˆtea`proposdesbenchmarkssynthe´tiquesest qu’ide´alement,ilsdevraientpouvoirnousdirequelquechoseencequiconcerneunaspectspe´cifiquedu syste`mequel’onestentraindetester,etceinde´pendammentdesautresaspectsduditsyse`me:unbenchmark synthe´tiqued’unecarteD’E/SEthernetdevraitproduirelesmeˆmesre´sultats(oudesre´sultatscomparables) quecesoitsurun386SX-16avec4MBdeRAMousurunPentium200MMXavec64MBdeRAM.Si teln’e´taitpaslecas,letestmesureraitlaperformanceglobaledel’associationCPU/carte-me`re/bus/carte Ethernet/sous-syste`meme´moire/DMA,cequin’estpastre`sutilepuisqueladiffe´renceauniveaudesCPUs auraunimpactplusimportantqueladiffe´renceauniveaudescartesEthernet(cecisupposebiensuˆrquenous utilisionslameˆmecombinaisonnoyau/driver(pilotedepe´riphe´rique)).Danslecascontraireladiffe´rencede performancespourraiteˆtreencoreplusgrande)!

2.Proce´duresd’e´valuationdeperformancesetinterpre´tationdesr´esultats5 Enfin,uneerreurfre´quemmentcommiseestdecalculerlamoyennedediversbenchmarkssynthe´tiquesetde pre´tendrequ’unetellemoyenneestunebonnerepre´sentationdelaperformanceglobaled’unsyste`medonne´ pouruneutilisationdanslaviere´elle. VoiciuncommentairesurlesbenchmarksFPU(cite´aveclapermissiondusiteWebdeCyrixCorp.): ”Uneunite´decalculflottantacce´l`erelelogicielconc¸upourl’utilisationdel’arithme´tiqueflot- tante:typiquementils’agitdeprogrammesdeCAO,detableurs,dejeuxen3Detd’applications deconception.Cependant,laplupartdesapplicationsPCpopulairesd’aujourd’huiutilisenta`la foisdesinstructionsflottantesetl’arithme´tiqueentie`re.C’estpourquoiCyrixachoisidemettre l’accentsurleparalle´lismelorsdelaconceptionduprocesseur6x86etcedanslebutd’acce´le´rer lesprogrammesquientremˆelentces2typesd’instructions. Lemode`ledetraitementdesexceptionsflottantesdel’architecturex86permetauxinstruc- tionsentie`resd’eˆtree´misesetdeseterminerpendantqu’uneinstructionflottanteestencours d’exe´cution.Al’oppose´,unesecondeope´rationflottantenepourrapaseˆtreexe´cute´ealorsqu’une pre´cedenteinstructionflottanteestencoursd’exe´cution.Poursupprimercettelimitationde performancecre´eeparlemode`ledetraitementdesexceptionsflottantes,le6x86,peute´mettre spe´culativementjusqu’a`4instructionsflottantesverslaFPUinte´gre´esurlecircuit.Parex- emple,dansunese´quencedecodeconstitue´ede2instructionsflottantes(FLTs)suiviesde6 instructionsentie`res(INTs),elles-meˆmessuiviesde2FLTs,le6x86peute´mettretoutesces10 instructionsverslesunite´sd’exe´cutionapproprie´esavantquel’exe´cutiondelapremie`reFLT nesesoittermine´e.Siaucunedecesinstructionsneprovoqued’exception(cequiesttypique), l’exe´cutioncontinue,lesunite´sflottantesetentie`resterminantl’exe´cutiondecesinstructionsen paralle`le.Sil’unedesFLTsge´ne`reuneexception(lecasatypique),lespossibilite´sd’exe´cution spe´culativesdu6x86permettentquel’e´tatduprocesseursoitrestitue´defac¸ona`cequecelui-ci soitcompatibleaveclemode`ledetraitementdesexceptionsflottantes. L’examendecodedebenchmarkssynthe´tiquesflottantsre´ve`lequeceux-ciutilisentdes se´quencesd’instructionspurementflottantesquel’onnetrouvepasdanslesapplicationsdu mondere´el.Cetypedebenchmarksnetirepasprofitdespossibilite´sd’exe´cutionspe´culative duprocesseur6x86.Cyrixpensequelesbenchmarksnon-synthe´tiquesbase´ssurdesapplications dumondere´elrefle`tentmieuxlaperformancequelesutilisateursvonteffectivementobtenir.Les applicationsdumondere´elcontiennentdesinstructionsentie`resetflottantesentremeˆle´esetpour cetteraisontirerontunmeilleurpartidespossibilite´sd’exe´cutionspe´culativedu6x86.” Latendancere´centeenmatie`red’e´valuationdeperformancesconsistedonca`choisirdesapplicationsusuelles eta`lesutiliserpourmesurerlaperformanced’ordinateursentantquesyste`mescomplexes.Parexemple SPEC,l’entreprisea`butnon-lucratifquiaconc¸ulesce´le`bressuitesdebenchmarkssynthe´tiquesSPECINT etSPECFP,alance´unprojetpourde´velopperunenouvellesuitedebenchmarksapplicatifs.Mais,la`encore, ilesttre`simprobablequ’unetellesuitedebenchmarkscommercialecomporteducodeLinuxunjour. Enre´sume´,lesbenchmarkssynthe´tiquessontvalablesa`conditiond’avoircomprisleursobjectifsetleurs limites.Lesbenchmarksapplicatifsrefle`terontmieuxlaperformanced’unsyste`meinformatique,maisaucun d’entreeuxn’estdisponiblepourLinux. 2.1.2Benchmarksdehaut-niveauvs.debas-niveau Lesbenchmarksdebas-niveauontpourambitionlamesuredelaperformancedumate´riel:lafre´quence del’horlogeduprocesseur,lestempsdecycledelaDRAM(ndt:acronymepourDynamicRandomAccess Memory)etdelaSRAM(ndt:acronymepourStaticRandomAccessMemory)cache,tempsd’acce`smoyen d’undisquedur,tempsd’acce`spistea`piste,etc...

2.Proce´duresd’e´valuationdeperformancesetinterpre´tationdesre´sultats6 Cetteapprochepeuteˆtreutilesivousavezachete´unsyste`meetquevousvousdemandeza`partirdequels composantsilae´te´construit,bienqu’unemeilleurefac¸onder´epondrea`cettequestionsoitd’ouvrirle boıˆtier,dedresserl’inventairedescomposantsquevoustrouvereza`l’inte´rieur,etd’obtenirlesspe´cifications techniquespourchacund’entreeux(ellessontlaplupartdutempsdisponiblessurleWeb). Uneautreutilisationpossibledesbenchmarksdebas-niveauconsistea`s’enservirpourve´rifierqu’undriver dunoyauae´te´correctementconfigure´pouruncomposantmate´rieldonne´:sivousdisposezdesspe´cifications techniquesdececomposantvouspourrezcomparerlesre´sultatsd’unbenchmarkdebas-niveauauxvaleurs the´oriquesfigurantdanslesspecs. Lesbenchmarksdehaut-niveauontplutoˆtpourobjectiflamesuredelaperformancedel’association mate´riel/driver/syste`med’exploitationencequiconcerneunaspectspe´cifiqued’unsyste`meinformatique (parexemplelaperformancedesentre´es-sorties),oumeˆmeuneassociationspe´cifiquemate´riel/driver/syste`me d’exploitation/application(parexempleunbenchmarkApachesurdiffe´rentsordinateurs). Biensuˆr,touslesbenchmarksdebas-niveausontsynthe´tiques.Lesbenchmarksdehaut-niveaupeuventeˆtre synthe´tiquesouapplicatifs. 2.2BenchmarksstandarddisponiblespourLinux AMHA,untestsimplequetoutlemondepeuteffectuera`l’occasiond’unemisea`jourdelaconfigurationde samachineLinuxestdelancerunecompilationdunoyauavantetapre`scettemisea`jourmate´rielle/logicielle, etdecomparerlesdure´esdecompilation.Sitouslesautresparame`tressontlesmeˆmes,alorscetestest valableentantquemesuredelaperformanceenmatie`redecompilation,etl’onpeutaffirmerentoute confianceque: ”LeremplacementdeAparBaconduita`uneame´liorationdex%deladure´edecompilation dunoyauLinuxdanstellesettellesconditions”. Niplus,nimoins! Parcequelacompilationdunoyauestunetaˆchetre`scourantesousLinux,etparcequ’ellemetenoeuvrela plupartdesfonctionnalite´simplique´esdanslesbenchmarksusuels(sauflecalculflottant),elleconstitueun testisole´plutoˆtbon.Cependant,danslamajeurepartiedescas,lesre´sultatsdecetestnepeuventpaseˆtre reproduitspard’autresutilisateursdeLinuxa`causedesdiffe´rencesdeconfigurationsmate´rielles/logicielles. Cetestneconstituedoncenaucuncasuneme´triquepermettantdecomparerdessyste`mesdissemblables(a` moinsquenousnenousmettionstousd’accordsurlacompilationd’unnoyaustandard-voirplusloin). Malheureusement,iln’yapasd’outilsd’e´valuationdeperformancesciblantspe´cifiquementLinux,saufpeut- eˆtrelesByteLinuxBenchmarks.Ceux-cisontuneversionle´gerementmodifie´edesByteUnixBenchmarks quidatentde1991(modificationsLinuxparJonTombs,auteursoriginels:BenSmith,RickGrehanetTom Yager). IlexisteunsiteWebcentralpourlesByteLinuxBenchmarks. Uneversioname´liore´eetmisea`jourdesByteUnixBenchmarksae´te´synthe´tise´eparDavidC.Niemi.Elle s’appelleUnixBench4.01poure´viteruneconfusionpossibleavecdesversionsante´rieures.VoicicequeDavid ae´critausujetdesesmodifications: ”LesBYTEUnixbenchmarksoriginelsetle´gerementmodifie´ssontnasesa`biendese´gards cequifaitd’euxunindicateurinhabituellementnon-fiabledelaperformanced’unsyste`me.J’ai de´libe´re´mentfaitensortequemesindicesdeperformancesoienttre`sdiffe´rentspoure´viterla confusionaveclesvieuxbenchmarks.”