Réseaux et Communication dans les Clusters

Publié par

Reseaux´ et Communication dans les Clusters
Adrianna YOMBI
UFR Informatique
UCB Lyon1
69622 Villeurbanne - France
adrianna.Yombi@ufr-informatique.univ-lyon1.fr
´14 decembre 2009
´ ´Resume
Mots-cles´ : Cluster,SAN,HA,HPC,MPI,PVM
Table des matieres`
1 Introduction 3
2 Definition´ et caracteristiques´ d’un cluster 3
3 Architecture gen´ erale´ d’un cluster 3
4 Les differentes´ categories´ de cluster 4
4.1 Les HA(high availability) cluster ou les clusters de hautes disponibilites´ . . . . . . . . . . . . . . . . . 4
4.1.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
4.1.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.2 Les High Performance Computing cluster ou les clusters de hautes performances . . . . . . . . . . . 5
4.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.2.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.3 Cluster a` repar´ tition de charge (Load balancing cluster) . . . . . . . . . . . . . . . . . . . . . . . . . . 6
4.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
4.3.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
5 Les serveurs de Stockage (SAN) 6
5.1 Les el´ ements´ reseaux´ d’un SAN . ...
Publié le : mardi 3 mai 2011
Lecture(s) : 75
Nombre de pages : 19
Voir plus Voir moins
R´eseauxetCommunicationdanslesClusters Adrianna YOMBI UFR Informatique UCB Lyon1 69622 Villeurbanne - France adrianna.Yombi@ufr-informatique.univ-lyon1.fr 14d´ecembre2009
Mots-cle´ s : Cluster,SAN,HA,HPC,MPI,PVM
Re´sume´
Tabledesmati`eres 1 Introduction 2De´nitionetcaract´eristiquesduncluster 3Architectureg´en´eraleduncluster 4Lesdiff´erentescate´goriesdecluster 4.1LesHA(highavailability)clusteroulesclustersdehautesdisponibilit´es................. 4.1.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Les High Performance Computing cluster ou les clusters de hautes performances . . . . . . . . . . . 4.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Cluster `a re´ partition de charge (Load balancing cluster) . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Les serveurs de Stockage (SAN) 5.1Les´el´ementsr´eseauxdunSAN....................................... 5.2 Notions de Redondance dans les SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3 Notions de RAID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Les technologies d’interconnexion 6.1 Myrinet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Infiniband . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Gigabit Ethernet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 3 3 4 4 4 5 5 5 5 6 6 6 6 7 7 8 8 8 9 9
UCBLMaster2Syst`emesInformatiquesetReseaux2009-2010 ´ 6.4 Qsnet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 6.5 SCI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 7 Comparaison entre les technologies d’interconnexion 10 8 Tests de performance 10 8.1 Bande passante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 8.2 Latence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 8.3 FT Benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 8.4 LU Benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 9 SSI 13 10ArchitectureR´eseaux14 10.1 Virtual Interface Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 11Insertiondunclusterdansunr´eseau14 12 Architecture logicielle 15 12.1 Communication Inter Processus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 12.1.1 MPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 12.1.2 PVM (Parallel Virtual Machine) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2 Gestion des ressources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2.1 Condor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2.2 OpenPBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2.3 LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 13 Exemples de cluster 17 13.1 Beowulf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 13.2 MOSIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 14 Conclusion 18 15 Bibigraphie 19 Rapport de TER Adrianna Roxane YOMBI 2
UCBL
Master 2 Syste` mes Informatiques et Re´ seaux
2009-2010
1 Introduction Le´volutiondesr´eseauxetplusparticulie`rementdInternetfaitquedenosjours,cesderniersontbesoindeplusen plusderessourcesandetraiterplusrapidementlesdonn´ees.Etantdonn´equelutilisationdunemachinenepouvait satisfairecesbesoins,ilestapparuquelefaitdedistribuerlestaˆchessurplusieursmachinesanquellessex´ecutent simultane´mentpermettraitderem´ediera`ceproble`me.Cestainsiquestne´leconceptde « cluster » . Dans les lignes quisuivent,nousallonsd´ecrirelesdiff´erentescaracte´ristiquesdunclusterpuissesdiversescate´gories.Ensuitenous aborderons aspect re´ seaux (architecture, topologies, composants,...). Puis pour finir nous parlerons de la maniere ` dont se font les communications dans les clusters.
2D´enitionetcaracteristiquesduncluster ´ Onparledecluster,degrappedeserveursoudefermedecalculpourd´esignerdestechniquesconsistant`a regrouperplusieursordinateursind´ependants(appele´snœuds,nodeenanglais),andepermettreunegestion globale et de de´ passer les limitations d’un ordinateur pour : – augmenter la disponibilite ; ´ – faciliter la monte´ e en charge ; – permettre une re´ partition de charge ; faciliterlagestiondesressources(processeur,m´emoirevive,disquesdur,bandepassanter´eseau). Lesgrappesdeserveurssontunproc´ede´peucoˆuteux,r´esidantdanslamiseenplacedeplusieursordinateursen re´seauquivontapparaıˆtrecommeunseulordinateurayantplusdecapacit´es(pluspuissant,etc.),ilssonttr`esutilis´es pourlescalculsparall`eles.Cetusageoptimis´edesressourcespermetlare´partitiondestraitementssurlesdiff´erents nœuds.Undesgrandsavantagesdunclusterestquilnestplusbesoindacheterunserveurmultiprocesseurcoˆuteux maisquilestd´esormaispossibledesecontenterdepetitssyste`mesquelonpeutconnectera`lasuitelesunsaux autresselonle´volutiondesbesoins.Ilexistediff´erentstypesdecluster: Cluster`adistancee´tendue:Ilsagitdunclusteravecdesnœudssitue´sdansdiff´erentscentresdedonn´ees se´pare´sparunecertainedistance.Lesclustersa`distance´etenduesontconnecte´sparlebiaisduncaˆble hautd´ebitquigarantitlacce`sre´seauentrelesnœudstantquetouteslesdirectivesrelativesa`larchitecture `atole´rancedepannessontrespect´ees.Ladistancemaximaleentrelesnœudsdansuncluster`adistance ´etendueestde´nieparleslimitesdelatechnologiedere´plicationdedonn´eesetleslimitesdemiseenre´seau. Clusterm´etropolitain:Ilsagitdunclusterre´partige´ographiquementdanslesconnsdunezoneme´tropolitaine exigeantdesautorisationspourde´poserducˆablagepourdescomposantsr´etder´eplicationdedonne´es eseau redondants. Clustercontinental:Ilsagitdungroupedeclustersquiutilisentdesre´seauxroute´soudesr´eseauxduservice publicpourlar´eplicationdesdonne´esetlacommunicationdeclusterandeprendreenchargelebasculement depackageentrediffe´rentsclustersdansdiff´erentscentresdedonn´ees.Lesclusterscontinentauxsontsouvent situe´sdansdiff´erentesvillesoudiffe´rentspaysetpeuvents´talersurdescentaines,voiredesmilliersde e kilome` tres.
3Architectureg´en´eraleduncluster Remarque :Un cluster est essentiellement compose´ de plusieurs machines (PC, serveur,. . . ), de syste` me d’ex-ploitation, de technologies d’interconnexion, d’environnement paralle` le de programmation, de middleware et d’appli-cation.
Rapport de TER
Adrianna Roxane YOMBI
3
Soyez le premier à déposer un commentaire !

17/1000 caractères maximum.