Réseaux et Communication dans les Clusters

Description

Reseaux´ et Communication dans les Clusters
Adrianna YOMBI
UFR Informatique
UCB Lyon1
69622 Villeurbanne - France
[e-mail]
´14 decembre 2009
´ ´Resume
Mots-cles´ : Cluster,SAN,HA,HPC,MPI,PVM
Table des matieres`
1 Introduction 3
2 Definition´ et caracteristiques´ d’un cluster 3
3 Architecture gen´ erale´ d’un cluster 3
4 Les differentes´ categories´ de cluster 4
4.1 Les HA(high availability) cluster ou les clusters de hautes disponibilites´ . . . . . . . . . . . . . . . . . 4
4.1.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
4.1.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.2 Les High Performance Computing cluster ou les clusters de hautes performances . . . . . . . . . . . 5
4.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.2.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4.3 Cluster a` repar´ tition de charge (Load balancing cluster) . . . . . . . . . . . . . . . . . . . . . . . . . . 6
4.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
4.3.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
5 Les serveurs de Stockage (SAN) 6
5.1 Les el´ ements´ reseaux´ d’un SAN . ...

Sujets

• N?ud
• Adrianna Lamalle
• Flèche (label)
• Université Claude Bernard Lyon 1
• Pixel
• Parallel Virtual Machine

Informations

• Publié par: Anja
• Nombre de lectures: 79
• Langue: Français

Extrait

R ´ eseauxetCommunicationdanslesClusters Adrianna YOMBI UFR Informatique UCB Lyon1 69622 Villeurbanne - France [e-mail] 14d ´ ecembre2009

Mots-cle´ s : Cluster,SAN,HA,HPC,MPI,PVM

Re ´ sume ´

Tabledesmati ` eres 1 Introduction 2De ´ finitionetcaract ´ eristiquesd’uncluster 3Architectureg ´ en ´ eraled’uncluster 4Lesdiff ´ erentescate ´ goriesdecluster 4.1LesHA(highavailability)clusteroulesclustersdehautesdisponibilit ´ es................. 4.1.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Les High Performance Computing cluster ou les clusters de hautes performances . . . . . . . . . . . 4.2.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.2.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3 Cluster  `a re´  partition de charge (Load balancing cluster) . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.1 Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.3.2 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Les serveurs de Stockage (SAN) 5.1Les ´ el ´ ementsr ´ eseauxd’unSAN....................................... 5.2 Notions de Redondance dans les SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3 Notions de RAID . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Les technologies d’interconnexion 6.1 Myrinet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.2 Infiniband . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6.3 Gigabit Ethernet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 3 3 4 4 4 5 5 5 5 6 6 6 6 7 7 8 8 8 9 9

UCBLMaster2Syst ` emesInformatiquesetReseaux2009-2010 ´ 6.4 Qsnet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 6.5 SCI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 7 Comparaison entre les technologies d’interconnexion 10 8 Tests de performance 10 8.1 Bande passante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 8.2 Latence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 8.3 FT Benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 8.4 LU Benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 9 SSI 13 10ArchitectureR ´ eseaux14 10.1 Virtual Interface Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 11Insertiond’unclusterdansunr ´ eseau14 12 Architecture logicielle 15 12.1 Communication Inter Processus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 12.1.1 MPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 12.1.2 PVM (Parallel Virtual Machine) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2 Gestion des ressources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2.1 Condor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2.2 OpenPBS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 12.2.3 LSF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 13 Exemples de cluster 17 13.1 Beowulf . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 13.2 MOSIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 14 Conclusion 18 15 Bibigraphie 19 Rapport de TER Adrianna Roxane YOMBI 2

UCBL

Master 2 Syste`  mes  Informatiques et Re´  seaux

2009-2010

1 Introduction L’e ´ volutiondesr ´ eseauxetplusparticulie ` rementd’Internetfaitquedenosjours,cesderniersontbesoindeplusen plusderessourcesafindetraiterplusrapidementlesdonn ´ ees.Etantdonn ´ equel’utilisationd’unemachinenepouvait satisfairecesbesoins,ilestapparuquelefaitdedistribuerlesta ˆ chessurplusieursmachinesafinqu’elless’ex ´ ecutent simultane ´ mentpermettraitderem ´ ediera ` ceproble ` me.C’estainsiqu’estne ´ leconceptde « cluster » . Dans les lignes quisuivent,nousallonsd ´ ecrirelesdiff ´ erentescaracte ´ ristiquesd’unclusterpuissesdiversescate ´ gories.Ensuitenous aborderons aspect re´  seaux (architecture, topologies, composants,...). Puis pour finir nous parlerons de la maniere ` dont se font les communications dans les clusters.

2D ´ efinitionetcaracteristiquesd’uncluster ´ Onparledecluster,degrappedeserveursoudefermedecalculpourd ´ esignerdestechniquesconsistant ` a regrouperplusieursordinateursind ´ ependants(appele ´ snœuds,nodeenanglais),afindepermettreunegestion globale et de de´  passer les limitations d’un ordinateur pour : – augmenter la disponibilite ; ´ – faciliter  la monte´  e en charge ; – permettre  une re´  partition de charge ; –faciliterlagestiondesressources(processeur,m ´ emoirevive,disquesdur,bandepassanter ´ eseau). Lesgrappesdeserveurssontunproc ´ ede ´ peuco ˆ uteux,r ´ esidantdanslamiseenplacedeplusieursordinateursen re ´ seauquivontapparaıˆtrecommeunseulordinateurayantplusdecapacit ´ es(pluspuissant,etc.),ilssonttr ` esutilis ´ es pourlescalculsparall ` eles.Cetusageoptimis ´ edesressourcespermetlare ´ partitiondestraitementssurlesdiff ´ erents nœuds.Undesgrandsavantagesd’unclusterestqu’iln’estplusbesoind’acheterunserveurmultiprocesseurcoˆuteux maisqu’ilestd ´ esormaispossibledesecontenterdepetitssyste ` mesquel’onpeutconnectera ` lasuitelesunsaux autresselonl’e ´ volutiondesbesoins.Ilexistediff ´ erentstypesdecluster: –Cluster ` adistancee ´ tendue:Ils’agitd’unclusteravecdesnœudssitue ´ sdansdiff ´ erentscentresdedonn ´ ees se ´ pare ´ sparunecertainedistance.Lesclustersa ` distance ´ etenduesontconnecte ´ sparlebiaisd’unca ˆ ble hautd ´ ebitquigarantitl’acce ` sre ´ seauentrelesnœudstantquetouteslesdirectivesrelativesa ` l’architecture ` atole ´ rancedepannessontrespect ´ ees.Ladistancemaximaleentrelesnœudsdansuncluster ` adistance ´ etendueestde ´ finieparleslimitesdelatechnologiedere ´ plicationdedonn ´ eesetleslimitesdemiseenre ´ seau. –Clusterm ´ etropolitain:Ils’agitd’unclusterre ´ partige ´ ographiquementdanslesconfinsd’unezoneme ´ tropolitaine exigeantdesautorisationspourde ´ poserduc ˆ ablagepourdescomposantsr ´ etder ´ eplicationdedonne ´ es eseau redondants. –Clustercontinental:Ils’agitd’ungroupedeclustersquiutilisentdesre ´ seauxroute ´ soudesr ´ eseauxduservice publicpourlar ´ eplicationdesdonne ´ esetlacommunicationdeclusterafindeprendreenchargelebasculement depackageentrediffe ´ rentsclustersdansdiff ´ erentscentresdedonn ´ ees.Lesclusterscontinentauxsontsouvent situe ´ sdansdiff ´ erentesvillesoudiffe ´ rentspaysetpeuvents’ ´ talersurdescentaines,voiredesmilliersde e kilome` tres.

3Architectureg ´ en ´ eraled’uncluster Remarque :Un cluster est essentiellement compose´  de plusieurs machines (PC, serveur,. . . ),  de syste`  me d’ex- ploitation, de technologies d’interconnexion, d’environnement paralle`  le de programmation, de middleware et d’appli- cation.

Rapport de TER

Adrianna Roxane YOMBI

3