Réseaux de calcul

Pascale Vicat-Blanc Primet, Sébastien Soudan, Romaric Guillier, Goglin Brice

Description

Réseaux de calcul étudie le cœur de trois nouvelles architectures informatiques distribuées : les grappes, les grilles et les nuages de calcul. Il présente leur système nerveux central respectif constitué d'un réseau complexe d'interconnexion et de protocoles de communication spécifiques.
Le lecteur trouvera les clés pour comprendre les contraintes et les problématiques essentielles auxquelles doit faire face un réseau de calcul : faible latence, très haut débit, haute performance, prédictibilité et sécurité. Les différents concepts et les technologies hétérogènes utilisées sont développés afin de permettre d'appréhender aussi bien les caractéristiques et les évolutions des composants physiques que les logiciels et les protocoles de communication spécifiques.
Réseaux de calcul met en perspective les solutions et les technologies mises en œuvre dans les grappes, les grilles et les nuages pour guider les programmeurs et les utilisateurs d'applications de calcul distribué vers des modèles de programmation et d'utilisation efficaces adaptés à chaque besoin.
Introduction. Chapitre 1. Des calculateurs multiprocesseurs aux nuages. Chapitre 2. Utilisation des technologies de calcul en réseau. Chapitre 3. Spécificités des réseaux de calcul. Chapitre 4. Le défi de la latence dans les grappes de calcul. Chapitre 5. Le défi du débit et de la distance. Chapitre 6. Mesurer les performances bout en bout. Chapitre 7. La technologie optique et les grilles. Chapitre 8. Bande passante à la demande. Chapitre 9. Sécurité des réseaux de calcul. Chapitre 10. Guide pratique de configuration. Conclusion : des grilles au futur Internet. Acronymes et définitions. Bibliographie. Index.

Sujets

• Informatique
• Théorie
• réseaux

Informations

• Publié par: Hermès - Editions Lavoisier
• Date de parution: 02 septembre 2010
• Nombre de lectures: 33
• EAN13: 9782746241374
• Langue: Français
• Poids de l'ouvrage: 5 Mo

Extrait

Les réseaux de calcul























© LAVOISIER, 2010
LAVOISIER
11, rue Lavoisier
75008 Paris

www.hermes-science.com
www.lavoisier.fr

ISBN 978-2-7462-3006-4
ISSN 2102-3220


Le Code de la propriété intellectuelle n'autorisant, aux termes de l'article L. 122-5, d'une part,
que les « copies ou reproductions strictement réservées à l'usage privé du copiste et non
destinées à une utilisation collective » et, d'autre part, que les analyses et les courtes citations
dans un but d'exemple et d'illustration, « toute représentation ou reproduction intégrale, ou
partielle, faite sans le consentement de l'auteur ou de ses ayants droit ou ayants cause, est
illicite » (article L. 122-4). Cette représentation ou reproduction, par quelque procédé que ce
soit, constituerait donc une contrefaçon sanctionnée par les articles L. 335-2 et suivants du
Code de la propriété intellectuelle.
Tous les noms de sociétés ou de produits cités dans cet ouvrage sont utilisés à des fins
d’identification et sont des marques de leurs détenteurs respectifs.


Printed and bound in England by Antony Rowe Ltd, Chippenham, September 2010.




Les réseaux de calcul

des grappes aux nuages de calcul










Pascale Vicat-Blanc Primet
Sébastien Soudan
Romaric Guillier
Brice Goglin






DIRECTION ÉDITORIALE GUY PUJOLLE
Collection architecture, applications, service
dirigée par MICHEL DIAZ




André Pérez, Gestion des ressources et des défaillances dans les réseaux
IP, MPLS et Ethernet, 2009
Eric Fleury et David Simplot-Ryl, Réseaux de capteurs, 2009
2Table des matières
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Chapitre 1. Des calculateurs multiprocesseurs aux nuages . . . . . . . . . . 17
1.1. L’explosion de la demande en moyens de calcul . . . . . . . . . . . . . 17
1.2. Les grappes de calculateurs . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.1. Emergence des grappes de calculateurs . . . . . . . . . . . . . . . 19
1.2.2. Anatomie d’une grappe de calculateurs . . . . . . . . . . . . . . . 19
1.3. Les grilles de calcul . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.1. Les grilles de calcul haute performance . . . . . . . . . . . . . . . 23
1.3.2. Les grilles de calcul « pair à pair » . . . . . . . . . . . . . . . . . . 23
1.4. Le calcul dans un nuage de calculateurs . . . . . . . . . . . . . . . . . . 26
1.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Chapitre 2. Utilisation des technologies de calcul en réseau . . . . . . . . . 31
2.1. Anatomie d’une application de calcul distribué . . . . . . . . . . . . . . 31
2.1.1. Parallélisation et distribution d’un algorithme . . . . . . . . . . . 33
2.1.1.1. Parallélisme gros grain . . . . . . . . . . . . . . . . . . . . . 33
2.1.1.2. P à grain fin . . . . . . . . . . . . . . . . . . . . . 34
2.1.2. Modélisation des applications parallèles . . . . . . . . . . . . . . 35
2.1.3. Exemple d’application de grille . . . . . . . . . . . . . . . . . . . 36
2.1.4. Classification générale des applications distribuées . . . . . . . . 38
2.1.4.1. Le calcul largement distribué . . . . . . . . . . . . . . . . . . 38
2.1.4.2. Le calcul à couplage lâche . . . . . . . . . . . . . . . . . . . 39
2.1.4.3. Le calcul en pipeline . . . . . . . . . . . . . . . . . . . . . . 40
2.1.4.4. Le calcul fortement synchronisé . . . . . . . . . . . . . . . . 40
2.1.4.5. Le calcul interactif et collaboratif . . . . . . . . . . . . . . . 41
2.1.4.6. Note . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2. Modèles de programmation des applications parallèles distribuées . . . 41
2.2.1. Principaux modèles . . . . . . . . . . . . . . . . . . . . . . . . . . 416 Réseaux de calcul
2.2.2. Contraintes des applications à parallélisme fin . . . . . . . . . . . 42
2.2.3. La bibliothèque de communication MPI . . . . . . . . . . . . . . . 43
2.3. La coordination des ressources distribuées dans une grille . . . . . . . 45
2.3.1. Soumission et exécution d’une application distribuée . . . . . . . 45
2.3.2. Les gestionnaires de grilles . . . . . . . . . . . . . . . . . . . . . . 47
2.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Chapitre 3. Spécificités des réseaux de calcul . . . . . . . . . . . . . . . . . . 49
3.1. Typologie des réseaux de calcul . . . . . . . . . . . . . . . . . . . . . . 49
3.1.1. Le réseau dans les grappes . . . . . . . . . . . . . . . . . . . . . . 50
3.1.2. Le dans les grilles . . . . . . . . . . . . . . . . . . . . . . . 50
3.1.3. Le réseau dans les nuages de calcul . . . . . . . . . . . . . . . . . 52
3.2. Transparence du réseau . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.1. Avantage de la transparence . . . . . . . . . . . . . . . . . . . . . 53
3.2.2. Fondations de la t des réseaux . . . . . . . . . . . . . 54
3.2.3. Les limites de TCP et IP dans les grappes . . . . . . . . . . . . . . 56
3.2.4. Limites de TCP et de la transparence du réseau dans les grilles . . 58
3.2.5. TCP dans un réseau à haut produit débit-délai . . . . . . . . . . . 58
3.2.6. Limites de l’absence de contrôle des communications . . . . . . . 59
3.3. Analyse détaillée des caractéristiques attendues des protocoles . . . . . 61
3.3.1. Critères topologiques . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3.1.1. Nombre de sites impliqués . . . . . . . . . . . . . . . . . . . 61
3.3.1.2. d’utilisateurs impliqués . . . . . . . . . . . . . . . . 61
3.3.1.3. Contraintes de localisation des ressources . . . . . . . . . . 62
3.3.2. Critères de performance . . . . . . . . . . . . . . . . . . . . . . . . 62
3.3.2.1. Degré de couplage intertâches . . . . . . . . . . . . . . . . . 62
3.3.2.2. Sensibilité à la latence et au débit . . . . . . . . . . . . . . . 63
3.3.2.3. au débit et à son contrôle . . . . . . . . . . . . . . 64
3.3.2.4. Sensibilité à la confidentialité et à la sécurité . . . . . . . . . 65
3.3.2.5. Synthèse des exigences . . . . . . . . . . . . . . . . . . . . . 66
3.4. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Chapitre 4. Le défi de la latence dans les grappes de calcul . . . . . . . . . 69
4.1. Principes-clés des réseaux haute performance de grappe . . . . . . . . 70
4.2. Support logiciel pour les réseaux haute performance . . . . . . . . . . . 71
4.2.1. Transferts zéro-copie . . . . . . . . . . . . . . . . . . . . . . . . . 71
4.2.2. OS-bypass . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.2.3. Notification des événements . . . . . . . . . . . . . . . . . . . . . 73
4.2.4. Le problème des traductions d’adresses . . . . . . . . . . . . . . . 74
4.2.5. Modèles de programmation non bloquants . . . . . . . . . . . . . 76
4.2.5.1. Cas 1 : passage de message . . . . . . . . . . . . . . . . . . . 76
4.2.5.2. Cas 2 : modèle d’accès à distance . . . . . . . . . . . . . . . 77
4.3. Description des principaux réseaux haute performance . . . . . . . . . 78Table des matières 7
4.3.1. Dolphins SCI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.3.2. Myricom Myrinet et Myri-10G . . . . . . . . . . . . . . . . . . . . 79
4.3.3. Quadrics QsNet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3.4. Infiniband . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3.5. Synthèse des caractéristiques des réseaux haute performance . . . 84
4.4. Convergence entre réseaux rapides et traditionnels . . . . . . . . . . . . 85
4.5. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Chapitre 5. Le défi du débit et de la distance . . . . . . . . . . . . . . . . . . 89
5.1. Obstacles au haut débit . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
5.2. Principe de fonctionnement et limites du contrôle
de congestion de TCP . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
5.2.1. Slow Start . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2.2. Congestion Avoidance . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2.3. Fast Retransmit . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
5.2.4. Modèle analytique . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.3. Limites de TCP sur de longues distances . . . . . . . . . . . . . . . . . 95
5.4. Configuration de TCP pour le haut débit . . . . . . . . . . . . . . . . . 96
5.4.1. Configurations matérielles . . . . . . . . . . . . . . . . . . . . . . 97
5.4.2. Configuration logicielle . . . . . . . . . . . . . . . . . . . . . . . . 97
5.4.3. Paramètres des drivers de cartes réseaux . . . . . . . . . . . . . . 100
5.5. Approches de contrôle de congestion alternatives
à celle de TCP standard . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.5.1. Utilisation de flots parallèles . . . . . . . . . . . . . . . . . . . . . 101
5.5.2. Modification de TCP . . . . . . . . . . . . . . . . . . . . . . . . . 102
5.5.2.1. Modifications du Slow Start . . . . . . . . . . . . . . . . . . 102
5.5.2.2. Méthodes de détection de congestion . . . . . . . . . . . . . 103
5.5.2.3. de régulation de débit . . . . . . . . . . . . . . . . 104
5.5.3. Approches à base d’UDP . . . . . . . . . . . . . . . . . . . . . . . 104
5.6. Exploration des variantes TCP pour le très haut débit . . . . . . . . . . 105
5.6.1. HighSpeed TCP . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.2. Scalable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.3. BIC-TCP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.6.4. H-TCP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.6.5. CUBIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
5.7. Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Chapitre 6. Mesurer les performan