Voilà, c'est dans le sujet.
je crois que c'est une sorte de clustering.
Donc : qu'est ce qu'un cluster.
 
 
Merci.

Beowulf c'est un film techno féodal futuriste   avec Christophe Lambert.

merci, mais vous n'auriez pas une version simple en français... (en anglais je risque de confondre/me tromper)

Beowulf est le nom du 1er cluster.
 
Cluster est un terme qui se traduit pas tel quel en français, dsl. C'est assemblage, agrégat à peu près.
 
Un cluster, c'est un super-ordinateur (un bon gros serveur en tout cas) mais fabriqué avec des composants standards.
 
Une CM standard 32 processeurs, c'est introuvable à Montgallet? Pas grave, on prend 16 PC bi-pro classiques et on les relie avec un réseau Gigabit (intégré tant qu'à faire) à très bas ping (1ms c'est énorme) sur des alims ATX, de la ram ni ECC ni Registered, ... Le meilleur rapport qualité-prix avant tout.
 
Le problème: aucun OS ne gère vraiment la situation "merci de considérer ces 16 PC bipro comme un seul avec un espace mémoire commun" (pas en toute transparence en tout cas). C'est là qu'intervient le projet Beowulf.
Il faut qu'un PC puisse causer avec les autres ou réponde aux requêtes et qu'il fonctionne en commun alors qu'il est indépendant ...
 
Le résultat: puissance dingue pour 30 000 € alors qu'une machine digne de ce nom chez SGI, IBM, Dell, Sun, HP-Compaq, ... c'est 100 000 € avec des interventions à 1000€ la journée.
Evidemment il faut mettre les mains dans le cambouis, pas d'Irix64 ou d'AIX (les OS SGI ou IBM faits pour le multi-processeurs et trèèès agréables à utiliser), pas de support aux petits oignons, pas la même sécurité de fonctionnement (1 panne sur 1 PC ça arrive, sur 32 PC ça arrive 32 fois plus souvent!)
En tout cas ça marche pour celui qui a la compétence mais pas trop les moyens. Il y a qqes contraintes mais si c'est pas pour une application critique, tu économises assez pour envoyer toute ta boîte aux Seychelles pendant 15 jours  

Le minimum, c'est 2 PC monoprocesseurs que l'on fait passer comme un seul pour le monde extérieur, les clusters ça commence pas à 10 000 €.
C'est intéressant dès le quadri-processeur (le prix des Opteron et autres Itaniums, pour rester dans le x86, est assez convaincant  ) et je sais pas s'il y a une limite ...
Si les ASCI http://www.llnl.gov/asci/platforms/platforms.html sont pour certains des clusters (tout dépend de la définition), alors y a pas de limite! 10 000 et quelques processeurs    

L'Itanium, c'est tout sauf du x86...  
 
Il y a qd même une énorme différence entre un système multiprocesseur standart et un cluster:
le système SMP garde un espace mémoire unique et est géré par un seul et unique OS. ca veut dire que si tu as un programme multitache, il peut faire tourner une tache sur chaque CPU et toutes les taches ont un espace d'adressage commun.
 
Dans un cluster, tu as un essemble de machine, avec chacune leur OS. Il faut donc écrire les applications spécialement pour ca, en utilisant un protocole de passage de message entre machine.
C'est très efficace quand les communications entre machines sont relativement limitées.
Pour un problème où chaque thread doit accéder en permanence aléatoirement à l'ensemble des données, c'est tout de suite plus difficile.
 
D'un autre coté, il est pas réellement possible de faire un système SMP avec 2000 CPU

 
tu peux aussi utiliser des gestionnaires de files d'attentes genre PBS qui te permettent d'utiliser tes applis sequentielles sur ton cluster. le gestionnaire va lancer ton appli sur un noeud des que ce noeud se libere... c'est tres utilisé pour des applications de traitement scientifique, un peu à la SETI: un petit morceau de code qui se connecte au serveur, recup des données, les traite et retourne le resultat.

Tout à fait, c'est bien ce que je disais, c'est pour des applications où les communications inter-noeuds sont relativement limitées.

Hihi      Je pensais à "pas exotique comme les Power4 ou R14k" et résultat belle boulette. "Pour rester dans le Intel"
ça serait ptêtre mieux ...    
 
 

Certes. Le truc actuel, ce sont des noeuds de 32 processeurs reliés entre eux par des "switchs" haute-performance comme Colony, Federation chez IBM. Je sais pas exactement à quoi c'est dopé vu que je me contente de 8, 16 ou 32 processeurs grand maximum mais en tout cas l'ensemble est pas ralenti. Enfin ça doit quand même pénaliser les concepteurs de programme "gourmands".
Enfin là les clusters c'est une petite armée de 2CV face à 100 limousines, le prix et le but sont pas les mêmes.

Oui, mais est-ce une machine unique ou une sorte de cluster ?
 
Parce que si on prend le système à 10000 Opterons de Cray par exemple, il s'agit d'un cluster avec des communications inter-noeuds à très haute vitesse (il y a un mini-OS sur chaque noeud, et ca communique par un système de messages).

 
pas forcement . si ton appli est specialement ecrite pour fonctionner en parallele avec des librairies genre PVM ou MPI, avec un ptit compilateur qui optimise bien le tout et un reseau tres faible latence genre myrinet ou dolphin ton cluster peut fonctionner avec des appli ou la communication inter-noeuds est élevée.
 
 

deltaden> même principe pour les p690 d'IBM à base de Power4. Sauf qu'il y a 4 CPU par dye    
 
Coda> Même avec Myrinet (temps de latence de qqes dizaines de nanosecondes ), ça reste le facteur limitant. Mais l'amélioration est énorme, c'est sûr. Le prix de la machine est par contre doublé si le prix est toujours de 2-3000$ par carte  

 
   
 
mais on commence a trouver des solutions qui tendent vers ces resultats en utilisant du matériel plus standard (genre les switchs Force10 en giga cuivre et 10 GE meme et qui ont des perfs tres interessantes sur des clusters de 200 Noeuds ..)

ouais, c'est vrai que là on se rapproche des communications inter-noeuds des SMP
Mais c'est du clustering "haut de gamme"

 
ouais mais tres demandé quand meme

si tu le dis

 
les configs minimum niveau reseau c'est du giga cuivre ... ou alors des systemes faible latence ..

Merci beaucoup pour vos explications!  

http://www.myrinet.com/myrinet/performance/index.html
 
7µs c'est 7 000 ns et pas 100 ns comme je le pensais (mmh d'ailleurs ça ferait un temps de qqes accès mémoire pas très plausible). J'y étais presque
 
Le prix est de 1 000$/carte et 4000$ pour le switch 8-port.
Vu l'augmentation de perfs, spa cher (si on compare au prix des alims, CM Tyan et cie ...)

ha ouais, mais alors on est quand même loin des 30ns et 6Go/s de l'hypertransport par exemple.  
Enfin, de toute façon, les cluster et les systèmes SMP ont chacun  leurs avantages et inconvénients.

 
   
 
mais en general le rapport prix / perfs des clusters est plus interessants, meme avec des reseaux myrinet ou autre ...  
 
j'ai eu l'occasion de tester du matos 10 Ge ethernet la semaine derniere ... spa mal non plus, la latence est pas mal du tout, par contre ça coute la poduku et c'est interessant que pour des clusters de 200 noeuds ..