Reprise du message précédent :
Le culstering pas trop.
 
OSA ben, je parle de gcc sous linux....

 
tu dis pas à l'avantage car il faut 2 P4 pour un bi-XEON ?
 
Sinon, justement je parlais SANS optimisation, juste le compilo. Si le code est vieux c'est encore mieux.
 
Ton vieux code compilé avec gcc, il tourne mieux sur un P4 2.6Ghz ou un 2600+ ? (pour prendre le meilleur rapport puissance/prix actuelle)

 
nan niveau perf 1 p4 3 Ghz <=> 2 xéon 2.4 Ghz, mais niveau prix boff  
 
tourne mieu sur le p4.

Et la comparaison P4/athlon de même "ranking" ?

Le clustering ne suffit pas à certains (ou les centres de calcul scientifique comme http://www.idris.fr ou http://www.cines.fr ) et un projet est en cours en Europe Eurogrid (sur le modèle de The Grid aux USA).
http://www.idris.fr (Projets/Actions en cours merci les frames  )
http://www.eurogrid.org/
 
 
Ca permet à un utilisateur de cluster, supercalculateur, ... de soumettre un calcul en France et de ne pas se soucier sur quel serveur européen il va tourner (Stockholm, Manchester, Munich, ...) en faisant au mieux des disponibilités de chacun et des performances machines (quand on a besoin de 20Go de Ram par exemple et que la machine locale est un peu juste)
 
N'étant que modeste utilisateur (de cluster, pas de ces trucs de ouf), je ne sais pas si on parle encore de calcul distribué dans ce cas ou de meta-qqch.
 
Le rapport avec les clusters, c'est qu'un de ces jours ce sera disponible pour le "grand public" et qu'on pourra lancer un truc gourmand chez soi qui tournera finalement en Argentine. Ca pose des problèmes de sécurité, de perfs et de compatibilité inter-plateforme (on recompile pas ...) mais ça a l'air assez intéressant  

Oui, à priori cela se nomme "grid computing", et le principe est comme tu dis de pouvoir disposer :

• ou de toute la puissance disponible à un instant T de tous les ordinateurs reliés entre eux  (genre un réseau de supercalculateur/clusters/workstations) et réparti dynamiquement
• ou d'un certain quota de puissance défini à l'avance/dynamiquement. on peut imaginer que cette puissance de calcul pourrait être vendue et achetée...

On peut extrapoler le développement d'une Grille universelle, sorte d'Internet II où ce ne serait pas uniquement les données qui seraient partagées, comme aujourd'hui, mais également la puissance de calcul des ordinateurs connectés à Internet.
Pareil, là tout un tas de situations sont envisageables : partage gratuit de l'ensemble des ressources de calcul, achat de puissance en fonction des besoins, naissance de réseaux/communautées distincts de partage de puissance par l'intermédiaire de logiciels spécifiques, comme les réseaux P2P actuellement... ou un beau mixe de tout cela    
 
Enfin je pense que tout ce qui s'applique aujourd'hui au partage de données (qu'on peut trouver gratos, acheter, vendre, pirater, télécharger dans des réseaux spécifiques -P2P-...) pourra également s'appliquer dans un futur pas si éloigné à la puissance de calcul...
 
Y aura t-il une utilitée pour l'utilisateur lambda ?    
 
Cela ne risque t-il pas de poser tout un tas de problèmes ?  
 
On peut envisager que la puissance de calcul puisse devenir une donnée économique à part entière, et surtout une donnée politique : imaginez des pays comme l'Iran, la Corée du Nord ou tout simplement des groupes terroristres ayant accès à la puissance de calcul phénoménale que représenterai une Grille mondiale ! On peut être certains que tout un tas de personnes ne verraient pas cela d'un très bon oeil...
 
Enfin, c'est un sujet vaste et passionnant, qui amène tout un tas de questions, et pas seulement techniques    
 
Je me demande si je ne devrais pas faire trois sections principales à ce topic : clustering, distribued computing et grid computing. ça vous dit ?  

Au fait, avez-vous lu le roman de SF La cité des permutants, de Greg Egan ?  
Il y décrit entre autres un système évolué de grille, ou la puissance de calcul est une donnée économique, soumise au cours de la Bourse et de la loi du marché, et où les particuliers ont un besoin de telle puissance pour simuler des environnements de réalité virtuelle, où notamment se meuve des copies d'eux-même, avant ou après leur mort...  

 
  , je l'ajoute  

a propos de grilles en france ya le projet E-Toile qui est un clusters de clusters ...  
 
ou sinon ya un projet de simulateur de grilles qui est en cours de montage ds une univ parisienne bien connu ... avec 500 noeuds heterogenes...  

La, c'est au-dessus de nous:  
 
 The DataGrid
 
http://eu-datagrid.web.cern.ch/eu-datagrid/
http://proj-openlab-datagrid-publi [...] id-public/  

Tenez, je suis tombé là dessus, ça permet de calculer la puissance d'un cluster par rapport à un SGI Origin 2000 de 16 processors : http://www.entropia.com/calculator.asp
 
(notez que je ne trouve pas ça très précis, et que ce calculateur ne prend pas en compte l'architecture)

Coda, pourrais-tu donner quelques conseils/idées pour ceux qui veulent s'initier ?
 
Comment as-tu appris à déployer et utiliser un cluster ?  

 
Sympa, mais il ne monte a plus de 1.7 GHz par noeud...  

 
Ben oui

Alors qu'on a passé le 3 GHz....  

J'ai rajouté quelques liens sur le premier post

 
etre curieux et essayer / tester des outils comme clic, oscar, alinka (normalement on peut recup des versions d'evaluation sur le site), ... et tester ...  
essayer d'installer mpi, pvm, lam (ya des examples fournis avec  pour tester les installations donc pas besoin d'apprendre a coder avec ses librairies ds un premier temps), openpbs, mosix ...  
 

 
j'ai commencé a bosser le sujet il ya qques années sur du matos perso comme bcp de monde ... comme c'est pas vraiement  un cours que tu trouves ds les ecoles ou fac d'infos .. donc faut se debrouiller ..
 
et bcp de lectures .. sur le clustering, sur le smp, la haute dispo, les calculateurs, le massivement parallele...

C'est le genre de méthode d'apprentissage que j'aime  
 
Maintenant que tu maîtrises bien, tu vois/utilises des applications intéressantes chez toi ?  

 
bah comme evoqué plus haut ça peut aider pour des applis necessitant de la puissance de calculs ... genre encodage .. meme si perso j'ai jamais eu l'occaz de tester pour le moment (mais ça ne va pas tarder je pense )
 
tjs ds l'encodage vidéo je connais une boite qui bosse ds la vidéo qui veut mettre en place des clusters d'encodage vidéo sous windows avec un soft qui existe mais non importé en france pour le moment

 
Tiens nous au courant    
 
 

 
Un client potentiel ?  

 
ce qui est sympa c'est qu'il essaye de faire bouger les offres classiques de materiels info pour la vidéo .. genre stations d'encodages, d'aquisition, ...

 
C'est à dire ?  

Fortran    
 
http://www.eurogrid.org/wp1.html dans le genre de folding@home pour faire très simple
Entre la météo, la physique des matériaux, la chimie quantique, la simulation de protéines dans l'eau, il ya de quoio faire dans les labos.
Chez toi, euh, y a 2 choses: d'une à quoi ça sert 3GHz chez un particulier de deux ben si on nous avait demandé quoi faire de 3GHz quand on avait des P100 on aurait pas répondu monter ses films vidéos en qualité supérieure au VHS, avoir un homecinema complet, faire des courts-métrages en images de synthèse    

En parlant d'achat de puissance proco, j'étais allé faire une visite au CNRS à toulouse et en effet, un mec nous a expliqué ils louaient un supercalculateur en allemagne je crois pour calculer comment une molécule agissait sur la molécule d'ADN bref un truc de fou       mais sté interressant  

 
 
ils n'arretent pas en ce moment les labos ..
 

 
 
bah tu pouvais le faire aussi (enfin images de synthese, montage video,...) mais tu prenais ton temps ..

Quels sont les langages phares pour développer des applis multi-proc ?

 
fortran

 
Et tu aurais un bon plan pour commencer a apprendre le fortan ?
Bouquin ? Site web ?

 
euhhh fortran je connais pas trop ...j'ai un peu horreur de la prog
niveau compilateur deja t'as tout ce qu'il te faut ds ta distrib linux ... sinon tu dois pouvoir trouver des boukins ou des tutoriaux sur le net je pense ..

Ouais, je connais un ami qui pourra me renseigner. Google qu'il s'appelle...  
 
Bon, je vais deja aller voir chez Oreilly's ce qu'il propose.
A+

 
voiala
 
bon debut de semaine prochaine on a un cluster a tester ... on fera un ptit coup d'encodage en parallele je crois ...

Rien sur Fortran chez Oreilly's  
 
Sinon un lien sur les calculs numerique (donc Java, Fortran, C/C++, Clustering, etc...):
(la section "Calcul Parallèle, MPI, Clusters et autres Supercalculateurs" semble apropriée a ce topic)
 
http://gersoo.free.fr/calsci/calsci.html
 
Et un topic que j'ai créé sur Programmation
http://forum.hardware.fr/forum2.ph [...] 88#t449298

 
Effectivement. Je le rajoute  

bon mes essai avec le clustering devienne enfin concluant
j'ai proceder a l'encodage de .wav en ogg de la meme maniere ke l'ont peu voir ici: http://www.linuxfrench.net/article.php?id_article=1177
 
 
juste avec mon Bi PIII 500: 7Min 21s
avec Bi PIII 500+ XP2400: 2Min 40s
 
le gain est loin d'etre négligeable
 
je cherche maintenant une manierre d'encoder un DVD de tel maniere k'il y est plusieur process ki utilise le CPU a 100% pour ke openMosix puisse repartir la charge sur le clustering

 
hier j'ai preparé le noeud maitre du cluster qu'on va utiliser pour tester l'encodage en cluster ... ça devrait le faire  

tu vas encoder avec la maniere expliker sur le tuto?: http://dvd.cricou.net/cluster-howto.html
 
ou tu encode normalement en utilisant un clustering derriere?

 
je vais essayer avec transcode pour voir ... si j'ai pas du boulot qui me tombe dessus en derniere minute ..

Bon je n'ai pas eu le temps d'essayer ce week-end, c'est reporté au prochain...

 
pareil ... me manque du matos pour tester tout ce que je veux ...

 
En effet, ca doit juste un calcule de la puissance crete (ie : nb_proc x frequence x nb_unite_calcul_flottant), il ne pennent pas en compte :
 - l'architecture (nb proc / OS, en gros pr eux 1x(16cpu/OS) = 16 x 1cpu/OS) ???
 - la taille des caches de processeurs (256Mo, 512Mo, ... voir jusqu'a 16 Mo de cache L2) ???
 - le reseau (ethernet 10, 100, 1000; myrinet; SCI) ???
 
Il y avait un type qui disais que la puissance crete correspond a "la puissance qu'on est sur de ne pas depasser", par contre ils ne parlent pas de la puissance efficasse (celle qu'on peu d'esperer atteindre).  
Un bon moyen de quantifier cela est d'aller voir sur le site :
www.spec.org
Tu trouveras :  le spec_cpu2002 (qui te donnes une comparaison des puissances de processeurs), et surtout le specrate (qui te donne une idee de la charge que supporte une machine).
 

 
Il faut surtout que tu vois comment faire communiquer tes taches!
 
En effet, le Fortran (C ou C++ ca marche aussi) te permettras d'ecrire le programme qui fera bosser chaque processeur, mais il te faudra faire communiquer tes processeurs (pour les sychroniser ou afin qu'elles puissent echanger des informations). Et la il faut utiliser des mecanismes de type memoire partage (threads ou OpenMP) ou de type memoire disribue (avec des bibliotheques de fonction d'echange de messages tel que MPI, PVM, ...).
 

 
Intéressant comme site. Mais il y a tellement d'entrées de cpu, c'est difficile de s'y retrouver.  
Et puis tout calculer à la mano...
 
Par contre c'est un bonne base de données pour qui voudrait programmer un petit calculateur comparant les puissances de cluster