Reprise du message précédent :
bon sujet
drapal  

y a un goulet d'étranglement à 100Mbits/s: le réseau ...
Seti dépend déjà du bus mémoire sur 1 CPU alors par réseau    
 
Au contraire avec POVRay, le loadbalancing peut même faire l'objet d'un script: 1 image à calculer de N lignes. Entre 3 machines on répartit n1+n2+n3=N lignes en fonction de la puissance de chaque et on récupère le résultat en 1 seule image une fois fini.
 
Réécrire avec MPI ou PVM ses programmes est important quand les noeuds du cluster doivent communiquer entre eux lors de l'exécution du programme (de manière plus compliquée qu'avec POV où un post-traitement suffit)

 
il peut utiliser les deux. l'idée c'est d'avoir réélement qu'un OS pour l'ensemble de tes machines. par exemple tu lances un process et l'os va le placer sur la machine la plus apropriée (la moins chargée a priori).
 
 
et pour seti pas etonnant qu'il ne fonctionne pas bien avec mosix ... deja en smp classique il ne fonctionne pas ..

c le comble qd meme pour un prog de calcul

il ne fonctionne pas en SMP mais je pensai pouvoir completement délocaliser le process sur l'autre PC, mais là quedal, j'arive a basculer le process sur l'autre PC, le rezo zst utilisé toutes les 5s et le proco reste a 1% d'utilisation....
 
je pense ke je vais faire un ti tour du cote de  Beowulf
ce projet m'a l'air pas mal aussi
 
http://etudiant.univ-mlv.fr/~rvays [...] 0linux.htm

 
http://dvd.cricou.net/cluster-howto.html ?

je connaissai dejà merci  

 
Génial ton lien , mapti !    
On a accès au sommaire général ici : http://etudiant.univ-mlv.fr/~rvayssad/index.html et il y a également les explications de base sur le clustering en général, les différents types de clustering et leur application... De la balle    
 
Comme il commence à y a voir quelques liens intéressants, je vais éditer mon premier post pour les compiler.  

cool le topis commence a ressembler a kkchose    
 
sinon moi je galere avec seti en clustering, suis aller sur le site de openMosix il dise ke seti est compatible avec le clustering, il y a meme une team seti openmosix, mais moi sa marche pas    

seti n'a aucun interret sous openmosix...
 
Seti est typique des programmes parralélisables, c'est pour cela d'ailleurs que cela tourne sur des millions de machines. Il suffit de lancer une instance de calcul et attendre, il fait un échange de donné toutes les 3 jours.
 
Mosix peut avoir un interret dans une compilation par exemple(avec un make -j n). Par contre, la duré d'une seul compilation est très court et le process n'aura probablement pas le temps de migrer. IL vaut mieux utiliser dist-cc, qui est un serveur distribué de compialtion (j'ai essayer et cela marche pas trop mal, l'optimal semble être atteind vers 3 machines).
 
Le projet Beowulf est juste le développement d'outils pour le custering un peu comme clic de mandrake.
 
Je crois que mandrake c'est amuser à faire tourner un quake sur 3 machines pour avoir plein d'écrans à la fois synchronisé.
 
dist-cc pour la compilation
transcode pour la compression video
clic comme distribution orienté clustering
OpenMosix/Kerrighed pour la distribution automatique des taches
 
 
Sans doute des versions de povray
y'a un truc aussi pour créer un système de script de distribution de tâche qui peut être plus efficace que mosix (mosix doit repasser par le PC d'emission pour les entrées/sorties).

seti a un interet sous openmosix tu lance X clien seti sur une machine et il les reparti sur tous les cluster
cela permet de ne pas a avoir a l'installer partout et de l'administrer ke sur une machine

Certe mais tu bouffes du rézo et des perf pour pas grand chose.
 
Avec seti n'est pas dans clic je crois, mais il dispose d'un urpmi parrallèle pour faciliter l'admin.

encore une url interessante: http://freshmeat.net/articles/view/458/
c en anglais mais cela presente bien le clusteering et a une liste d'url impressionante vers les diffrent projet de clustering

 
plutot comme une couche d'administration pour le cluster... pas vraiement une vraie distrib..
 

 
l'idée de Kerrighed est quand meme d'avoir un veritable OS au final qui peut gerer lui meme la repartition des process sur les noeuds en fonction de la charge par exemple. J'ai vu tourné et discuté pas mal avec les développeurs au dernier salon IPDPS ..
 

 
PBS

PBS ! je cherchais ce trucs !
 
Sinon kerrighed et openmosix sont vraiment sur le m^me marché. Il vont d'ailleurs bosser ensemble. Genre Mosix supporte le transfert de socket et pas kherriged et kherriged dispose de la mémoire unifié paginé.

 
Effectivement, c'est pas mal.
Je le rajoutes  

 
J'ai vu aussi que le logiciel Webmin (que j'ai utilisé récemment pour la configuration d'un serveur Samba) dispose, entre autres, d'une interface spécifiquement dédiée au clustering ( http://www.webmin.com/). Peut-être se base t-elle sur des librairies "standard" ?
 

 
Donc, Kerrighed dans sa version finale est censé utiliser une grappe d'ordinateurs comme un OS utilise les processeurs d'une même machine ?    
 
C'est quoi le salon IPDPS ?

Pour kerrighed oui.
 
Sauf qu'il s'agit d'un middleware et pas vraiment d'un os. Le problème d'un OS vraiment distribué est la gestion de panne. Un ordi plante et tout peu tomber. Cela arrive rarement quand on a 4 machines mais c'est plus fréquent avec 1000.
 
Disons que du point de vue de l'utilisateur, c'est comme si il y avait une seul machine.

Euh, j'ai un gros doute. PBS est libre ou pas ? Leur site est un gros truc de pub qui mets en avant la version pro qui tends à faire croire que la version pas pro est abandonné.
 
EDIT: C'est même pire que ça ! IL faut s'enregistrer pour accéder à la version d'évaluation qui est vérifié manuellement et qui peut prendre plusieurs jours !!

oui  
top ton topic  
 
 
    * Comment utiliser un cluster sous Linux pour encoder plus rapidement des Divx : http://dvd.cricou.net/cluster-howto.html
 
 
j'ai quelques cpu en rab et du temps libre pour juillet et aout  
 
je crois que je vais bosser dessus  
 
merci pour ton topics

 
OpenPBS
 
IPDPS: International Parallel and Distributed Processing Symposium
en gros un salon qui a lieu une fois par ans (cette année à Nice) , avec un ensemble de conférences sur le clustering, les algos paralleles, la haute dispo, le grid computing, ...
 
www.ipdps.org

Je rajoute une rubrique Salon/conférence    
 
Vu que ce topic intéresse et qu'on a déjà collecté quelques référence sympa, je vais le "transformer" en [Topic Unique]  

 
ya une conférence à EDF Clamart en octobre sur le clustering
 
http://www.irisa.fr/manifestations [...] lcomeF.htm
 

quelqu'un a reussi a se monter un clustering pour faire des test?  
celui ke j'ai tester sous openmosix est très décevant, je pense k'il doit y avoir une erreur de ma part ce n'est pas possible autrement. j'ai de moin bonne perf  avec  mon clustering (Bi PIII + XP 2400) que  avec l'utilisation de mon Bi PIII tout seul.    
de plus le patch open mosix dans le noyau semble diminuer les performance global du system  

 
Ajouté  

 
hum
Peut-être des paramètres à ajuster ?  
 
Je vais commencer mes tests de cluster ce week-end, je pense, j'ai un PIII650@800 et un Céléron 766 comme support.
 
Je pense commencer par Clic. Et il faut que je trouve des idées d'application pour le clustering.
L'encodage de divx me parait être un bon commencement  

Tres interessant, je plante mon drapal    
 

ya ça aussi qui peut etre pas mal http://ed.zehome.com/?page=lvs

 
20 Noeuds bi athlon avec un réseau 10GE ça compte ?  
 
 
 

Non, ça c un cluster de puceau      

 
bon bon bon
 
j'ai regulierement des ptits clusters de qques noeuds en tests .. en xéon, athlon ou opteron principalement ..
 
voiala voiala ..

 
Tu bosses dans quoi ?

 
le clustering je dirais

   
tu utilise koi comme logiciel pour tes clustering?
et quelles appli fait tu tourner dessus?

 
logiciel pour le clustering: sur celui la c'etait avec Oscar pour deployer. sinon ça depend du client en fait ... si les gens veulent du redhat baaah t'as des trucs comme oscar ou alinka ... si c'est du mandrake bah Clic.
 
pour les appli que je fais tourner dessus c'est celle des clients principalement ce genre de machine ça s'achete pas sur un coup de tete donc ils font des tests avant ...

 
Donc si je comprend bien (et sans vouloir rompre ton affiliation top-ultra-méga-confidentiel bien sur ), tu travailles dans une boite qui vend des solutions de clustering, et toi tu installes les futurs logiciels que vont utiliser les clients sur ton cluster de test !    
 
Tu es donc un expert, et tes conseils/tuyaux/bons plans nous seront certainement utiles    

 
ya un peu de ça ouais
en ce moment je suis sur un cluster de bi xéon avec mpi et ganglia pour la surveillance du cluster

Je suppose que tu dois beaucoup bouffer du linux sur plein d'architectures.
 
Dans le cas de code pas optimisé SSE à la main (genre code C compiler avec gcc), est-ce que les P4 est vraiment beaucoup plus lents que les Athlons (en comparrant un 2.4Ghz et un 2400+ par exemple qui sont censé être comparrable)? Et en virgule flottante ?
 
Un XEON est-t-il toujours 20% plus rapide qu'un P4 normal ?

skoi là le rapport avec le clustering? et avec osa d'ailleur...

 
quand tu vois les nouveaux P4 fsb800 non c'est plus trop ça l'ecart ... au contraire .. par contre le rapport prix / perf n'est pas forcement a l'avantage du P4.
 
pour le SSE, en general les applis qu'on a en tests sont des codes de chercheurs qui trainent ds des labos depuis un  bout de temps ... et donc pas toujours (rarement) optimisés donc bon les ecarts sont assez difficiles a analyser ...

Le culstering pas trop.
 
OSA ben, je parle de gcc sous linux....