Reprise du message précédent :

 
Intéressant comme site. Mais il y a tellement d'entrées de cpu, c'est difficile de s'y retrouver.  
Et puis tout calculer à la mano...
 
Par contre c'est un bonne base de données pour qui voudrait programmer un petit calculateur comparant les puissances de cluster  

 
par exemple
 
sinon tu peux trouver quand meme des benchs qui te donnent une idée sur la puissance de ton cluster par exemple avec pov t'as la scene chess2.pov avec un script pour la faire calculer en cluster

d'ailleur petit site avec des resultats de bench sous pov ..
 
http://www.tabsnet.com/
 
a titre indicatif je peux vous donner des resultats sur un petit cluster de tests...

pas reussi a metre en place transcode
dvdrip me sor une saloperie d'erreur kan je clic sur le bouton qui corespond a la config du clustering  

 
Ben oui, balances !  

 
Impressinant, ce cluster de 72 XP 2000+ qui est 3333x plus rapide qu'un P133    
3 secondes pour rendre la scène  , il m'en faut 4min 17 (257 s) sur mon XP2000+  
 
Si on fait 257/72 on trouve 3,57. Chaque PC semble contribuer pleinement au calcul global, c'est impressionnant !  

 
je viens juste de le refaire en utilisant les options de rendu de tabsnet.de sur l'image chess2.pov
 
 
   
 
sur un cluster de 3 machines:
 
1 noeud maitre: mono athlon xp 2800+  
2 noeuds de calcul: bi xéon 2.8 Ghz FSB 533, 2 Go ram
 
Il n'y a que les noeuds de calcul qui sont utilisé pour le rendu. L'hyperthreading est activé sur les xéons. Le réseau est du 100 Mbps (j'attend un switch giga..)
 
Povray est configuré avec MPI, et lance 4 process par machine xéon (pour utiliser les 4 processeurs logiques fourni par l'hyerthreading). On a donc 8 processeurs logiques pour les calculs.
 
donc petits resultats:
 
sur un seul noeud de calcul: 2min 57secondes
sur les deux noeuds de calcul: 1min 30secondes
 
soit une acceleration de 1.966
 
 

 
   
 
quand j'ai un peu de temps je le fait tourner sur un cluster d'opteron pour voir ...

Oui, j'ai oublié de préciser que le bench donc je parle est chess2.pov    
 
Je viens de refaire le test avec une version optimisée pour les athlons XP (téléchargeable ici : ftp://speedycpu.dyndns.org/pub/povray/povray35-xp.zip ) et j'obtiens 3min 55 (235s) au lieu de 257s, soit une augmentation d'un facteur de 1.09, c'est pas si mal    
 
Mais je n'ai trouvé qu'un binaire pour Windows optimisé Athlon XP, pas de traces du même pour linux sur le site de tabsnet.com  

 
Super !    
Sinon, quand tu dis "sur un seul noeud de calcul: 2min 57secondes ", tu parles du bi-Xeon ou du XP ?  

du bi xeon
l'ahtlon ne sert ka distribuer les taches si j'ai bien compri

 
Ah oui, d'accord !    
Donc tu as deux machines bi-xeon, Coda ?

 
tout a fait
 
l'athlon ne sert que de serveur nfs, dhcp, nis, ... et a lancer les applis

 
de dispo pour tests ouais ...
sinon j'ai une pile de noeud bi athlon (mais j'ai pas assez de fibres optique pour tout connecter ...), et des bi opterons ..

 
Tu connectes tout en fibre optique ?    
Tous les noeuds ? donc ils sont à 1 Gb ?

 
les bi athlons sont des noeuds qui sont en cours de maintenance, ils equipent un cluster qui est tout en fibre optique
 
sinon en general on prend du giga cuivre...

 
Et tu vois une différence de perfs si les noeuds sont en 100 Mbits ?

 
bah comme toute les cartes meres qu'on utilise ont deja le giga intégré ... autant l'utiliser
 
et en fonction des applis ouais tu vois la différence quand meme ...

je pense que cela doit bcp dependre du type d'application.
si l'application fait bcp de calcul en faisant tres peu d'acces sur des fichier sa ne doit pas jouer enormement.
a l'inverse comme dans le cas d'une compression d'une video l'utilisation de gigabyt doit etre tres appreciable

 
Genre 5%, 10% en plus ?  

 
voila ..
et comme tout est exporté sur le réseau, des que tu commences a manipuler les fichiers tu satures pas mal ...
sans compter les clusters qui ont besoins de latences tres faible ou la faut des reseaux speciaux ...

bon moi j'ai recuperer un ti DD (2.5Go) pour metre sur mon deuxieme PC. Je pourai faire des test de clustering un peu plus serieu sans etre obliger de passer par un live Cd
Je pense que je vais tester clic

 
ya encore des bugs et qques imperfections mais globalement ça marche pas mal du tout

Bon, je n'ai pas encore eu le temps ce week-end   , mais c pas grave, j'ai tout l'été de toute façon  

Bon, pas encore le temps d'installer Clic, mais j'ai lu les deux Login recommandés par Rasthor.
 
Voici un ch'tit compte-rendu :  
 
Login n°83, Clusters : Transformez votre PC en supercalculateur
 

• Article général sur les beowulfs
• Création d'une ferme de calcul avec PVM, dans le but d'optimiser le temps de calculs de scènes Pov-Ray  
• Le projet RC5 (distribued computing, donc)
• Le clustering de stockage avec PVFS

Dans l'ensemble, ces articles sont très succints et on apprend pas grand chose, je trouve
 
Login n°86, Les bases de la répartition de charges
 

• Article général sur la répartition de charge
• Linux Virtual Server : description
• Les algorithmes de répartition : explications
• Les limites de ces solutions et quelques alternatives

A l'inverse, ces articles sont très intéressants, quoique très théoriques : aucune application pratique n'est proposée au lecteur. L'auteur n'hésite pas à utiliser des formules mathématiques complexes pour étayer ces propos.
 
Donc dans l'ensemble, je trouve que ces magazines ne sont pas vraiment indispensables pour s'initier au clustering.

Le rythme ralentit...
 
Si vous avez un lien, un conseil à donner, un bouquin ou un mag à recommander, votre contribution sera appréciée    

Rasthor  

 
Oups  

kan j'aurai fini d'install ma gentoo je compillerai le kernel openmisx pour revoir tt sa

Salut  
 
 
ça fait déjà un mois que j'ai fini d'installer mon cluster 2 nodes .
Ce topics m'a pas mal mis sur la voie , mais j'ai suivi le forum Gentoo pour les instructions  
.
 
C'est jute deux machines à base de VIA C3  ( une 3ème arivera plus tard ...).
 
Le node slave est en diskless  
 
Le nodemaster est en NFS + Openmosix  
 
En ce moment je suis en train de coincer sur la partie DVDrip en cluster mode .
 
A chaque fois que je schedule le project il passe de waiting a running puis instantanément à waiting .
Car le 1er job est la passe audio et elle est aborted .
 
ça à pas l'air très clair si vous n'etes pas en cluster mode sous DVDrip .  
C'est juste pour savoir si l'un de vous à déjà utilisé DVDrip en cluster mode ?

ca m'interesse aussi!!

Bon j'ai résolus tous mes problème de fonctionnement sous DVDrip (cluster mode)  
 
Mais maintenant j'ai un problème avec le fichier encodé final .
 
DVDrip utilise transcode pour les fonctions de rippage , encodage et groupement des fichiers .
 
Les étapes de rippage et encodage passent apparement très bien .
 
par contre lors du merge j'ai un problème sur le fichier final , j'ai l'audio que 5 à 6 mn .
 
J'utilise transcode 0.6.9 avec transcode 0.6.6 j'arrivais à avoir 60 % d'audio sur tout le film , mais par contre il me prenait trop de ressource cpu le film saccadait trop  
 
ci dessous la commande transcode  
 

 
peut etre que je devrais faire un nouveau post au sujet du problème transcode ???

Bon pour avancer .
 
J'ai réussi à avoir un film final (audio parfait) encodé en mode cluster .  
 
Mais j'ai du sélectionner le format OGG car en AVI l'audio ça passe pas !!!
 
 
Sinon , savez vous si avec transcode on peut convertir un fçichier OGG en AVI ?

houla  
 

 

c'est un peu tard , mais mieux vaut tard que jamais .
Je vais présenter aujourd'hui au salon de thoiry mon Cluster .
 
C'est une machine conçu de A à Z et elle est assez particulière .
 
|----------------|
| 4 cartes mères  |  
| 1 alimentation   |-------> le tout dans un seul boitier
| 1 disque dur      |
|-----------------|
 
OS : Gentoo Linux  
OpenMosix  
 
Et soft pour fonction cluster : DvdRip  
 

wow les CM qui se partagent l'alim je peux imaginer mais se partager le DD ...
Comment tu t'y es pris? Chacune y a directement accès ou bien seule une des CM a physiquement accès au DD et ensuite l'OS rend transparent tout ça?

Oooh pouvoir tester sans se casser la tête!
 
http://bofh.be/clusterknoppix/
 
Knoppix + cluster = ben je vous dirai ça dans la semaine avec un "parc" (hum) bien hétérogène

 
C'est pas plutôt un fichier OGM (OGG Media = avi + son(ogg) ) ?  
Pour passer de l'OGM à l'AVI il faut passer le flux audio en mp3.

Au fait... vous etes au courant que pendant Linux Expo en février il y aura un Salon Clustering ?