[Compilation de références pour s'initier au clustering]
 
Sites Web :
 
Initiation Générale :

• Un très bon site qui explique le concept du clustering, les différents types et leur application, les projets sous Linux : http://etudiant.univ-mlv.fr/~rvayssad/index.html
• Linux clustering software, quels sont les différents types de logiciels utilisés et quelles sont leurs fonctions : http://freshmeat.net/articles/view/458/ [Anglais]
• Comment utiliser un cluster sous Linux pour encoder plus rapidement des Divx : http://dvd.cricou.net/cluster-howto.html
• Calculateur sommaire permettant de calculer la puissance potentielle d'un cluster par rapport à un SGI Origin 2000 de 16 processeurs et d'autres supercalculateurs : http://www.entropia.com/calculator.asp

Installation et configuration :

• Beowulf mini Howto : http://www.fysik.dtu.dk/CAMP/cluster-howto.html [Anglais]
• Comment mettre en place Linux Virtual Server : http://ed.zehome.com/?page=lvs

OS ou logiciels permettant le clustering :

• Clic (distrib Mandrake) : http://clic.mandrakesoft.com/
• Kerrighed : http://www.kerrighed.org/ [Anglais]
• OpenMosix : http://openmosix.sourceforge.net/ [Anglais]
• PVM : http://www.csm.ornl.gov/pvm/ [Anglais]
• Une liste d'environ 170 (!) logiciels/projets permettant le clustering sous Linux : http://freshmeat.net/browse/141/?topic_id=141 [Anglais]

Tests et articles :

• Test d'OpenMosix : http://www.linuxfrench.net/article.php?id_article=1177
• Article sur Clic : http://www.linuxfrench.net/breve.php?id_breve=309

Magazines :

• Login n°83, Cluster : tranformez vos PC en supercalculateur, Avril 2001 : http://www.possepress.com/cgi-bin/ [...] ng=1&nav=C
• Login n°86, Serveur et réseau : les bases de répartion de charge, Juillet/Aout 2001 : http://www.possepress.com/cgi-bin/ [...] ng=1&nav=C Magazines dipos en commande

Livres :

• Voir pour l'instant les éditions Eyrolles, beaucoup de livres en anglais   : http://www.eyrolles.com/php.inform [...] 80b070accb

Conférences/Salons

• Conférence EDF à Clamart en octobre : http://www.irisa.fr/manifestations [...] lcomeF.htm
• L'IPDPS(International Parallel and Distributed Processing Symposium), un salon annuel avec un ensemble de conférences sur le clustering, les algos paralleles, la haute dispo, le grid computing... : http://www.ipdps.org/ [Anglais]

Was :
 

Y'a eu deux magazines de Dream/Login qui en parlaient:
 
Dream de Fevrier 1999 numero 59
Login: d'Avril 2001 numero 83
 
(c'est un drapal déguisé en fait )

 
Dream, je suppose que c'était dans l'optique calcul 3D en réseau ?
 
Login doit être davantage orienté Linux, donc plus dans mon optique de recherche   .
 
Merci pour l'info, je pourrai éventuellement commander ces numéros !  

Ben Login est juste le nouveau nom de Dream (ex-magasine AmigaDream)
 
Tu devrais commander les 2 directement si tu peux.
Mais bon, ils ne vont aux fonds des choses, mais ça peut être un bon point de départ.
 
C'est dans quel but que tu veux faire ce cluster  ?

Pas dans un but particulier pour le moment, mais les possibilitées d'un telle technique m'apparaitront plus clairement quand je la maîtriserai un peu, ce qui me permettra de trouver des applications, je pense    
 
Ok pour Dream, j'ai confondu avec Studio Multimédia  

Je vais commander le n°83 sur leur site ( http://www.possepress.com/cgi-bin/ [...] ng=1&nav=C )  
 
Il y a aussi le n°86 sur la répartition de charges ( http://www.possepress.com/cgi-bin/ [...] ng=1&nav=C ) qui est un domaine adjacent au clustering, à priori    
 
D'autres bons plans comme celui là ?  

t'as regardé sous www.google.com ?
Et dans le forum, tu as fait une recherche ? Tu pourrais nous mettre les topics interessants par exemple.

Sur le forum, pas de topics intéressant : quelques questions, et peu de réponses ( http://forum.hardware.fr/forum1.ph [...] =1&subcat= )
 
Ce topic là est l'un des plus gros ( http://forum.hardware.fr/forum2.ph [...] h=&subcat= ) et n'est pas vraiment transcendant...
 
Quand à google, il y a pas mal de trucs sur Internet, mais c'est très touffu et assez orienté pro. Et rien ne vaut quelques conseils bien avisés en direct : je n'aurai jamais trouvé ces deux exemplaires de Login dans google !  

Un topic avec plein de lien:
http://forum.hardware.fr/forum2.ph [...] h=&subcat=

fait une recherche du cote de openmosix
http://openmosix.sourceforge.net/
 et pour un petit test:
http://www.linuxfrench.net/article.php?id_article=1177

 
Bof, y a pas tant de liens que ça...  
A part http://www.beowulf.org que je connais déjà et qui apporte pas grand chose pour l'initiation, le reste n'est pas très intéressant...

 
J'ai déjà regardé sur Internet, ça a l'air assez simple d'utilisation, mais c'est assez limité : ça ne divise pas un processus en plusieurs sous-tâches réparties entre plusieurs PC, mais ça attribue une tâche au PC le plus disponible dans le noeud.
 
Donc c'est du load balancing et uniquement ça : un processus unique qui prend 100 % des capacités de calcul de la machine ne sera pas réparti ( voir cet article de linuxfrench.net : http://www.linuxfrench.net/article.php?id_article=1177 )

tu cherche koi comme type de clustering?
parce ke repartir un processus sur plusieur machine je ne savai meme pas ke ct possible  

 
Ben vi, en fait je sais pas
Il me semble que les processus spécialement programmés pour peuvent être répartis entre plusieurs machines.
 
C'est le cas des clusters scientifiques qui forment un unique calcultateur virtuel : la tâche à calculer, par exemple le repliement d'une protéine, est divisée en un ensemble de sous-tâches réparties entre les noeuds et communiquant dynamiquement ensemble, comme les composants internes d'un ordinateur dialoguent entre eux.

apparement a part openmosix ya pas grand chose:
Qluster Os est payant je croi
openSSi a fait faillite
kherrighed s'arrete au noyau 2.2
 
il reste openmosix
mais de toute fasson il existe tres peu d'aplli specifique comme tu les decri.
openmosix reagira comme un PC SMP c ki est deja tres bien
bien utiliser je pense ke cela peu etre sympa

si tu veu faire un test sans te KC la tete:
http://bofh.be/clusterknoppix/
je le test ce soir perso

Il y a LinuxVirtualServer, aussi apparament (voir la toute fin de la page de Linuxfrench, qui prépare un article à priori)
 
Mais plutôt que des noms de logiciels, ce qui m'intéresse ici sont des pistes/livres/idées pour s'initier au clustering en général, et plus particulièrement sous Linux  

 
   
Tu t'intéresses aussi au clustering ?

je my interesse pour faire de l'encodage de DVD
un petit encodage en 30min m'irai bien et je pense pouvoir y ariver grace au clustering donc je cherche un peu.
sinon je n'en est jamais mis en place pour l'instant

 
C'est vrai que pour des tâches lourdes comme l'encodage vidéo, le clustering permet de recycler ces PC des générations précédente, genre PIII 650 ou Céléron 500, en augmentant la capacité de calcul pour un rapport performance/prix très intéressant... Sans compter le challenge du clustering en lui-même    
 
Je vois d'autres utilitées pour une utilisation domestique (mais pour Powers Users quand même) : rendu de graphisme 3D (Pov, Blender), décryptages de fichiers protégés, simulations diverses pour les étudiants scientifiques (qui peuvent ainsi se faire la main sur les techniques de clustering), optimisation des ressources en général, avec bien sûr encodage/décodage multimédia... La liste est certainement plus longue  

Deja une question fondamentalle:
 
Quel est le proc minimum et la mémoire minimum pour faire un cluster (donc faire tourner linux) ?
386 ?
486 DX ?
Pentium 60 ?
 
Quel prix honnete peut-on demander pour une si vieille machine ?

la config mini dépend des distributions, je suppose.  
 
Mais pour toutes les tâches que j'ai listée plus haut, je pense que le rapport encombrement/bruit/consommation électrique n'est pas optimal en dessous d'un PII 350.
 
Des PII 350, on peut en récupérer à la pelle pour pas cher si on sait les chercher...  

bon j'ai reussi a me monter un ti clustering entre mon athlon XP2400 et mon BI PIII 500 grave a clusterknoppix
sa marche plutot bien
a la sortie sa me fait un PC avec 3 proco et 1.5Go de ram
pas vraiment pus le tester a fond mais sa repondai plus tot tres bien

 
Le paramétrage a t-il été douloureux ?
Tu as un gain de perfs sur l'encodage divx ? et en général ?  

 
Tu as une estimation de prix ?

 
Petites annonces ou http://www.ebay.fr/    
 
Le top reste quand même les entreprises qui font évoluer leur parc, et peuvent être amenées à se débarrasser de dizaines de machines d'un coup.  
C'est des plans à capter, mais il y a moyen d'avoir pas mal de matos pour pas cher  

pas pu tester pour l'encodage divx car pour l'instant je fais sa avec des live CD
le parametrage est tres simple
le gain en perf est bon si il n'y pas pas trop de donner ki doive circuler par le rezo

Et tu vois un gain de perfs dans une utilisation classique, ou une plus grande disponibilité du système ?  
 
edit : grilled par ton edit  

Je me demande si ça peut améliorer les perfs dans les jeux ça    
 
On pourrait imaginer que oui si le jeux utilise plusieurs processus qui s'éxécutent en parallèle...

nop pas d'amelioration dans les jeux je pense  
deja ke le smp ameliore tres peu les jeux, alors le clusteraing encore moin.
de plus il n'y ya ke tres peu de jeu ki profite du SMP
 
et pout une plus grande dipso du system je dirai ke oui, mais c tt de meme moin  bien ke du SMP

tu ne peux rééllement accelerer ton appli que si l'appli est prevu pour avec des librairies de passages de messages comme PVM ou MPI.
 
au niveau du systemes d'exploitation, les OS "cluster" qui s'equilibrent d'eux meme sur differents noeuds c'est en cours de développement. Au dernier salon IPDPS (salon sur la recheche en clustering et haute dispo) des projets ont été présenté, certains sont très interessants..

open mosix a justemen fait pour palier au prob de PVM et MPI
sa permet de le rendre compatible avec plus d'aplication

j'install clusterKnoppix sur le dd de mon bipro
comme sa je pourai faire des test de compression DVD->divx

 
ouaip mais pas toujours tres efficace ... en fonction de ton type d'appli des systemes de gestion de file d'attente type PBS sont plus efficace

 
tu peux essayer CLIC aussi qui ne marche bien et avec de bons outils de gestion du cluster...

oki
là j'ai fini de l'install en dur
premier prob avec le live cd ma carte rezo ete bien reconnu, là apres l'install sur le dd plus de carte reseau
vais voir comment la parametrer

J'ai l'impression qu'il y en a qui mélange un peu tout    
 
openMosix : fait qu'un ensemble de PC passe comme un gros PC SMP (il me semble que le patch est inclue dans le noyau distribuer par mdk)
kerrighed : fait du partage de page mémoire, ainsi plusieurs threads peuvent tourner sur des noeuds différents.
 
Ensuite, il reste PVM, MPI qui sont des lib de passages de messages pour appli distribué. Je crois que POV permet de le faire.
 
Ensuite, il y a des applications écrites pour fonctionner en distribué comme transcode pour coder les divx et autre dvd.

Effectivement, c'est bien possible qu'on mélange tout, surtout moi, c'est pour ça que je veux apprendre    
 
Comment as-tu acquis tes connaissances sur le clustering ?    
As-tu des bons plans à nous donner ?  
 
Sinon, kerrighed peut-il utiliser la puissance de calcul des pc du réseau ou juste leur mémoire ?  

j'ai reelement tester openmosix ce soir en essayant de lancer plusieur instance de seti et de les repartir sur different PC.
tres décu, sa ne marche pas du tout . j'espere ke cela vien d'une incompatibilité avec seti, mais j'ai juste reussi a perdre en perf...

bon sujet
drapal