On m'a demande d'evaluer le cout d'un systeme pouvant contenir 10TB de donnees. Il faut :
1/Qu'il soit tres tres peu cher.
2/Un minimum de redondance.
3/Debit assure constant de 30Mo/sec en lecture/ecriture.
 
Bon avant que je me fasse incendie, ce systeme n'est qu'un systeme de stockage temporaire et l'utltra fiabilite n'est donc pas necessaire par contre, je me repete, le cout doit etre minimal.
 
J'ai donc pense a faire un systeme a base de PC x86 comme ceci :
12 PCs genre Sempron/ 256MB RAM / 5HDD 250GB Sata en RAID5 Logiciel avec interface gigabit
1 serveur avec au moins 13 interface gigabit connecte en PCI64 (j'ai trouve des cartes PCI64 4 ports)
 
Et c'est la que j'hesite :
Je comptait utiliser le serveur sous linux avec le Network Block Device sur les 12 PCs mais par dessus je ne sait pas quoi utiliser :
Raid 5 soft par dessus du Raid 5 soft (c'est pas propre mais si ca marche, ca protege au cas ou une des machines tombe en panne) ou LVM, qui apparement est tres "modulable" mais qui ne gere pas du tout la redondance d'apres ce que j'ai compris (il suffit donc qu'1 PC tombe en panne pour que tout soit en panne).
 
J'aimerrai donc l'avis de personnes ayant deja bidouille avec de tel systemes, si cela peut marcher comme decris ou je risque d'avoir enormement d'emmerde...
 
Encore une fois SVP, ne m'incendiez pas en me disant que c'est suicidaire de faire ce systeme a partir de matos grand public

J'ai deja fait 3 serveur de ~600GB a ~1200GB en RAID5 soft sous linux et ils fonctionnent correctement mais si un disque meurt... bah ca plante une fois sur deux (les donnees ne sont pas perdu mais le serveur a besoin d'un reboot pour fonctionner en degrade) - c'est a mon avis normal, les carte si3112 a 15 Euros n'etant pas prevus pour detecter les defaillances
 
Je n'ai pas de budget pour l'instant, on m'a juste demande de faire une estimation pour le moment...
 
Pour les DD le 400GO est un peu cher (mais simplifierai le truc ), il faut voir le prix final... Je retourne a mes calculs

Mouarf j'ai trouve un boitier de serveur avec 48 baies sata devant - avec 4 cartes 3Ware 8 ports et des DD de 400GB ca pourrai peut etre tout rentrer dedans (mais alors le prix )

 
D'apres ce que j'ai compris, c un systeme de sauvegarde/stockage temporaire de fichiers video HDTV (d'apres ce que j'ai compris pour decharger un autre systeme... enfin j'ai pas eut trop de details...)
 
Y'aurra naturellement des spares, il faudra encore que la personne s'occupant de ca sache se servir de mdadm (ou alors faire un petit script)

Pour le boitier, j'ai juste la description et pas de prix pour le moment (je sent bien le prix a la geulle du client) mais en  voyant le prix des alims 900W a cote, a mon avis 6 PCs standard doivent etre bien moins cher

Combo raid+lvm s'impose. Lvm peut pas s'employer seul, tu l'as souligné.

Je te conseillerais des solutions de ce type:
http://h18004.www1.hp.com/products [...] index.html
Ils font du bon matos, et tu pourras y trouver un ordre de grandeur au niveau prix.
 
Mais tout dépend de tes moyens, mais j'imagine mal qu'on demande une solution pour une telle masse avec peu de moyens..

J'ai jete un coup d'oeil a ca mais c'est apparement hors de prix (HP), du moins pour ce que dois faire...
 
On m'a plutot demande un systeme base sur des HDD haute capacite sata grand public (c un serveur de stockage temporaire de video HDTV (je me demande comment ils pensent utiliser 10TB mais bon...))
 
Je viens de trouver des cartes sata 8 ports assez peu cher en PCI64 ($200), j'en ai commande 2 je vais deja tester un peu avec ca (je pourrai peut etre tout rentrer dans un seul boitier rack avec hotswap en facade...)

en HD ca va très vite les besoins de place .  
 
Enfin après va te falloir investir dans du bon matériel réseau aussi , et le port PCI64 va commencer a limiter les perfs

dommage que drdb ne gere pas plus de deux machines
 
ca aurait pu te rendre service
 
(en gros c du raid over ethernet)

Les nouvelles cartes Athlon64 à nForce4 auront 8 ports SATA + 2 ports IDE (un seul disque par nappe en RAID) => 10 disques possibles. Donc trois machines suffisent, sans aucune carte RAID, ni carte réseau (le nForce4 a deux liens Gigabit), ni rien d'autre.
 
Donc moi je ferais ça, à la louche
- 3 CM nForce4 (3x200€) + 3 Amd64 (3x100€) + 3Go (3x100€)
- 3 Alims 450W (3x50€)
- 1 switch Gigabit (80€)
- 24 Maxtor/WD/Hitachi 200Go SATA + 6 Pata = 30x100€ environ
- 1 gros onduleur (indispensable !) 1000VA => 200€
Soit à la louche 4630€.
 
Niveau software, je ferais un gros RAID5 à 10 disques sur chaque serveur puis un RAID0 par-dessus les trois en exportant le volume RAID par nbd. C'est un peu moins efficace niveau fiabilité que d'exporter tous les disques par nbd, mais je ne sais pas si c'est fiable d'avoir 20 nbd exportés comme ça...
 
En tout cas tu as intérêt à démonter la carcasse et à ventiler le switch...

Salut,  
J'ai fureté du coté de gnbd et gfs, ca pourrait répondre pile poile à ton besoin avec de nombreuses machines. les possibilités de gnbd/gfs sont monstrueuses et c'est un vrai fs réseau
http://www.redhat.com/docs/manuals [...] OV-ECONOMY

et tu pourrais meme utiliser lvm avec gnbd/gfs

 
Thanks for the tip, je ne voyais pas ca comme ca (par contre je vais rester tout en serial ata pour des questions de simplicite de maintenance).
 
Pour ce qui est de GFS, j'ai deja jete un coup d'oeil, mais j'ai surtout compris que c'etait un systeme de fichier montable depuis le reseau par plusieurs personnes en meme temps (en R/W).
 
Et le iSCSI? Est-il possible que chacune des 3 machines soit un iSCSI Target (RAID5 sur la machine), et de faire passer le LVM dessus ca?

En lisant en diagonale, j'ai vu HDTV et Débit constant de 30 Mo/s ... cé pour du stockage (capture/diffusion) en temps réel  de flux vidéos  (broadcasting professionnel ?) ?

Tu fais un raid 0 avec 1112 disques 9Go scsi  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
[:tusort:]

En tout cas tiens-nous au courant de ton choix, ça peut servir

utilise un SAN.
 
le support iSCSI est jeune sous Linux. idem pour le support InfiniBand