Bonjour,
 
<edit>

• Présentation de la problématique Page 1
• Photos Page 5
• Passage 64 bits Page 6
• Le fichier excel pour prévoir le coût/l'espace disponible : http://demedj.free.fr/share/ServeurFichiers.xls
• Nouveau! Crash recovery page 21

</edit>
 
Je souhaite monter pour le stockage de mes photos et pour travailler dessus, un serveur de fichiers /sérieux/.
Pourquoi ?  
 
- J'en ai marre de devoir échanger les données d'un PC à un autre, de ne plus savoir quelle est la copie la plus récente. Un réservoir central est une bonne solution. S'il est assez rapide, je pourrai travailler directement dessus.
- Plusieurs PCs sur mon réseau ont leurs disques pleins, je n'aime pas faire de ménage.
- Mes photos sont précieuses à mes yeux, et elles sont en danger que le disque sur lequel elles se trouvent crashe.
 
(1) Mon besoin est d'environ 150Go/an
 
(2) Ces données ne doivent pas pourvoir être supprimées par la perte d'un disque => RAID5
 
(3) Je ne souhaite pas avoir de Raid5 matériel car dans 5 ans si la carte tombe, je risque de perdre mes données.
 
(4) Le système le plus stable pour ça me semble Linux, après m'être documenté : de plus je n'ai pas l'intention de payer Bill pour stocker mes photos, ni de les lui confier... De plus avec des scripts bien gaullés, il peut assurer le backup de mes autres PCs la nuit sans broncher.
 
(5) Le système doit booter sur un RAID1 sans quoi une défaillance du disque de boot me ferait perdre mon serveur (pas les données, mais c pénible quand même), Linux ne peut pas booter sur RAID5, je crois qu'il n'y a que les RAID5 matériels qui permettent ça. Il swappera aussi sur le RAID1, et le /tmp a priori sera aussi dessus.
 
(6) Certaines données n'ont pas ce besoin de fiabilité (MP3 que je peux reconstituer, DIVx pareil), on pourra mettre sur ce serveur des groupes de disques non fiabilisés.
 
(7) pour les données non fiabilisées, le RAID0 permet d'ajouter des disques tout en n'en voyant qu'un, c'est un bon recyclage des vieux disques... En Linux ils peuvent être USB, FW, ou autres... Sans aucun RAID ce peut aussi être envisagé...
 
(8) Il faudra bien faire des copies de sauvegardes sur un support (mais là je n'ai pas de réponse pour ce genre de volumes)... Ceci est optionnel dans un premier temps...
 
(9) le serveur doit communiquer en Ethernet 1Gb au minimum, ce doit être évolutif.
 
(10) Pour la partition RAID5 : on a (tous disques de même capacité)
      1 disque pour l'usage du RAID
      1 disque spare OPTIONNEL pour reprise transparente en cas de défaillance
      n disques.
 
      La capacité totale étant n x CapacitéUnitaire.
 
      On "perd" donc deux disques qui sont "le prix de l'assurance".
 
      Le disque spare est quand même très intéressant, car le système se remet en dituation fiable tout seul après perte d'un disque.
 
(11) Comme on se doute qu'il y aura beaucoup de disques, le prix au Go est important, sauf que plus on met de disques plus il faudra de contrôleurs... 4 disques/contrôleur...
      On trouve des 250Go pour 0,44€ le Go, mais en UDMA il en faut 11 pour faire 2To 7 pour 1To...  
      En SATA les 250Go sont tout de même ce qu'on trouve de moins cher par Go...
       
edité+++
(12) sur les disques dur, 1Go constructeur = 0,93 Go formatté (différence de 1024 à 1000 au cube).
---edité
(13) Si on utilise nbDisques disques, la capacité utile est de  
      capacitéRaid5 = (nbDisques-1) (capacitéUnitaire * 0,93) (*)
      capacitéRaid5 = (nbDisques-2) (capacitéUnitaire * 0,93) (**)
      (*) si on n'utilise pas de disque spare
      (**) si on utilise un disque spare
 
(14) Le meilleur prix au Go est actuellement pour les 250Go - 300Go
 
(15) Le meilleur prix de contrôleur par disque connecté est pour les SATA 4 ports (Promise SATA150 TX4)
 
(16) en mettant 2 contrôleurs et 8x 300Go, j'ai 1,5To (1,674 utile) pour 1042€ (à la louche) alors qu'avec 3x500Go non RAID, c'est déjà plus cher  1 062,33 €, et sans compter le contrôleur...
      Donc la config 2 contrôleurs 8x 300Go extensible facilement avec 3 contrôleurs commence à être intéressante. Le bas prix au Go compense le surcôut du RAID5...
       
      J'ai fait un tableau Excel pour m'y retrouver, je peux vous l'envoyer.
 
(17) Ler performances CPU ne me semblent pas cruciales : peu d'utilisateurs simultanés, 1000Gb/s max, pas d'utilisation locale (c'est l'erreur à éviter si l'on veut que le serveur soit fiable).
 
(18) En utilisation domestique, le HotSwap n'est pas un besoin (surtout si l'on a un Spare Disk).
 
(19) Le spare disk n'est pas indispensable pour démarrer. Comme il prend le relai du disque défectueux automatiquement, il offre une sécurité et une tranquillité supplémentaires.
 
=================================
Maintenant, voilà les questions :
=================================
 
(Q1) Sachant que le RAID logiciel coûte des performances, quel CPU est nécessaire ?
 
(Q2) Le RAID5 est très fiable et rapide, mais a besoin d'une sauvegarde. (qui n'a jamais effacé un fichier par erreur.
       Quelles solutions a-t-on ?
 
(Q3) J'ai avancé le critère du prix pour me décider, mais le PCI -> SATA I n'est pas ce qui se fait de mieux, mais je n'ai pas trouvé grand chose de plus moderne capable de supporter un grand nombre de disques (c'est quand même le prix au Go du disque qui détermine le prix de la config)...
    => Qu'est-ce qui existe pour mettre beaucoup de disques dans un PC en SATA II?
 
(Q4) Quelle carte mère peut être utilisée ? là j'avoue mon incompétence...
      Je ne pense pas utiliser plus d'1Go de RAM (et de la pas chère)...
      La carte mère doit pouvoir accueillir les deux disques de la partition RAID1 de boot, UDMA de préférence, c'est moins cher (40Go (x2 en RAID1) suffisent largement pour mettre tout l'OS, /tmp et swap).
      Avoir des USBs et des FireWire en pagaille n'est pas inutile pour ajouter des disques à la partie non RAID.
      Le Gigabit intégré élimine une carte réseau, c'est acceptable (si elle plante, on peut en mettre une).
      La video intégrée est surement une bonne idée si bas de gamme.
 
(Q5)  Quel boitier pour y loger 10+ disques ? Il doit être suffisament bien fait pour bien dissiper la chaleur produite pas les disques, ou alors les disques peuvent être dans un autre boitier.
 
(Q6) Comment sous Linux FC4, administrer cette machine à distance?
 
Si quelqu'un est intéressé (je n'ai peut-être pas tout écrit ici), prenez contact avec moi en le signalant ici, mon filtre à spam est un peu grossier ...
 
 
A++
--
Coyote

Ton analyse est brillante    ... mais elle serait surtout optimale dans une grande société qui gère une BDD stratégique d'informations produits/clients    
 
Pour un usage perso et un budget plus raisonnable, un RAID1 de HDDs Seagate suffit amplement.
 
En plus de 10 ans de Seagate sans aucun RAID, je n'ai jamais perdu un seul octet de données    

Q1 : on trouve des cartes socket 754 avec 4 connecteurs sata ce qui peu etre pas mal pour faire un des raid, et dessus on monte un sempron (70€ en version boite)
 
Q4 : pour la video faut souvent chercher dans les carte µATX et coté gamme sup pour avoir le gigabit ethernet
 
Q5 : je pense au Staker (ortho ?)
 
Q6 : en ligne de commande via ssh
ou alors comme tu semble avoir de gros moyens : http://www.nomachine.com/products_available.php
le serveur NX : 55€, le client est gratuit et il y a une demo de 1 mois pour le serveur
C'est pour l'instant le meilleur truc de controle à distance que j'ai essayé

 
1- Une grande société utiliserait une baie de disques, en fiber chanel, à 15000rpm, tout en hotswap, avec un vrai OS...
2- Ben non : en RAID 1 la capacité utile est 50% de la capacité physique. Pour avoir 1To en RAID1, on a besoin de 2To de disques => beaucoup plus cher.
3- Shit happens... Moi j'ai eu des disques qui s'arrêtent (ok: c'était sur un portable).
 
A++
--
Coyote

Dans ma structure, on se contente de: RAID5 3 gros disques + Win2K adv server SP4 + backup fichiers incremental journalier sur SAN + export données niveau 0 journalier => cela suffit largement même pour nos données importantes    

Excuse.. je n'avais pas vu que tu voulais 1To tout de suite   donc là oui c'est RAID5 obligé    

Effectivement le risque 0 n'existe pas... mais même une bande d'un SAN ou un disque optique peuvent lacher    
 
Si j'étais à ta place, pour limiter les frais et la complexité de la solution de stockage, je graverais un partie sur DVD pour éviter d'être obligé d'avoir 1To en live    C'est vraiment "lourd", 1To en actif, pour un particulier  

 
Merci de ne plus remettre en cause mon besoin, ce n'est pas l'objet de la question... Je veux bien comprendre que tu n'as pas le même besoin.
 
Graver sud DVD n'est pour moi pas une solution solution : c'est lent, la capacité est faible, et le support n'est pas fiable. La sauvegarde sur un site internet me parait plus intéressante à cet égard (la copie de sauvegarde devrait être loin de l'original). Mais 1To ca devrait faire cher...
 
On peut discuter de mon besoin, mais ce n'est pas le propos...
La machine que je souhaite monter durera des années, on commence à parler de la TVHD, le montage video a de gros besoins en volume.
Et puis dans mes contraintes, je veux une solution qui ne me coûte pas les yeux de la tête... Le RAID 5 avec 3 disques par exemple est pour moi un gâchis d'espace. Chez moi je ne ferai pas de backup journalier (sur quoi ?)
 
Ce qui m'intéresse c'est de le monter, je viens d'apprendre qu'on peut remplacer un disque mort par un plus gros en Linux, ça permet d'augmenter la capacité, mais je n'ai pas encore tous les détails...
 
A++
--
Wile E. Coyote
 
 

Okey pas de souci, je voulais juste savoir si tu avais considéré le gravage comme solution intermédiaire    Sinon, mon besoin est assez proche du tien, mais je ne "consomme" que 75Go-100Go/an - car toute ma vidéothèque/audiothèque est sur disques durs - contre 150Go/an chez toi.
 

Pour l'instant, je me contente d'acheter de gros Seagate 7200 tous les 1-2 ans car leur fiabilité sur 2-3 ans est la meilleure du marché.  
 
Sinon, pour l'avenir, les films DVD prenant de plus en plus de places (2 DVDs déjà pour la Liste de Schindler) et l'acquisition vidéo (norme HD...) étant de plus en plus consommatrice d'espace, je suis en train d'étudier une solution Dell de ce type:
 
http://www1.euro.dell.com/content/ [...] l=fr&s=bsd
 
... de préférence d'occasion    
 
Mais je considère avoir encore un peu de temps car Seagate propose déjà du 500Go en SATA2 alors que j'ai déjà une carte Promise SATA300 TX4. Ayant 3 Seagate SATA, cette carte permet de répartir les risques de perte de données sur 3 disques récents (et qui le resteront). C'est moins sûr que le RAID avec un spare mais cela me permet de fonctionner avec un budget limité sans trop de risques.
 
Tiens nous au courant de ta solution finale car nous sommes assez nombreux à devoir gérer cette problématique de stockage massif  

 
Ouais, il y a bien des solutions toutes faites comme :
http://www.macway.com/index.php?cPath=13_1068
C'est marrant, je n'ai pas trouvé ça chez des vendeurs de PCs...
 
Mais je trouve ça encore trop cher, leur marge est trop facile...
 
Pour l'instant je cherche une carte mère avec
      Une video pas performante mais intégrée
      Un éthernet 1000Mb/s
      UDMA 133
      SATA I au moins
      USB 2 : un max de ports
      FireWire
      pas trop gourmande en Watts
 
Et de préférence pour CPU AMD (par religion, je l'admets)...
 
A++
--
Coyote

http://materiel.net/details_GA-K8N51GMF-9.html

Intéressant, Ginie !  
 
Bravo pour ta rapidité !
 
Je voudrais bien savoir comment tu as trouvé si vite, par exemple si tu as un moteur de recherche, parce que si ta réponse est correcte, c'est un peu trop haut de gamme pour moi...
 
Par exemple je n'ai pas besoin d'un proc 64 bits.
 
Merci,  
 
A++
--
Coyote

le probleme c'est que tous les amd sont 64bits
 
pour du moins cher il faut aller sur du socket 754 avec un Sempron, et là on risque de ne plus trouver de reseau gigabit et de firewire
 
 
sinon il suffit de connaitre un peu les gammes, par exemple la video integrée se trouve surtout sur les cartes µATX, le firewire sur du milieu/haut de gamme, le gigabit lan sur du milieu de gamme, ...

bon alors dans ce cas je veux bien oublier le FireWire

voire même passer à Intel, si c'est moins cher  

je pense pas que ça soit possible

http://materiel.net/details_K8NF4G-SATA2.html
+
http://materiel.net/details_SEMP-2800-64.html

On se rapproche...
 
Mais le 100Mbits est rédhibitoire il me faut 1Gb/s, c'est essentiellement un serveur de fichiers... Et puis j'ai déjà les deux PCIs occupés par les Serial ATA... Je ne peux pas mettre la carte réseau en option.
 
Les contrôleurs SATA 8voies pour PCI-Express sont trop chères pour l'instant.
 
C'est dur la vie !
 
A++
--
Wile

je trouve pas de 754 avec video et gigabit

Je sens que je vais le prendre sans carte graphique intégré et prendre une carte graphique genre Radeon 7000...

http://materiel.net/details_K8NE.html
+ le sempron + une carte graphique pci en occase sur le forum

http://materiel.net/details_K8N-E.html
 
http://materiel.net/details_SEMP-2800-64.html
 
http://materiel.net/details_R7000-32-AGP.html

à ce compte là, je prefère nuancer pour la carte mère avec  
http://materiel.net/details_MS-7135.html
 
Parce que j'économise un contrôleur SATA...
Mais le port graphique est un AGR...  
Je peux toujours mettre une vieille carte VGA PCI que j'ai encore ...
 
A++
--
Wile

Ce topic est super intéressant et les bonnes questions sont posées.
J'ai également ce problème, pour l'instant j'ai des DD externes qui sont presque plein.
Mon dernier achat un boîtier NAS qui coûte EUR 65.-.
http://www.pyrogate.com/Franzoesis [...] sc_fr.html
Je suis en train de le tester, mais il est malheureusement en 100bits, donc ne répond pas à tes besoins.
Les NAS du marché avec plusieurs DD sont très cher et souvent avec les DD inclus.
 
Quelle distribution Linux est prévue?
 
Je serais curieux de tester une telle solution sur un vieux PC et peut-être ensuite en monter un.

Il est en 100Mb et il n'est pas fiabilisé, tes données sont perdues si le disque décide de ne plus fonctionner.
 
Merci, La distrib Linux que je préssens est la Fedora Core 4, un RedHat vraiment open source.
http://www.fedora-france.org/
 
Mon but est qu'après configuration, il n'y ait plus rien à lui faire pendant 5 ans... (bon: arrêt pour les vacances...)
 
Petite doc sur le RAID sous Linux qui m'a convaincu d'y aller :
http://en.tldp.org/HOWTO/Software-RAID-HOWTO.html
 
Mais attention, un tel serveur n'est pas à l'abris des corruptions logicielles de données (virus, effacement accidentel).
 
A++
--
Wile

Dans l'ensemble il en va des serveurs comme des disques durs, comme des cartes Flash, ou MP3 Players...
 
Plus c'est gros, plus sa perte est grave...
 
Mais cette proposition est contrecarrée par :
 
L'union fait la force.
 
(en RAID, le système n'est pas sensible à la défaillance de l'un des composants, s'il y en a au moins 2).
 
 
 
A++
--
Confucius prit la parole. Tout le monde fit silence. Il dit alors :  
"Vous trouvez pas que la sauce de soja a un goût de chiotte ?"

Juste en effet, rien n'est sécurisé.
L'utilisation de Linux ne coût rien, mais par contre beaucoup de temps.
Personellement, j'aimerais fair un truc du genre, mais je pense qu'il faut s'y connaître en Linux, car si il y aun truc qui foire, comment le résoudre si on ne connaît pas grand chose.

 
Tu as raison, mais ce qui est sur c'est que tes disques, eux contiennent l'info,, même si un disque est flingué.  
 
Le RAID garantit ça, et rien que ça.
 
Si toute ta machine est morte :
1- tu pries pour qu'au maximum un seul disque soit mort.
2- tu récupères tes disques RAID (ils doivent être étiquetés par leur device name préalablement (à la première istallation de Linux).  
3- tu refais une machine Linux.
4- tu reconstruis un /etc/raidtab conforme à la nouvelle place des disques sur la nouvelle machine.
 
Tout ça pourrait être fait plus simplement, plus automatiquement, mais tellement plus cher qu'on sort d'une utilisation domestique...
 
Je viens de penser à quelque chose dans mes réflexions: il est nécessaire de penser à durcir l'alimentation pour le risque de panne de courant => Onduleur.
 
A++
--
Wile
 
Et une fois tes données récupérées, tu montes une nouvelle machine.

et pourquoi pas une carte firewire 800 et  "n" disques externes le tout géré par ta machine principale sur laquelle tu installes Win server 2003 qui gère le raid logiciel (et pas un hack comme sous win xp)
Les disques externes sont un peu plus cher que les disques seuls, mais pas de soucis de cartes sata / ide, pas de carte mère ni proc et ram à acheter.
Fait le calcul mais ça peut être interessant je pense.
 
()

 
Au niveau coût, ce que tu me proposes c'est d'acheter (800€ HT) un logiciel et une carte au lieu d'une machine. C'est à peu près le même prix, vu que Bill vend sa soupe plus cher que Boitier + CPU + Carte mère... Sauf que ma solution est beaucoup plus fiable.
 
Je pars sur 8 disques durs. 8 transfos pour les alimenter (vas-y: donne un coups de pied dans la prise multiple) ? Tu la vois la filasse ? Du reste je n'imagine pas que le 8ème sur la chaine soit aussi vif que le premier, et je crains que si le 3eme grille, les suivants soient inaccessibles sur une chaîne FireWire...
(20) => exit le FireWire pour les disques RAID.
 
Ensuite, je ne veux pas mes données sur la machine de travail, sur laquelle on installe plein de logiciels qui déstabilisent l'OS, sans parler des virus.
 
C'est marrant comme les gens n'hésitent pas à reconsidérer un besoin simplement parce qu'ils ne savent pas y répondre totalement  . Tu ne travaillerais pas pour une SSII ?
 
Blague à part :
 
Ma machine principale, je veux pouvoir en changer sans toucher à mes données. La réinstaller, la rebooter, la VMWariser...
Et puis j'ai d'autres machines qui doivent pouvoir travailler sur ces données.
=> Il me faut un serveur.
 
Ce serveur aura une durée de vie supérieure à celle de toute station de travail connectée à mon réseau.
 
Par ailleurs, être forcé par Bill à changer de système quand LUI il décide, c'est pas vraiment le genre de la maison...
 
Du reste ajouter 50% au prix de la config juste pour avoir un OS en couleurs me laisse dubitatif, voir  (4)...
 
A++
--
Wile

Je viens de discuter avec un collègue qui a grosso modo le même besoin de serveur fichiers persos (150 Go/an).
 
Il est en train d'étudier la réplication (voire l'achat négocié) du nouveau serveur Dell Poweredge 830 SATA:
http://configure2.euro.dell.com/de [...] e_830_sata
 
Pour l'instant, il en est à env 1700€ (ce qui correspond à son budget).
 
Lui aussi va mettre du Linux open source (non packagé)  

 
Ils vendent leurs disques très cher... Le reste aussi d'ailleurs...
 
Pour ce budget, en reprenant mes grilles Excel, j'arrve à 1953Go, ou 2088Go, ou 1858Go selon les configs, et c'est du volume UTILE: je tiens compte des Go formattés et de la perte induite par l'utilisation de Raid5 avec un disque de spare. => un disque crashe, il est reconstitué, et rien ne se passe pour l'utilisateur.
 
Pour faire 1000Go utile, j'ai selon les configs, les prix suivants:
 1 409,84 €  
 1 308,44 €  
 1 356,84 €  
 
Et encore, j'utilise le RAID1 pour le disque de boot, ce qui est discutable : si on fait un backup de temps en temps sur CD, il est facile de restaurer l'OS en quelques minutes après crash disque, alors qu'en RAID1, il ne se passe rien.
 
Celà dit plus on descend en capacité nécessaire, moins ma config est pertinente, ou alors il faut recycler une vieille machine...
 
Mais je n'ai rien à vendre : si tu veux, je lui passe ma grille Excel.
 
En tous cas il trouvera ici des informations qui devraient l'intéresser.
 
Ton ami a-t-il regardé les serveurs san de MacWay (voir plus haut) ?
 
A++
--
Wile

Non, mon collègue ne connait pas MacWay.  
 
Je vais lui envoyer le lien vers le Serveur Nas Macway 1.28tera 7200t 8mo (4 X 320go)  
http://www.macway.com/product_info [...] ts_id=4739
 
Mais pour 1800€, je pense qu'il préférera monter lui même le serveur car 960Go en RAID5 sans disque OS indépendant c'est un peu limité pour lui.
 
Sinon, merci pour le tuyau    

donne lui mon contact, il peut être intéressé par ma feuille Excel

Salut,
 
J'ai mis en ligne ma feuille Excel pour constituer la config de mon serveur.
 
Elle est fournie sans support technique, espérons qu'elle vous aide à trouver votre bonheur...
 
http://demedj.free.fr/share/ServeurFichiers.xls
 
A++
--
Wile

Je résume la configuration que j'envisage pour que vous me la critiquiez :
 
 Boitier
  Cooler Master STC-T01 Stacker
      139€
 Alimentation
  LC Power 420W LC6420 Gold
      40€
 Carte mère
  GA-K8N51GMF-9
      73€
 Processeur
  AMD Sempron 2800+ (Boîte, 64 bits)
      80 €
 Mémoire
  512 Mo x2
      80€
 Disque Boot
  40 Go UDMA   40€
 
 Disques Data
  RAID5: 8x Maxtor 300Go 7200 RPM S-ATA (DiamondMax 10)
      948€
 Contrôleur SATA supplémentaire
  Promise SATA300 TX4  75€
 
 Lecteur DVD
      22€
 
     ===========
             1 524,84 €  
      10 002,29 FRF
 
Je sais pas si j'aurais pu en le voulant m'approcher plus près de ce budget...  
 
Voyez-vous quelque chose qui manquerait ?
 
 
A++
--
Wile
   

surtout pas de lc power !!!

AMHA l'alim semble un peu légère pour 9HD.

t as vraiment besoin d un go de ram ?

Fortron Fortron 500W ATX FSP500-60THN BlueStorm ?
1 Go non pas vraiment, mais on est en 2006...