Bonjour
 
J'ai enfin monté mon serveur NAS, et je vais vous décrire comment.
 
Le Matériel
Un gros boitier, (http://forum.hardware.fr/hardwaref [...] 0513-1.htm, dernière page pour les photos), le CoolerMaster Stacker. Celui-ci utilise des sous-boitiers "HDD 4 en 3" qui permettent de monter 4 disques 3,5" dans 3 emplacements 5"1/4 avec un ventilateur 12cm pour les ventiler, ce boitier est vendu séparément, et un est déjà inclus avec le CoolerMaster Stacker, j'en ai donc acheté un supplémentaire.
 
En effet, j'ai mis un disque de boot récupéré (8Go de bâse) pour le boot, et 8 disques Serial ATA Maxtor MAXLINE III 300Go (garantis 5ans) chacun pour le stockage des données... Oui, ça en fait...
 
Pour connecter ça, après une recherche assez longue, j'ai trouvé la carte ASUS K8N4-E Deluxe qui dispose de 8 ports Serial ATA groupés en 2 contrôleurs, un nVidia et un Silicon Image. Les deux permettent un certain niveau de RAID, mais je ne voulais pas devoir tout pêter le jour où je change de carte mère... Done le RAID sera rêglé en logiciel. J'ai changé son ventirad en un radiateur bien qu'aujourd'hui si c'étair à refaire je m'en dispenserais, c'est le CPU qui est le plus bruyant.
 
Cette carte n'a pas de carte vidéo intégrée, j'ai donc pris du bas de gamme (le serveur ne tourne en graphique que marginalement).
 
J'ai pris 1Go de RAM parce qu'on est en 2006.
 
Et un Sempron 2600+ parce que j'ai pas besoin d'un CPU puissant. Si j'avais su je n'aurais pas pris son ventirad qui est la principale source de bruit de mon installation. Merci AMD!
 
Alimentation: 600W (ASUS parle de 350W, j'ajoute 8 disques de 25W max chacun, ça fait 550), la mienne est une Enermax Noisetaker 600W.  
 
L'OS
Je modifierai cette partie lorsque j'aurai changé ma config en x86_64: il semble qu'on gagne 30% de temps CPU, et le RAID5 est "réputé consommer".  C'est un kernel 2.6.15...
<edit date="20060303">Le 64 bits est maintenane installé, no problem</edit>
 
J'ai choisi une distribution Fedora Core 4. Elle a l'avantage d'être dans la famille RedHat, puisqu'il faut choisir son camp, ça me désole, mais ce que j'en ai fait ne diffère pas en debian...
 
J'ai expliqué que je souhaitais faire du RAID5 logiciel : un stripping sur 7 disques avec un disque Spare pour survivre au crash d'un disque et se remettre de lui-même en mode nominal après moins de 2h (en mode dégradé : mêmes fonctionnalités mais un peu plus lent) en cas de perte d'un disque. Je ne veux pas un RAID matériel parce que les cartes qui font ça de manière sérieuse (avec plus de 4 disques) sont inabordables, PCI donc lentes, et pas à l'abri d'une défaillance. Je veux bien remplacer une CM à 80€, mais remplacer une carte RAID à 700€ est une autre histoire...
 
Une réflexion sur mes besoin m'a mené à la conclusion que je n'ai pas besoin que TOUT mon espace soit en RAID5... Je décide donc de partitionner chaque disque et 38% non RAID, 62% RAID pour avoir 1To en RAID et 800Go en non RAID.
 
Mon linux boote sur un /dev/hda, le disque dur standard, pas de mystère, la partie RAID et autre sera traitée après l'installation.
Un fichier Excel donne les détails: http://demedj.free.fr/share/ServeurFichiers.xls
 
La configuration
 
J'ai décidé d'utiliser fdisk alors que LVM permet de s'en passer totalement, mais les tests de perfs que j'ai faits avec LVM me font un peu douter de ses performances...
 
Logical Volume Management doit être installé, mdadm aussi. Selon la distrib, ces mackages existent surement.
 
Par ailleurs, ayant entendu du mal de ext3 en reprise sur arrêt forcé, je lui préfère ReiserFS, J'ai aussi installé xfs, mais je n'ai pas benché les différences. ReiserFS m'a paru moins performant que ext2 mais pas que ext3... ReiserFS n'est pas inclus dans la distrib FC4, un coup de yum et c'est fait.
 
Les Partitions
 
Chaque disque /dev/sd[a-h] est donc partitionné en deux partitions primaires

J'ai fait ça à la main, c'est pas très compliqué, avec fdisk. Par la suite j'ai fait un script qui fait ça, mais il n'est pas très malin, si fdisk ajoute une confirmation dans une version ultérieure, mon script aveugle se plante, j'ai honte, je ne le livre pas .
 
Le RAID5 device
Pour configurer le RAID device, j'étais tellement impressionné par la simplicité de la commande que je vous la livre :

Bon OK: j'explique :
--create : création initiale du device /dev/md0 qui sera le disque RAID5, mon disque réputé indestructible.
--level=5 : je crée un RAID5, pour info le RAID6 est supporté par Linux, mais ça me semblait un excès de zèle, couteux, et pas mieux que RAID5 + 1spare, enfin ça existe : on ne va pas se plaindre.
--raid-devices=7 : j'utilise 7 disques (les 7 premiers de la liste qui suit) pour le RAID5, donc la capacité de 6; plus un disque pour la parité (XOR).
--spare-devices=1 : j'utilise un 8ème disque pour relayer toute défaillance de disque. C'est le huitième disque de ma liste.
--parity=left-symmetric : est l'algo par défaut, c'est technique et franchement j'ai pas creusé.
/dev/sda2 /dev/sdb2 /dev/sdc2 /dev/sdd2 /dev/sde2 /dev/sdf2 /dev/sdg2 : les 7 disques du RAID5
/dev/sdh2  : le disque spare  
 
Une fois que c'est fait, on n'arrête pas la machine avant que l'array soit constitué, 1h30 environ, mais l'array peut être utilisé, on est simplement en mode dégradé. (Rappel : C'est un kernel 2.6.15...)
/proc/mdstat indique la progression de la construction de l'array :

 
Quand c'est fait :

 
Maintenant pour que ça marche au reboot, il faut créer un fichier /etc/mdadm.conf

 
Et puis il faut que le service mdmpd tourne dans le runlevel de votre système, là ça peut dépendre de votre distribution.  
 
Logical Volume Management
J'utilise le LVM sur chaque partition non RAID /dev/sd[a-h]1, mais le RAID est bâti sur les devices /dev/sd[a-h]2 directement, il me semblait inutile de baser le RAID sur une surcouche qui aurait pu coûter des perfs sans ajouter de réelle valeur.
 
Pour moi LVM et RAID devraient être intégrés... Et ReiserFS aussi C'est un autre sujet...
 
Donc chaque /dev/sd[a-h]1 est un Physical Volume, et le /dev/md0, le disque RAID5 "indestructible".
 
Par dessus, un volume group "" pour les /dev/sd[a-h]1, et volume group "safeVG" pour le /dev/md0.
 
En fait j'ai pas mis tous les /dev/sd[a-h]1 dans unsafeVG: rien ne presse, je l'étends quand je veux.
 
Je crée un LogicalVolume "safeLV" dir "safeVG", et un "unsafeLV" sur "unsafeVG"...
 
"safeVG" fait 1To et des poussières, "unsafe" ça dépend de ce que j'ai mis dedans, j'ai commencé avec 200Go.
 
Je fais un mkreiserfs sur /dev/mapper/safeVG-safeLV.
Je fais un mkext2fs sur /dev/mapper/unsafeVG-unsafeLV.
 
En effet pour les données non critiques, je me moque d'avoir un fs journalisé. J'assume.
 
/etc/fstab
 

 
...rien de bien compliqué...
 
Samba
 
Ben là c'est un peu comme on veut, c'est pas compliqué de configurer, j'ai juste créé des scripts pour Windows qui connectent facilement le poste à mon serveur :

 
C'est tout pour aujourd'hui, merci de me fournir vos commentaire.
 
A++
--
Wile

Interessant... Nous qui pensions changer d'architecture sur notre serveur de fichiers Microsoft 2003server...Je vais peut etre pouvoir pousser dans cette direction...
Petite question : Es tu en Domaine Microsoft? Authentifies tu tes user sur une base AD?
En tout cas beau travail    
 
++

Très fort tout ça !
PErso je vais me prendre un NAS tout fait, mais un comme le tient me parait une très bonne alternative, et surement plus interessant à mettre en place !

Je drapal

 
Pour l'authentification sur AD, je t'invite à lire ceci: http://www.nfg.fr/index.php?2005/1 [...] ndows-2000

Au fait c'est quoi tes disques ?
Perso je voudrais en prendre un de grande capacité en IDE mais j'hésite, t'as des conseil ?

Avec Samba, Linux (depuis longtemps) peut même être contrôleur de domaine Windows.
 
Mais moi je suis chez moi en authentification user.
 
A++
--
Wile

Ca fait un bout de temps que je vois "authentification samba avec users de l'AD" mais je vois aussi beaucoup de gens qui sont confrontés a divers problemes de config...
Je me pose juste la question : Quid en environnement de production....
Mais je me laisserai bien tenté...
++

 
Le mien (voir post ci-dessus) est en prod depuis quelques mois. Je n'ai eu qu'un seul souci: c'est tombé en rade le jour ou une des deux machine c'est désynchrinisée de plus de 5 minutes par rapporte à l'autre (au niveau de l'heure machine). J'ai mis l'une en tant que serveur de temps pour l'autre et c'est reparti pour un tour.

Ok désolé d'avoir 'un peu' pourris le poste...
Je m'en vais monter ca sur une architecture de test
++

tu pourrais faire des benchs en ecriture notamment ? je crois que c'est un des points faibles du raid5 soft.
 
Ca m' interesse d'avoir un retour sur ce point.
 
Merci d'avance.

flag

Pourquoi na pas avoir pris un windows comme os ??

 
Windows pour un serveur (pour une console de jeux, je veux bien, mais là, c'est sérieux, il y a des données à sauvegarder ).
 
nb : .

Pour le prix.

J'avais testé le raid5 soft sosu linux et franchement, les perfs m'avaient déçu. Mais bon j'avais un bi p3 1Ghz et 3*13go ide
 
Pour ton raid, à ta place j'aurais utilisé EVMS d'IBM, tu aurais fait tout ça en quelque minutes avec une interface graphique ou en ncurses sans taper une ligne de commande. Je me sers d'evms pour faire du raid1 et du raid0 depuis des années et j'en suis tres satisfait. Tu peux utiliser LVM2 avec EVMS pour pouvoir redimensionner tes partitions selon l'évolution de tes besoins

Pour les perfs, moi j'ai trouvé que LVM perdait beaucoup plus que RAID5...

bien que j'ai du mal à voir pourquoi LVM impacte les perfs, je veux bien te croire vu que je n'ai fait aucun test. Par contre, niveau flexibilité, c'est le top

 
Je te montre mon test, réalisé sans changer la config :  
j'attaque le device /dev/md0 (le device RAID5) : j'ai 122-125MB/s
je l'attaque par LVM /dev/mapper/SafeVG-SafeLV : j'ai 83-85MB/s
 

 
et j'avoue que ça m'énerve !
 
A++
--
Wile

WileECoyote quel sont les modèle de tes disque dur ?

/me is a grosse feignasse
 
Vendredi en sortant du boulot j'ai achetté 3 disques de 250Go, des maxtors DM10 (3 ans de garantie, comme j'ammorti mon matos sur 3 ans c'est suffisant). Je les ai collé en IDE sur une carte mere bi P3, avec 2 P3 866 et 768Mo de ram, j'ai mis un CD de SME Serveur 7pre2, j'ai fait l'install en 10 minutes, reboot, preparation de l'array et des quotas tout seul, et j'ai maintenant un NAS de 480Go utiles avec le boot en mirroir, les datas en raid5, mais qui fait en plus controlleur de domaine, serveur web, mail, antispam, antivirus, webmail...
 
0 (zéro) lignes de commandes à taper
20 minutes d'install
10 minutes de config pour le routage, le domaine et les utilisateurs
 
ça fait envie, hein?
 
c'est dispo ici : http://sme-fr.homelinux.net et là : http://www.contribs.org
 

Sme (anciennement e-smith) a toujours ete une solution facile, et plutot bonne ...
Perso j'aime bien, mais bon... je suis pro-Debian... donc chut
Enfin bon, c'est subjectif comme avis hein

SME aurait pris debian ou ubuntu comme base au lieu de CentOS 4.2, ça m'en aurait touché une sans faire bouger l'autre tu vois... C'est typiquement le genre d'application ou l'OS sous jacent ne change absolument rien au fonctionnement de la solution finale.

Oui c'est vrai... mais c'est une question de principe mon bon Monsieur

Et donc, par principe, tu prefererais perdre plusieurs jours à integrer une solution à base de debian plutot que de prendre un truc tout fait qui marche à base de RHEL? Ca va 5 minutes quand tu joues avec ça pour un projet estudiantin, mais en milieu pro, on se pose plus vraiment la question...

M'ouais,
 
Avec l'install de FC4 je pouvais faire ça aussi.
 
Si je ne l'ai pas fait c'est pour pouvoir réinstaller une distrib même autre, j'ai tous les paramètres sauvegardés.
 
Si j'avais fait comme toi, le jour où ma carte mère fume, je dois me rappeler ces 30 minutes si decisives, à la virgule près...
 
Bref on n'a pas les mêmes besoins. Mais j'espère que tu ne fais pas du RAID5 en IDE: j'ai entendu dire dans ce quartier que lorsqu'un disque IDE tombe, l'autre disque sur sa nappe devient indisponible aussi.
 
Bonne chance,
 
A++
--
Wile

 
Pour la reinstallation, ya pas vraiment de probleme... evidamment si la mobo fume ça va faire quelques heures d'indisponibilité, mais la reinstallation est pas indispensable puisqu'on a quand meme un kernel RHEL complet avec les drivers pour 'nimporte quel matos...
 
Pour l'indisponnibilité d'un disque sur une nappe, j'ai jamais entendu parler de ça et je penses pas que ce soit bloquant à partir du moment ou le disque est detecté par mdadm comme etant mort. Tant qu'il est encore utilisé, il va recevoir des requettes et faire ramer la nappe, mais une fois en mode degradé les requettes ne concerneront que les disques encore sains.

Maintenant me voilà entrainé, je l'ai réinstallé complètement (bon: trois fois parce que je suis un bras cassé), et c'est fait en une heure.
 
Pour info, j'ai eu le "reset malheureux", j'ai fait un reset hard au mauvais moment, mon Linux ne bootait plus, les fichiers kernel qui ne sont pas sur du RAID, étaien à réinstaller, donc j'ai tout réinstallé. Et puis après j'ai oublié de donner le hostname à l'install, et comme c'est un blocage chez moi, je ne sais pas changer le hostname / nodename d'un linux, j'aurais mis plus de temps à chercher qu'à réinstaller.
 
Bilan : Zero fichier perdu, ni sur le RAID ni sur le non RAID, merci ReiserFS !
 
Le fsck.reiserfs peut être long, mais il marche!
 
Après cette sueur froide, j'ai tout récupéré, l'array RAID n'a même pas été reconstruit.
 
A++
--
Wile

BONJOUR
et pour les non pros qui veullent du serveur de fichier facile a configurer ???
j ai tester naslite et freenas deux distrib instalable ou pas ...bootable sur cd rom clef ou disque , raid logiciel ou pas , bref comme on veut
et j ai trouvé ca genial...
en ce moment c est naslite qui rourne sur un celeron 400
2 disque 200 1 disque 120 et un 160  ide et sata
c a tourne tres bien depuis 3 mois avec 1 seul reboot
prix de l ensemble 0 pour la machine que de la recup ( vue la config )
250 euro pour les disques....
en plus les installs sont a la portée de n importe qui

tres bo topic, merci

Redrapal (up cache... ou pas)

 
Si tu perdu l'esclave en IDE ca peut encore aller le master sera plus lent mais il continuera de fonctionner. Si tu perd le master la c'est la fin tu n'a plus accès à l'esclave de la nappe.
Et encore tout cela est modulo que le controleur IDE et le pilote soient plus ou moins pnp-aware parce que sinon c'est crash système assuré (vécu meme sur un linux).
 

 
vi|nano|emacs|gedit /etc/hostname
hostname -F /etc/hostname
vi|nano|emacs|gedit /etc/hosts

drapal, je le lirais plus tard (a l'heure ou je tape il est trop tard...)
 

tres interessant comme post mais par hasard je viens de trouver une distrib linux prete a l'emploi pour les personnes qui sont réfractaires a la ligne de commande c'est openfiler http://www.openfiler.com/
pour avoir deja regardé les solutions Naslite et FreeNAS c'est a des années lumières de ses solutions
a vous de voir ce que vous en pensez

 
« qui marche » et « à base de RHEL » juxtaposés, décidément j'aurais tout vu.

Plutot sympatoche tout ca. J'envisage de faire pareil (avec moins de disques durs!!) mais en ajoutant du hot-swap. Apparement linux le gere mais comment ca se passe ?
Config prévue:
Carte controleur promise SATA 300 TX4 (supporte le hot-swap)
Rack icy dock avec 4dd (3dd en raidR et un spare,supporte le hot-swap).
D'ailleur est-ce qu'il vaut mieux une bonne carte controleur 4 port ou est-ce que je peux prendre deux cartes controleurs plus classiques mais avec 2 ports car elles sont carement moins cher!!

 
C'est assez marrant, mais cela fait quelques annees que nous installons des serveur de fichiers / controleur de domaine et crois, pour un systeme facile a maintenir sur plusieurs annees, fiable, leger il n'y a rien de mieux que debian
 
D'ailleur, en milieur pro a deployement sur plusieurs serveurs, tu verras que beaucoup de projets sont bases sur debian.

Slt,
 
Sympa le projet de monter un NAS sous NUX.
Sinon das le meme esprit que Openfiler y'a http://www.freenas.org/
Je l'ai teste et ca marche vraiment bien et en plus y'a un version VMWare dispo sur le site pour se faire une idee du produit
 
 
@++