Reprise du message précédent :

D'ou le "tripotage de nouilles"  
 
C'est un peu le meme principe qu'une video compressee ou non compressee. Une video raw de chez raw, faut avoir un bon debit de disques, sinon ca saccade a fond. Alors qu'une video compressee passera comme dans du beurre.

 
Quel interêt du raidZ par rapport au raid5 habituel ?
 
Et chez moi mon plus gros pb vient des perfs du partage samba
C'est lui le facteur limitant, et je ne sais pas comment je peux l'améliorer

En specs matérielles pures et en excluant le coté FS qui est en dessous, les deux avantages du RaidZ sur le RAID5 sont l'absence de Write Hole (pas de risque de perdre la dernière transaction en cours si panne juste pendant la phase d'écriture des disques + parité) et le checksum intégré qui valide l'intégrité de chaque bloc de données.
 
T'as déjà tuné ton cache disque et ton samba ? J'en avais un peu parlé dans mes posts sur mon NAS, tu peux gagner pas mal la dessus.

non rien touché à la conf de samba. C'est quoi le cache disque ? (tuto ? )

Regarde déjà la :  
 
http://forum.hardware.fr/forum2.ph [...] 1#t7538034
 
Tu peux googliser sur les commandes, normalement les premières réponses expliquent bien leur utilité. Mais si tu veux que j'explique précisément tout ça, aucun souci.

Le blog d'un des "papas" de ZFS : http://blogs.sun.com/bonwick/entry/raid_z
 
Après sans être exhaustif :
 
- Le RAID-5 utilise des strips de taille unique sur tout le volume, donc quand tu perds un disque tu reconstruis tout le disque). Alors que le RAID-Z utilise des strips de taille variable sur chaque fichier : en gros ça fait un mini RAID pour chaque fichier en adaptant la taille du strip à la taille du fichier, donc quand tu perds un disque tu ne reconstruit que les fichiers et non tout le disque (gain de temps non négligeable quand ton RAID n'est rempli qu'à 20% par exemple...)
 
- ZFS (et donc le RAID-Z) utilise le copie-on-write (COW) qui fait que les fichiers ne sont enregistré dans la table des fichiers que quand les disques durs signalent que les données sont effectivement écrite sur le disque dur et plus dans la mémoire tampon des disques durs (les 16, 32 ou 64Mo de cache). Ce qui ne peut pas être réalisé avec du RAID-5 classique car le système de fichier (EXT, FAT, NTFS) est indépendant du gestionnaire de volume (RAID matériel, mdadm, etc.) alors que ZFS fait les deux.
Cela évite notamment les trous d'écriture (write hole) qui se produisent en RAID-5 lorsque une donnée est inscrite comme écrite par le système de fichier alors qu'elle ne l'est pas en réalité : panne de courant pendant une écriture -> les données dans les mémoires tampons des disques durs sont perdu alors qu'elles sont "valide" dans le système de fichier (ça c'est le cas pas très grave), ou alors même phénomène lors d'une panne de courant pendant l'écriture du superblock du RAID-5 (là par contre c'est perte totale du RAID-5 et de toutes les données).
 
- ZFS (et donc le RAID-Z) utilise pour chaque fichier un checksum pour vérifier la validité de chaque donnée lu. Ce checksum est calculé lors de l'écriture de la donné sur le RAID-Z, et est recalculé à chaque lecture de la donnée : si les deux checksum correspondent la donnée est valide, si ils ne correspondent pas la donnée est automatiquement récupéré à l'aide de la redondance et réécrite de façon complètement transparente pour l'utilisateur (self-healing). Ça bien sur tu ne l'a pas sur du RAID-5.
 
- ZFS permet une gestion simplifier des partitions : chaque partition peut utiliser potentiellement toute la place du RAID (pas de taille à définir à la création). Bien sur on peut quand même mettre des quotat sur chacune d'elle (taille maximal) et/ou des réservation d'espace (taille minimal, qui ne seront pas accessible au autres partitions). En gros un espèce de LVM amélioré.
 
- ZFS permet de faire des snapshots (instantanée) des partitions sans utiliser de place supplémentaire. Seul les fichiers qui changent par la suite prennent de la place : les données sont commune en lecture entre les partitions et les snapshot. Ces snapshot peuvent ensuite être clonés sur des partitions supplémentaires, ou survirent de point de retour (rollback).
 
- ZFS permet d'utiliser la compression en temps réelle des données (algo de compression au choix), ainsi que la déduplication au niveau des blocs en ligne : les blocs identiques ne sont écrit qu'une seule fois, gain de place lors de multiples utilisateurs utilisant par exemple des machines virtuelles ayant un socle commun.
Mais ces deux fonction necessite pour le premier un solide CPU, pour le second énormément de RAM.
 
- Etc.

Très bon résumé qui modulo quelques corrections orthographiques mériterait sa place en page 1  

Pour ceux qui sont cablés en gigabit, vous utilisez quoi comme switch (max. 40€ si possible et 8 ports) ?

mais le RAID-Z demande plus de puissance que les RAID classique il me semble !

 
D-Link DGS-1008D, ça fonctionne très bien si on a pas besoin de fonctions avancées.
 
En parlant de ça, il y a switch (8 ports au minimum) ou routeur que vous conseillez qui permettent le nic teaming sans partir dans des prix exorbitants car j'aimerais pouvoir profiter des mon dual ethernet Intel sur mon serveur  
 

 
Il demande surtout énormément de mémoire, enfin il faut mettre le maximum possible, 4Gb étant le minimum syndical.

Voir ma config: le netgear.

Tu prends un routeur qui accepte les firmware open source et tu lui colle un Openwrt et tu t'éclates

wahou!!
 
ta fait un bel effort de recherche a sa place dis donc....
 
il manque un merci quelque part je pense.

Oui, il y a le Netgear GS108T qui supporte l'agrégation de lien (802.3ad). Il doit y avoir des équivalents chez d'autres marques (dlink, ...)

Salut,
Une question qui vous semblera conne surement mais temps pis.    
 
Ok en fonctionnement un pc transformer en nas consomme plus qu'un nas du commerce, mais quand personne n'accede au nas, y'a t'il des fonctions de veilles prolongées ou autre?
 
Pour résumé quand personne n'y accéde combien ca consomme environ (sur une base proco e5200, 2go ddr2, une alim antec 80+ et surtout 2 disques Samsung F4 de 2To chacun)
 
Merci d'avance

 
Ah je connais pas, je vais me renseigner  
 

 
Je l'avais repéré celui-là même si je suis toujours D-Link  

 
 
le routeur netgear de ta conf, tu lui as mis un firmware OS?
j'ai fouillé vite fait, y'a bien quelques sites qui en parlent, mais y'a une adresse sur laquelle on pourrait tester les firm OS? synology propose une page web de démo ou on peut tester l'interface des nas, y'a un truc equivalent pour les firm OS des routeurs?

Il ne "demande" pas beaucoup de memoire: il utilise la RAM dispo comme cache, histoire d'accelerer le bouzin.
 
Donc en gros, si tu as un systeme avec 4Gb de RAM, dont 2Gb non utilise, ZFS va occuper cette memoire libre. Sur un UFS normal, il n'y toucherait pas.
 
C'est un peu deroutant au depart car c'est comme si ton systeme etait surcharge, alors que c'est simplement utiliser une ressource autrefois dormante.
 
Le minimum pour du ZFS c'est 1Gb de RAM (specs systeme), mais un 2Gb c'est mieux justement pour gagner en perfs. Le reste c'est du bonus.

J'apporte un complément d'information : par défaut avec le kernel Solaris, ZFS utilise toute la RAM moins 1Go pour faire du cache en lecture. En clair si tu as 8Go de RAM, 7Go sont utilisés par ZFS pour faire cache de lecture.
Bien sur si le système demande plus de RAM pour fonctionner, elle sera déduite de la RAM utilisé pour le cache en lecture (c'est géré en interne).
 
Pour utiliser la déduplication, il faut énormément de RAM car les tables de dédup y sont stockés. En clair avec 8Go de RAM n'espère pas stocker plus de 1To dédupliqué avant de voir les perfs s'écrouler lamentablement, j'ai testé.
 
Pour du RAID-Z "simple" le processeur n'a pas besoin d'être über performant (calcul de parité + calcul des chacksum), par contre si tu veux utiliser la compression en temps réel, là regarde du coté des quadcore pour rester performant.

Merci à vous 2 , je vais opter pour le Netgear comme il est dispo à Montgallet
 

 

 
Merci pour les explications
 
C'est sympa, mais de là en avoir une réelle utilité dans le cadre d'une utilisation perso, j'en suis pas sur.
Surtout que je comptais passer mon NAS en atom, ce n'est pas trop compatible avec le ZFS.

Par contre, un inconvénient du RAID-Z c'est de ne pas pouvoir ajouter un disque à un array existant. Dans un contexte home server, ça me parait une feature très utile (par exemple, acheter 3 gros disques chers maintenant, et ajouter 1-2 disques quand l'array se remplit).

 
ZFS est pas destiné pour des home server en fait.
 
Généralement tu rajoute une grappe , pas un disque à une grappe existante.
 
Par contre tu peux sans probleme passer d'un RAIDZ de 4*1To à du 4*2To, (en fesant ça disque par disque).
 
D'ailleurs c'est ce que je risque de faire dès que les 2To seront à 50-60 euros.

Est ce que Freenas gère bien le ZFS? ca ne bride pas?

 
 
Ben c'est pas Solaris qu'il y a derrière, mais FreeBsd, donc déja il y a diff, mais c'est supporté en natif par Freebsd
 
Mais bon si la config suit, tu peux faire saturer ton gigabits même avec freenas.

Ouais mais non  

Ce que tu veux faire c'est avoir un raidz de 3 disques et l'etendre a un raidz de 4/5 disques, exact? Ben c'est pas encore possible. Ou du moins, pas en etendant le raidz. Tu peux etendre un pool, mais pas un raidz.

Imagine le cas precedent: un raidz de 3 disques. Tu "perds" un disque en capacite, perte: 33%

Tu rajoute 2 disques et tu veux garder une redondance. Seul moyen: rajouter un raidz-mirroring a ton pool raidz. Tu rajouteras 1 disque en capacite, perte de l'autre en mirroir, donc perte de 2 disques sur 5: 40%.

Si tu avais tous tes disques au depart, tu aurais perdu 1 disque sur 5: 20%. Avec des disques de 2Tb je te laisse faire le calcul...

Seule facon d'"etendre" un pool: copier les donnees vers un autre pool, destroy de l'ancien et re-etablir un nouveau avec tous les disques. Pas super pratique.

Avec une vm freenas, j'ai des débits pas super du tout sur le ZFS.(raidz)
Pourtant j'ai  alloué 4 cœurs.
Bon je pense que ca doit  être dû à la virtualisation  
 

Heink?

Tu as donne des disques "virtuels" a un ZFS? Aie aie aie... C'est pas bon  

ZFS deteste qu'il y ait des couches de virtualisation, redondance, RAID et tout entre lui et ses disques. Le mieux est toujours de donner les disques en direct au ZFS, histoire qu'il fasse ses calculs de stripe et tout.

Edit: il y a eu plusieurs tests ou un ZFS etait ralenti par une baie de disque qui avait du RAID hardware. Des qu'on a donne les disques a ZFS (JBOD), les perfs etaient super.

 
 
Euhhh...oui

Et puis, donner des disques virtuels à ZFS fait perdre son plus grand intérêt : le COW qui évite les write hole n'est possible qu'en accédant directement au disque dur et à l'état de sa mémoire tampon.

Sur mon NAS je copie mes fichiers à environ 70Mo/s (jusqu'a 110mo/s mais ça peut aussi descendre à 30mo/s)
Si je passe au ZFS vais-je gagner quelque chose?

Probablement pas. Le ZFS est très gourmand en ressources, peu de chances que tu gagnes du débit, sauf cas très particulier.

C'était juste pour tester, vu que j'ai pas de machine dispo et de DD libres ;-)

 
Ok je viens de voir qu'il fallait en plus une grande quantité de ram et je n'ai que 8go.
Je vais laisser ainsi  

Oui mon netgear WNR3500L tourne sous Open-WRT (c'est indiqué dans ma config )
A ma connaissance il n'y a pas de site qui permette de tester les différents OS. Cela dit en 2 mots: si tu veux pas te faire chier et que tu veux une interface graphique: prends Tomato. Dans le même genre il y a DD-Wrt mais bon il viole la gpl alors...
Reste Open-WRT (mon préféré) qui lui te permet de faire ta config. à la main via fichier de conf. (comme un vrai routeur sous linux) ou aussi avec une interface graphique si tu as la flemme.

Attention: j'ai 2 Netgear dans ma config.

Non mais les gars  
 
Vous croyez aussi les pubs de Dreft et ce que raconte le tele-achat aussi ?  :|

et le WNR, on peut lui claquer un DD-wrt dans le baigneur?
y'a moyen de tester différents firm dessus?

edit : voir de s'en servir autrement que comme d'un routeur?
genre en faire un truc dédié au firewalling?

Tous les firmwares intègre un iptable
Et beaucoup, beaucoup d'autres choses: QoS, VLAN, VOIP, portail captif, aggrégation de liens, graphique de bande passante, SNMP, etc...
Après il faut regarder la listes des fonctionnalités sur le site de chaque firmware.
Le WNR accepte DD sans problème

Le mien tourne sur dd-wrt, marche très bien.