Reprise du message précédent :
Oula avant de parler des commandes j'en suis encore juste à tenter de comprendre le vocabulaire et les concepts.

Alors là cela me perd encore plus.
Tu me dis que les vdev ça n'existe pas. Mais alors que comprendre de ceci :
http://www.durindel.fr/informatiqu [...] ocabulaire :

De ceci :
https://blog.belfalas.eu/administra [...] -les-vdev/

Et tout le reste que l'on peux trouver en faisant une recherche "ZFS + VDEV"

Ce que tu me dis casse totalement la compréhension en poupées russes que j'avais.

Voila ce que je comprend de ton exemple :
J'ai un disque
je créé un zpool avec (le disque ne contient que ce zpool et le zpool est composé que de ce disque, mais le zpool aurai pu avoir plusieurs disques)
je créé un ou plusieurs datasets/filesystem

Avec ton changement dans ce que j'avais cru comprendre après je suis perdu.
Comment ajouter des disques ?
Qui contient quoi et qui est composé de quoi ?
(sans donner les commandes, dis-moi juste dans quoi je les ajoutes)

Avant j'imaginais ceci :
Les disques 1, 2 et 3 forment le vdev1 en raidz
Les disques 4, 5 et 6 forment le vdev2 en raidz
vdev1 et vdev2 forment le zpool1
zpool1 contient les dataset/jeu de données/zvol
Et donc pour agrandir le zpool1 il y avait deux solutions : soit changer un a un les disques d'un vdev par des plus grands et laisser à chaque fois reconstruire le vdev soit ajouter au zpool un autre vdev (avec sa propre composition)

Là avec ce que tu me dis que les vdev ça n'existe pas ça casse tout et je suis perdu.

EDIT :
Peut-être y a-t-il un problème de "traduction", ne parlant pas englais je me limite aux sources françaises.
Peut-être parlons-nous des mêmes choses mais sous des noms différents ou décalés.

Oui pardon, ta compréhension des vdev est bonne, je te donnais l'exemple d'un vdev composé d'un seul disque. J'utilise pas ce terme perso donc je voyais pas à quoi tu faisais référence.

Bon, ça me rassure je progresse un peu sur la compréhension du truc.
Le but n'est pas de devenir un admin-expert, mais de comprendre suffisamment le fonctionnement (théorique ?) pour savoir si c'est approprié à mon projet.
 
J'ai encore quelques questions.
 
Pour le dataset/filesystem.
Gestion des droits, quotas mini/maxi, compression, déduplication tout ça ok.
Mais j'ai cru comprendre qu'un filesystem pouvait être formaté en ext/FAT/NTFS.
OR j'ai cru comprendre qu'un dataset et ses données contenues est directement stocké dans du zfs. Comment un fichier stocké sur une "partition" FAT32 pourrait être stocké directement dans une "partition" zfs sans passer soit par une étape de traduction/translation, soit par un autre "objet"/"truc" contenant la "partition" FAT32 et qui serait contenu dans la "partition" zfs ?
J'y vois une incohérence me faisant intuitivement penser qu'un dataset est différent d'un filesystem.
A moins d'un "emboitement" : le fichier photo.jpg est stocké dans un filesystem en FAT32 qui est stocké dans un dataset qui est stocké dans un zpool.
 
 
Pour le zvol.
Ok c'est une sorte de disque-dur virtuel qui peux contenir tout ce qu'un HDD peux contenir (et donc un autre zpool contenant un zvol pour une mise en abime).
Mais je ne voie pas trop l'avantage d'un zvol sur un dataset.
Après-tout un dataset avec un mini, un maxi et formaté autrement qu'en zfs ressemble furieusement à un zvol.
 
Bref entre dataset, filesystem et zvol je ne vois/comprend pas encore les différences et avantage de l'un sur l'autre.
Je tenterai de faire un dessin/schéma de ce que j'ai compris. C'est parfois plus facile pour communiquer.
 
Merci.

En fait c'est le zvol que tu peux ensuite formater en ntfs et tout, pas le "filesystem" (enfin ce que j'appelle le filesystem). J'aimerais voir où tu as vu les termes dataset et filesystems pour les reprendre dans le même contexte ?
 
L'intérêt du zvol c'est que justement si tu veux par exemple un ext3, bah ton backend c'est du zfs et donc tu profites des checksum (et donc d'une sick intégrité de donnée), du ARC, de la compression si tu veux, des snapshots zfs, etc...

Rapidement :  
J'ai pas trouvé plus récent que cette version :
http://docs.oracle.com/cd/E56338_01/pdf/E53914.pdf
Bien que ce soit d'un niveau largement au dessus de ce que je comprend actuellement, peut-être que pour vous ça sera utile.

 
Manque deux couches dans ton histoire : ZFS n'expose pas directement les zvol, il expose des LUN (client side) et il manque encore un morceau (faire accepter a ZFS de formater autre chose que du ZFS sur la LUN qu'il expose, parce qu'a sec, comme ça, il t'enverra chier, et bien )
 
Et encore, ça va bien quand tu dépasse pas des interfaces similaires a du 10Gbe, parce qu'après faut te taper les tweak timing et dans quel ordre tu monte ta chaine (le client qui est init plus rapidement que les disques, c'est des coups a mettre la baie a genoux et de voir les disques partir en courant)

v0.6.4.2 fraichement installé sur un SSD OCZ Vertex 60 Go sous Xubuntu 14.04 LTS sur Xeon E5 2687w, 16 go Ram, Asrock x79 Extreme 11, 2x M1015 flashées en LSI 9211-8i iT (Fw p19), 1x Intel 10GbE XFP+, le tout dans un 4U 24 baies Entropia Ananas
 
Juste faire gaffe aux update / upgrade de Ubuntu qui tendance à faire bugger certaines commandes de ZFS en mettant l'erreur : Failed to load ZFS module stack
 
... pour vérifier si tout va bien :

Si vous avez l'erreur "Failed to load ZFS module stack" :

... notez la version indiquée, pour ma part  : 0.6.4.2, et refaire l'installation des modules manuellement

Et là normalement, tout va mieux, vous pouvez faire un zpool list pour vérifier.
Si vous avez encore l'erreur :

 
Pour ma part, afin de gérer plus facilement ZFS et habitué à OpenIndinana / OmniOS, j'ai installé Napp-iT qui prend à présent en charge ZoL.
-> http://www.napp-it.org/downloads/linux_en.html
 
Après le test avec 4x WD Green 1 To 5400 Trs en mirrored (175 M/so read / 275 Mo/s write sous dd et bonnie+++) , installation de 16x 2 To WD SE en mirrored également (32 To Raw / 16 To utile) pour un max de IOPS, sans cache SSD ZIL ni L2ARC (inutile pour du transfert fichier en SMB/CIFS).
 
Cet environnement sera en prod dès la semaine prochaine, au coté d'un autre stockage ZFS, lui sous OmniOS + Napp-it sur une Supermicro X9SCM-iiF, Xeon E3 1220v2, 20 Go Ram, 3x m1015, 4u 24 baies Entropia Ananas disposant de 2 pool :  
-> l'une en 3x vdev RaidZ de 3x WD SE (9 disques)
-> l'autre de 2x vdev RaidZ de 4x 1 To WD Black.
 

Sympa les setup pour du SMB/CIFS, ça doit faire des jolis NAS.
T'as quoi en réseau ? Gbe ? 10Gbe ? Multi canaux Gbe virtuels pour séparer les flux vers 10Gbe sur le serveur ?

Réseau gigabit et 10GbE, switch Mikrotik avec 2x sfp+ pour l'instant, en attendant soit Dlink DGS 1510 soit HP 2920, avec 2 modules 10GbE (J9731A) voir un NETGEAR GS728TX...

La fibre 10GbE apporte de la latence
Du coup, je vois pour faire un bonding 2x Lan de chaque client vers le switch puis du switch vers serveur en 10GbE cuivre...

Donc cette install c'est uniquement pour faire des tests ou c'est pour faire tourner de la prod?

Jusque lundi : test de transfert de moultes fichiers, en 10GbE.

Mise en prod à partir de mardi.
Dans le futur :
-> en main : 24x 2 To mirored, soit 24 To utile sur cette config en ZoL
+
-> en backup : l'autre config en OmniOs + nappit avec 4x vdev RaidZ2 de 6x 2 To, 32 To utile.

Mais... Zfs est "stable" sous linux ou c'est encore en phase de dev?

Je serai curieux de connaitre l'utilisation memoire de ton serveur "host" s'il est dedie au stockage  

Les 2.

Il a ete release en stable? Pas stable dans le sens "tiens, ca plante pas, chouette!" mais dans le sens developement  

il y a des releases "stable" régulièrement
 
la dernière en date: https://github.com/zfsonlinux/zfs/r [...] fs-0.6.4.2

 
Je pensais que c'etait plus en aplha/beta, me v'la moins con  

Oui, voilà, je n'arrivais pas à l'exprimer !

La 0.6.4.2 est installée sur Xubuntu 14.04 LTS.

Et ta version de zpool c'est quoi avec un 0.6.4.2?

28 / 5000
... créée via Napp-it pour Linux

Merci!
Faudrait que j'essaie de faire un import d'un zpool cree par Linux vers un de mes Solaris... J'ai comme un doute

La version "open source" de zfs s'arrête à 28
Solaris en est à la v32 il me semble.
 
Ce serait carrément intéressant de tester l'import, oui !!

J'ai pas de h/w linux pour installer zfs par contre.. Ma station de travail c'est pas une super idee et mon laptop non plus    
 
Vais voir si en bidouillant une vm...

Aucuns problèmes.
 
28 > 32 pas de soucis. Augur, tu devrais essayer les builds ZFSonLinux qui viennent de chez LLNL directement. (qui doivent être quelque part par là https://computing.llnl.gov/?set=code&page=sio)
 
Pour savoir on en est la version open : http://open-zfs.org/wiki/Main_Page
http://zfsonlinux.org/
 
Oublie pas d'activer les jumbo frame

Cette page ne fonctionne pas ; https://computing.llnl.gov super intéressant !

J'utilise déjà ZFSonLinux (ZOL) sur Xubuntu 14.04 LTS

Non, pour mes applis, surtout pas : trop de latence !
MTU limité à 1500 max.

question à propos des IOPS sur raidz2 (raid6):
 
si on a un vdev de N disques en raidz2 et que chaque disque a taux d'IOPS théorique de i
 
on a théoriquement (N/3)*i IOPS en écriture et N*i IOPS en lecture ? c'est ça ?

Tu as le nombre de iops de Ni en ecriture mais le iops de 1 disque en lecture.

pourquoi 1 disque ? une écriture sur raidz2 donne 3 écritures physiques, non ? il y a un truc qui m’échappe
 

Pas forcément 3 disques : un raidz2 de 10 disques donnera le iops de 8 disques en ecriture mais seulement 1 disque en lecture.

ok je comprends pour les écritures: le COW fait que tout devient séquentiel et donc plus le débit séquentiel qui est limitant et lui c'est bien l'équivalent de N-2 disques
 
Restent les lectures: là pour du full random on a juste à lire là où les données se trouvent, donc pourquoi on a pas la perf de N disques ? (en supposant que l'aléa étale les accès équitablement sur chaque disque)  
 
edit: ok j'ai compris, ça dépend de la taille lue de façon random: mon raisonnement ne marche que pour des I/O minuscules qui ne dépassent pas la taille d'un bloc, sinon l’accès passe progressivement sur tous les disques et donc en effet on se retrouve à ton chiffre  

Pour un max de iops : max de vdev

ou passer sur du full-array SSD

En Intel dc3700 ou 3500 uniquement ou puces MLC....

oui et non... ça dépend du type de work-load(écriture vs lecture), et aussi une cellule TLC 3D Nand a la même endurance qu'une MLC 2D gravée en 19nm. (à tel point que ces gros malades de chez toshiba veulent faire de la 4bit/cell avec )
 
un petit tableau que j'avais fait: (have fun )
Intel DC S3500 (2D/19nm MLC): garantie 0.3 DWPD / 5ans
Samsung 845DC Evo(2D/19nm TLC): garantie 0.35 DWPD / 5ans
Samsung PM863 (3D/40nm TLC): garantie 1.3 DWPD / 5ans
Micro M500DC (2D/20nm HET? MLC ): garantie 2.5 DWPD / 5ans
Intel S3610 (2D/20nm HET MLC): garantie 3 DWPD / 5ans
Samsung SM863 (3D/40 nm MLC): garantie 3.5 DWPD / 5ans
Intel DC S3710 (2D/20nm HET MLC): garantie 10 DWPD / 5ans
Intel DC S3700 (2D/25nm HET MLC): garantie 10 DWPD / 5ans
Samsung 845DC Pro (3D/45nm MLC): garantie 10 DWPD / 5ans
 
et niveau perfs il me semble que le micron est en retrait sur les 2 autres marques.
 
HET= techno haute endurance
DWPD= Disk Write Per Day
 
par exemple sur mon workload je suis loin des 0.30 DWPD d'écritures (c'est à dire 30% de la capacité de l'array d'écrit), donc même avec les premiers SSD ça suffirait amplement.
 
Par contre dans tous les cas il faut surtout prendre des SSD de catégorie "DC" (avec de grosses capa pour flusher les buffers en cas de coupure)

En fait, tu n'y es pas du tout  
L'accès doit en partie être mis sur l'endurance, mais surtout sur la technologie & latence.
=> MLC 4 cycle VS SLC 1/2 cycle = latence plus grande, donc impact plus violent en QD lourd.

Attentions aux amalgame et aux chants des sirènes du marketing

ZFS & SSD : tout est là : http://smpfr.mesdiscussions.net/sm [...] _870_1.htm

// cet aprem je re bench 12x 2 To WD SE sous Xubuntu, à la place de ZFS Guru 10.03 qui parait presque bien, sauf en partage Samba

du calme je ne parlais bien sûr pas des cas extrêmes nécessitant des millions d'IOPS, un bon TLC a un IOPS bien plus élevés qu'un HDD 15k  
 
alors oui si on veut vraiment des millions d'IOPS il faut du SLC ou du MLC de qualité en effet.
 
mais là encore un TLC 3D-Nand défonce sans problème pas mal d'autres MLC que ce soit en IOPS/en latence/en QD petit ou grand: http://www.storagereview.com/samsung_pm863_ssd_review
 
Les technos NAND ont vachement progressé par rapport à ~2010 où, en effet, tous ce qui n'était pas SLC était de la merde  

avec combien de RAM ?
 
c'est ce qui me fait le plus peur avec ZFS à chaque fois. d'autant plus que avec certains systèmes (Xeon-E3) on est limité à 32Go, merci Intel  

ca dépend des options que tu veux activer

c'est à dire ? hormis la dedup et le l2arc, il y a des choses qui demandent beaucoup de RAM (ARC) avec zfs ?

de mes connaissances, nop ^^
 
mais c'est sur que si tu utilise la dédup, ca monte vite la ram

La dédup c'est facultatif aussi, les vrais bénéfices en perf c'est le cache et la compression (lz4 c'est le mieux je crois ?).

Disons que lz4 c'est de loin le meilleur compromis entre la perf (utilisation cpu) et le taux de compression
 
Sinon ZFS on Linux (ZoL) vient de sortir en version 0.6.5 avec pas mal de changements.
 
Le changelog ici: https://github.com/zfsonlinux/zfs/r [...] /zfs-0.6.5