Reprise du message précédent :
La prochaine version d'Ubuntu supportera ZFS.
Qu'en pensez-vous ?
Basé et améliorant ZOL ou une nouvelle implémentation ?
 
J'ai cru lire un "support complet de ZFS" donc jusque là les autres implémentation de ZFS n'ont pas toutes les fonctions ?

Il y a des accords entre Cannonical (ubuntu) et Joyent (SmartOS qui est basé sur illumos, héritier de opensolaris et donc avec du zfs natif). Donc j'imagine qu'ils ont bossé ensemble pour au moins peaufiner des trucs. Cannonical apporte son soutien à Joyent pour leurs conteneurs linux (ubuntu) au dessus d'un noyau illumos aussi. Ce qui est probablement la meilleure façon d'avoir du zfs on linux aujourd'hui ^^

bonjour à tous,
 
J'utilise ZOL pour de la sauvegarde depuis plusieurs années et depuis plusieurs mois, les performances, qui au début étaient très bonnes, se sont nettement dégradées.
Le logiciel utilisé pour la sauvegarde est bacula (très bon au passage).
 
J'ai 2 pools, un avec dedup+compression et l'autre juste compression.
Voici le plus gros (dedup + compression) :  
[root@bacula01 ~]# zpool status
  pool: bacula
 state: ONLINE
  scan: scrub in progress since Mon Mar 14 03:27:50 2016
    9,76T scanned out of 53,1T at 24,2M/s, 521h11m to go
    0 repaired, 18,36% done
config:
 
        NAME         STATE     READ WRITE CKSUM
        bacula       ONLINE       0     0     0
          raidz2-0   ONLINE       0     0     0
            mpathe   ONLINE       0     0     0
            mpathf   ONLINE       0     0     0
            mpathg   ONLINE       0     0     0
            mpathh   ONLINE       0     0     0
            mpathi   ONLINE       0     0     0
            mpathj   ONLINE       0     0     0
          raidz2-1   ONLINE       0     0     0
            mpathk   ONLINE       0     0     0
            mpathl   ONLINE       0     0     0
            mpathm   ONLINE       0     0     0
            mpathn   ONLINE       0     0     0
            mpatho   ONLINE       0     0     0
            mpathp   ONLINE       0     0     0
          raidz2-2   ONLINE       0     0     0
            mpathq   ONLINE       0     0     0
            mpathr   ONLINE       0     0     0
            mpaths   ONLINE       0     0     0
            mpatht   ONLINE       0     0     0
            mpathu   ONLINE       0     0     0
            mpathv   ONLINE       0     0     0
          raidz2-3   ONLINE       0     0     0
            mpathw   ONLINE       0     0     0
            mpathx   ONLINE       0     0     0
            mpathy   ONLINE       0     0     0
            mpathz   ONLINE       0     0     0
            mpathaa  ONLINE       0     0     0
            mpathab  ONLINE       0     0     0
          raidz2-4   ONLINE       0     0     0
            mpathbd  ONLINE       0     0     0
            mpathbe  ONLINE       0     0     0
            mpathbf  ONLINE       0     0     0
            mpathbg  ONLINE       0     0     0
            mpathbq  ONLINE       0     0     0
            mpathbi  ONLINE       0     0     0
          raidz2-6   ONLINE       0     0     0
            mpathbj  ONLINE       0     0     0
            mpathbk  ONLINE       0     0     0
            mpathbl  ONLINE       0     0     0
            mpathbm  ONLINE       0     0     0
            mpathbn  ONLINE       0     0     0
            mpathbo  ONLINE       0     0     0
        logs
          mirror-5   ONLINE       0     0     0
            mpatham  ONLINE       0     0     0
            mpathan  ONLINE       0     0     0
        cache
          mpathao    ONLINE       0     0     0
          mpathap    ONLINE       0     0     0
 
errors: No known data errors
 
 
--> le cache est sur 2 SSD de 200Go
--> les logs sont sur 2 disques mécaniques 15k
 
Les disques capacitifs de 3To sont sur une baie Dell MD3660F.
Le serveur est un Dell R720 avec 256Go de RAM et 2 Intel E5-2650.  
 
 
En ce qui concerne notre problème, nous observons des performances désastreuses sur certaines sauvegardes ... mais pas toute.
Par exemple, un job X qui sauvegarde à moins de 100Ko/s, je le stop, je le relance immédiatement, et il sauvegarde à 50Mo/s.
 
 
J'ai lu qu'il fallait éviter de dépasser les 80% de remplissage d'un FS, mais de quelle valeur parle-t-on ?  
 
[root@bacula01 ~]# df -h |grep bacula
bacula/data           135T  109T   26T  82% /bacula/data
 
 
[root@bacula01 ~]# zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
bacula   97,5T  53,3T    44,2T         -            67%    54%  3.10x  ONLINE  -
 
 
[root@bacula01 ~]# zfs list
NAME           USED  AVAIL  REFER  MOUNTPOINT
bacula         109T  25,1T  46,0K  none
bacula/data    109T  25,1T   109T  /bacula/data
 
 
Sinon, voici les options que j'ai passé :  
[root@bacula01 ~]# cat /etc/modprobe.d/zfs.conf
options zfs zfs_arc_max=107374182400  #100 Go
options zfs zfs_arc_sys_free=10737418240  #10 Go
options spl spl_kmem_cache_slab_limit=16384
options zfs zfs_prefetch_disable=1
options zfs zfs_dedup_prefetch=0
options zfs zfs_txg_timeout=30
options zfs zfs_txg_history=100
 
 
[root@bacula01 log]# zfs get all bacula
NAME    PROPERTY              VALUE                    SOURCE
bacula  type                  filesystem               -
bacula  creation              jeu. mars  6  8:51 2014  -
bacula  used                  109T                     -
bacula  available             25,1T                    -
bacula  referenced            46,0K                    -
bacula  compressratio         1.99x                    -
bacula  mounted               no                       -
bacula  quota                 none                     default
bacula  reservation           none                     default
bacula  recordsize            128K                     default
bacula  mountpoint            none                     local
bacula  sharenfs              off                      default
bacula  checksum              on                       default
bacula  compression           on                       local
bacula  atime                 off                      local
bacula  devices               on                       default
bacula  exec                  on                       default
bacula  setuid                on                       default
bacula  readonly              off                      default
bacula  zoned                 off                      default
bacula  snapdir               hidden                   default
bacula  aclinherit            restricted               default
bacula  canmount              on                       default
bacula  xattr                 on                       default
bacula  copies                1                        default
bacula  version               5                        -
bacula  utf8only              off                      -
bacula  normalization         none                     -
bacula  casesensitivity       sensitive                -
bacula  vscan                 off                      default
bacula  nbmand                off                      default
bacula  sharesmb              off                      default
bacula  refquota              none                     default
bacula  refreservation        none                     default
bacula  primarycache          all                      local
bacula  secondarycache        all                      local
bacula  usedbysnapshots       0                        -
bacula  usedbydataset         46,0K                    -
bacula  usedbychildren        109T                     -
bacula  usedbyrefreservation  0                        -
bacula  logbias               latency                  default
bacula  dedup                 on                       local
bacula  mlslabel              none                     default
bacula  sync                  standard                 default
bacula  refcompressratio      1.00x                    -
bacula  written               46,0K                    -
bacula  logicalused           217T                     -
bacula  logicalreferenced     12K                      -
bacula  filesystem_limit      none                     default
bacula  snapshot_limit        none                     default
bacula  filesystem_count      none                     default
bacula  snapshot_count        none                     default
bacula  snapdev               hidden                   default
bacula  acltype               off                      default
bacula  context               none                     default
bacula  fscontext             none                     default
bacula  defcontext            none                     default
bacula  rootcontext           none                     default
bacula  relatime              off                      default
bacula  redundant_metadata    all                      default
bacula  overlay               off                      default
 
De plus, j'observe que mon pool est vraiment fragmenté (67%), est-ce génant ?  
[root@bacula01 ~]# zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
bacula   97,5T  53,3T    44,2T         -            67%    54%  3.10x  ONLINE  -
 
 
J'ai toujours passé les dernières maj. On est donc en 0.6.5.5-1.
 
Si vous avez des conseils ou observations, n'hésitez pas ...

En ce moment t'es en plein scrub :
 
scan: scrub in progress since Mon Mar 14 03:27:50 2016  
    9,76T scanned out of 53,1T at 24,2M/s, 521h11m to go  
    0 repaired, 18,36% done  
 
Je te conseille d'attendre déjà la fin avant de faire des tests de perf.
 
Il me semble que les 80% c'est pour tout le pool (pas pour un fs) donc je crois pas qu'il y ait de problème à ce niveau-là.
 
Sinon tu dis que tu l'utilises depuis plusieurs mois, mais pas sur ce pool a priori :
 
[root@bacula01 log]# zfs get all bacula  
NAME    PROPERTY              VALUE                    SOURCE  
bacula  type                  filesystem               -  
bacula  creation              jeu. mars  6  8:51 2014  -  
 
As-tu eu de bonnes perfs avec ce pool déjà ?
 
Sinon tu procèdes comment, tu as créé tout le pool d'un coup ou tu rajoutes des groupes de disques au fur et à mesure de tes besoins ? Il est possible dans la deuxième option que ça pose des problèmes de répartition mais je suis pas expert en raidz.

bacula  creation              jeu. mars  6  8:51 2014
 
--> ca fait 2 ans    
 
 
Oui j'ai de très bonnes perf', y'a pas de pb la dessus. Mais par nuit, je lance plusieurs centaines de jobs de backup, certains vont très vite, d'autres sont à l'agonie.
 
Et effectivement, le pool grossit au fur et à mesure des besoins.

Au temps pour moi sur la date.
 
Par contre t'as bien un scrub qui tourne, attend déjà la fin et refais des tests.

effectivement, j'ai un scrub, mais nos pb de perf existent depuis quelques mois maintenant.

Questions bêtes :
Comment on fait pour "contrôler" et "entretenir" les zpool et vdev ?
(je pense à l'équivalent de scandisk et défrag)

 
Petite question pour etre sur d'avoir bien saisie:
 
on est d'accord que avec ZFS, on ne peut pas augmenter un ZPool à proprement parler, c'est à dire que:
 
si je fais un Zpool de 6 disques avec un seul Vdev je ne pourrais pas augmenter ce Vdev avec un 7eme disque plus tard ?
Si je veux le faire il me faudra créer un nouveau vdev sur ce Zpool ?
 
est ce que c'est bien ça ou les dernière version de ZFS permettent d'augmenter un vdev deja existant ?
 

Yop,
 
c'est bien ca, faut que tu augmente ton zpool avec un nouveau vdev du même nombre de disque (je crois)

c'est conseillé pour la consistance des perfs mais ce n'est pas du tout obligatoire

Merci pour le retrour.
 
Est ce qu'il sera possible un jour de rajouter un disque sur un vdev deja existant ?
 
Où est ce que c'est une limite pur de ZFS ?

ça semble très compliqué à implémenter https://github.com/zfsonlinux/zfs/issues/2327
 
par contre enlever un vdev d'un pool semble faisable dans un futur proche:
http://blog.delphix.com/alex/2015/ [...] e-removal/

Super, merci pour ces liens.
 
Donc à l'heure actuel il vaut mieux casser et recreer un Zpool, pas evident à gerer pour faire les backup quand le zpool est gros...

un scrub de temps en temps ca suffit à entretenir pour moi

scrub c'est l'équivalent de scandisk (en plus avancé, il y a un test d'intégrité des data)
il n'y a pas d'équivalent de defrag pour ZFS, si le pool est trop fragmenté il faut le détruire et le reconstruire (sinon il faut aller voir du côté de btrfs mais c'est pas encore très stable)

Merci, je ne connaissais pas ce terme.
Je vais donc aller fouiller de ce côté.
 
Merci.
 
Que la fragmentation et surtout la défragmentation ne soit pas gérée et de devoir supprimer et recréer fait peur.
Pour un FS si évolué je pensais que ça serait pris en compte.
Mais il est probablement encore jeune et ça viendra plus tard (j'espère).

c'est pour ça qu'il est conseillé d'éviter de dépasser les 80% d'utilisation sur ZFS, pour éviter la fragmentation du FS

 
Je tenterais de surveiller cela.
Question à la con sur le sujet : quand je change un disque et qu'il y a reconstruction. Ce nouveau disque est alors "défragmenté" (oui avec des "" car les fichiers sont séparé sur les différents disques de la grappe) ?
Pourrait-on alors "défragmenter" en faisant des changement de disque pour forcer des reconstructions ?
(oui c'est risqué).
J'y pense surtout pour quand je remplacerai mes disques par des plus gros si l'opération aura ce bénéfice en plus.
 
 
 
Petite question en l'air.
Je suis en train de lire quelques articles sur ZFS et je réalise un truc comme s'il y aurait 3 ZFS différents.
Le ZFS "officiel" d'Oracle ne provenance de Sun
Le ZFS on Linux
Et l'OpenZFS.
 
 
Les questions que je me pose c'est : avec mon FreeNAS j'ai quelle version ?
Je pense à l'officielle car basé sur du BSD.
Mais ensuite, qu'elles sont les différences ? Sont-ils compatibles ?
De ce que j'ai pu lire OpenZFS repart depuis le code de Sun avant qu'Oracle ne le ferme.
Donc ils doivent sur les bases être compatibles les uns les autres (au moins en lecture) du moment que des options particulière n'ont pas été utilisées (dedup, algo de compressions particulier ....).
 
Je me trompe ?
C'est quoi la différence entre eux (en dehors de la diff de philo open/close) ?
 
 
J'ai lu ceci j'ai trouvé ça intéressant.
C'est vrai que pour des hébergeurs comme OVH la dédup c'est intéressant..
Et les idée développées laissent imaginer de belles progressions encore pour ce FS.
En fonctionnalité mais aussi en performance.

Un des disques 1To de mon NAS commençait à montrer des signes de fatigue (secteurs illisibles). Celui-ci faisait partie d'un vdev composé de deux miroirs. Du coup, remplacement du disque par un 3To et resilver dans la foulée -> Terminé en 3h avec des disques pleins à 60% ! Ca change du dernier resilver que j'avais fait sur un raidz1 de 4 disques qui m'avait pris plus de 24h de mémoire.

Je pense que FreeNAS utilise OpenZFS mais pour le reste en gros je pense que tu as raison.

ZFS n'est plus utilisé que par Oracle.

Cf ici pour pas mal de ressources sur le sujet (slides, confs, docs etc) : http://open-zfs.org/wiki/Main_Page

En gros OpenZFS a un "gate" (upstream) qui est forké chez Illumos, BSD, ZFS on Linux et ZFS on OSX. Les changements que font les uns et les autres sont mergés dans ce gate (si acceptés upstream), et les features spécifiques à certains fork sont qualifiés de "flags" ; l'ensemble des flags utilisés dans un pool forment comme une clé qui détermine si l'utilisation du zpool avec une version différente est possible. Donc sauf fonctionnalité vraiment batarde que t'as choisi d'utiliser, normalement tu dois pouvoir migrer ton zpool d'un système à un autre. Ou au pire tu recompiles ton noyau avec l'autre version mais ça risque de pas être évident

Edit : les feature flags pour avoir une idée de ce qui fonctionne et où : http://open-zfs.org/wiki/Feature_Flags

Edit : pour la diff entre les 2 elle est simple (et en même temps potentiellement immense), Oracle développe ce qu'ils veulent et OpenZFS aussi, donc les 2 s'éloignent l'un de l'autre avec le temps. Comme Solaris et Illumos depuis 2010, et comme Java bientôt probablement Par exemple Oracle a changé la façon de gérer la limite du arc cache, il ne s'agit plus de capper la valeur mais de réserver de la valeur aux applications, donc c'est d'autres commandes et d'autres paradigmes pour les admins et les développeurs. C'est mieux ou pas, je sais pas, j'ai pas eu trop le temps de me faire un avis. Mais comme à chaque fois dans ce genre de cas, il vaut mieux utiliser la version libre, il y a des tas de boites qui utilisent OpenZFS et donc le maintiennent, c'est leur business, et c'est donnant donnant pour eux puisqu'ils ont un feedback sur leur développement + des bugfix et des features du reste de la communauté.

 
 
Je repars sur une base saine pour mon serveur.
Et j'aimerais utilisé ZFS sur ma Debian.
 
Avec les 3 disques j'aurais donc un dataset et 3 vdev rattachés a ce pool (corriger moi si je me trompe   )
 
Est ce que si je créer un pool en RAIDZ (RAID5) avec les 3 disques et que plus tard je souhaite rajouter un disque a ce pool je pourrais le faire "facilement" ?
 
Je me pose la question car il serait impossible d’ajouter un disque à un vdev RAIDZ
 
De ce que j'ai compris, je pourrais le faire facilement mais je devrais recréer un dataset ou bien je pourrais ajouter ce nouveau disque (vdev) à mon pool et donc à mon dataset d'origine ?  
 
Edit: dans ce dernier point il me semble par contre que si c'est bien ça, le fait de rajouter un vdev unique à un pool RAIDZ déjà existant provoque la perte de toute les donées du RAIDZ si ce vdev rajouter vient à rendre l’âme ?

de ce que je sais: tu ne peux ajouter que le même nombre de disques, donc si ton zpool au départ est constitué de 3 disques, tu dois en rajouter 3 autres pour étendre, ou le détruire et le recréer avec 4.

Tu peux très bien avoir plusieurs vdev dans ton pool et en ajouter un autre qui n'a rien à avoir avec les précédents.  
 
Dans l'exemple de qwrt, tu un pool avec un vdev qui est en RAIDZ1. Plus tard, tu pourrais y ajouter un nouveau vdev avec par exemple deux disques en mirror. C'est pas conseillé mais tu peux le faire.
 
Effectivement, si tu perds un vdev, tu perds les données de tout le pool. Donc dans l'exemple précédent, si les deux disques du mirror meurent, tu perds aussi les données du RAIDZ1.
 
A toi de voir si tu as vraiment besoin d'ajouter de nouveaux disques dans un pool existant. Rien ne t'empêche de créer de nouveaux pools constitués d'un seul vdev.
 
Sinon un article intéressant entre RAIDZ et mirrors : http://jrs-s.net/2015/02/06/zfs-yo [...] not-raidz/

Ok je vois.
 
A la limite ce qu'il vaut mieux faire en effet c'est plutôt, un pool par type de RAID à l'instant avec le nombre de disque que j'ai à dispo.
 
Genre la je commence avec 3*6to. Il faudrait plutôt que je fasse la même choses de que j'aurais de nouveau 3*6to pour l'ajouter à mon poll de départ sans probléme.
 
Par contre sur ta dernière indication, créer un nouveau pool constitué d'un seul vdev. Certes.  
 
Mais ducoup deux volumes différents on est d'accord ?

J'ai pris une stratégie un peu différente.
Plutôt que de prendre 4*4To=16To en raidz pour plus tard ajouter des disques, je suis parti vers un 8*2To= 16To en raidz.
Ainsi j'échangerai les disques vers des plus gros pour agrandir le vdev et donc le pool plutôt que d'en ajouter au pool via un nouveau vdev.
Pour moi j'évite ainsi les différences de vdev au sein d'un même pool.

Ouai mais cette solution est plutot onéreuse

avec 8 disques il vaut mieux faire du raidz2
 
ou alors tu commence avec 4 disques en raidz et plus tard tu rajoute 4 disques en raidz à ton pool

T'as l'inconvénient de devoir changer tous les disques pour augmenter la capacité. Ca fait gros coût à chaque changement avec les inconvénients du RAIDZ en plus.
 
Et sinon t'as un RAIDZ1 ou RAIDZ2 ?
 
Perso, c'est des pools de 2 vdevs composés de deux disques en mirror pour chaque vdev. Pour augmenter la capacité, je peux soit créer un nouveau pool avec un nouveau vdev, soit remplacer les deux disques d'un vdev.

C'est ca que je compte faire.
Raidz de 3*6to.
Et plus tard rajout de 3*6to au pool.

+ un backup car le raid n'est pas un backup

Bien sur. Backup pour données sensible

J'hésitais entre raidz2 et raidz3 et freenas "conseille" du raidz3.
Je me suis donc lancé en raidz3.

Oui ça fait cher pour agrandir car il faut que tout les disques soient plus grand.
Mais en le faisant petit à petit ou en profitant de la panne d'un disque (bien que plus rare) cela permet de niveler la dépense (sans pour autant profiter de l'espace dispo)

Dites, il y en a qui tourne avec ZoL ?
 
Je viens de finaliser l'installation suite installe du nouveau kernel (4.6.3), j'ai du recompiler spl et zfs. Tout semble ok à présent et je vais enfin pouvoir me lancer.
 
Par contre (j'avais jamais fais gaffe avant en fait) mais j'ai une bonne 50aine de processus qui tournent, du genre:
 
[spl_system_task]
[spl_kmem_cache]
[spl_dynamic_tas]
 
Tout vas bien ou je dois m’inquiéter ?  

Sur mon Ubuntu 16.04 :
 

Donc ça semble normal.

J'ai le même résultat sur ma Debian, ça semble donc bien normal.
 
Merci  

Ce qui m'aurait le plus choqué c'est de voir la mémoire passer d'un remplissage "normal" à pleine à cause du cache.

Interessant: QNAP commence à sortir des NAS utilisant ZFS comme FS principal (basé sur OpenZFS/freebsd)
 
exemple: http://www.ldlc-pro.com/fiche/PB00212238.html
 
bon par contre c'est sur le haut de gamme de la marque    
 
 
disclaimer: je n'ai aucun interêt dans les ventes de QNAP ni de LDLC

 
 
Petite question, est ce que vous aussi sur vos installations ZoL quand vous faites:
 

 
Vous n'avez pas la valeur de la version ?
 
Par contre quand je fais un  
 

 
J'en deduis que je suis bien en version 28 mais bisarre que la premiere commande ne me remonte rien...
 
Par contre pour la version du FS:
 

j'ai la même chose
 
et pas de version non plus sur les zvol