Reprise du message précédent :
 
 
J’ai un disque qui commence à montrer un signe de fatigue.  
 
J’aimerais dans un premier temps « condamné le block défectueux si possible et voir comment la situation évolue avant de remplacer le disque si vraiment nécessaire. (C’est ce qui arrivera certainement   )
 

 
C’est quoi la méthode la plus simple quand on le disque est dans un zpool ?
 
Je passe le disque en offline et j’essaye avec hdparm par exemple ?
 
Puis ensuite resilver / scrub.  
 
J’ai jamais eu à faire ça, donc je ne sais pas vraiment comment prendre le pb.    
 
Vos avis ?

J'ai commandé un nouveau disque, je ferais un badblocks sur l'autre, on verra

 
Des avis sur la « deduplication » pour un stockage de VMs?

Bonjours à tous.

Je reviens vous hanter.
Ou plutôt après avoir été occupé à d'autres trucs (déménagements, divorce, changement d'emplois... la vie quoi) je peux enfin revenir "ici" pour un projet que j'ai du mettre de côté.

Je commence par quelques "offrandes" pour ceux qui poussent le trucs loin :
La dernière version en date du guide ZFS officiel :
https://docs.oracle.com/cd/E37838_0 [...] index.html
PDF : https://docs.oracle.com/cd/E37838_01/pdf/E61017.pdf
Et la dernière version que j'ai trouvée en français pour les teubé de l'anglais comme moi :
https://docs.oracle.com/cd/E56338_0 [...] index.html
PDF https://docs.oracle.com/cd/E56338_01/pdf/E53914.pdf

Naturellement après une si grande "pause" tout ce que j'avais à peine effleuré a été oublié.
Et je reprend donc quelques questions de vocabulaire.

AVERTISSEMENT : toutes mes questions sont dans le cadre d'un serveur TrueNAS

Ainsi je me limite à ce qui est accessibles via l'interface web et je ne suis qu'un petit joueur bien loin d'un sysadmin Solaris.
Mais je vous rassure je me limiterais ici qu'au ZFS et j'irai ailleurs pour le reste de TrueNAS.
Ainsi :

VDEV
Un VDEV est composé d'un ou plusieurs disques.
Un VDEV peut contenir un ou plusieurs DATASET et/ou ZVOL

Un disque peut-il être dans plusieurs VDEV ?
A la place des disques peut-on prendre des partitions ?

DATASET
Le grand Polarise m'avait dis que c'est un "filesystem" en général associé à un point de montage.
Il peut avoir des options comme la compression ou la déduplication différente du VDEV dans lequel il est "stocké".

Puis-je comparer cela à une partition ?
C'est ce que je trouve le plus proche car pour moi "filesystem" = "système de fichier" et donc un formatage.
Mais dans le cas de ZFS c'est déjà formaté en ZFS (j'ai du mal car ZFS gère aussi bien le système de fichier que le matériel et j'ai l'impression les partitions)

Un DATASET peut contenir un ou plusieurs DATASET et/ou ZVOL
(J'ai fais le test dans TrueNAS)
Mais dans ce cas je ne comprend pas la différence entre un DATASET et un VDEV.

ZVOL
Je ne comprend plus ce que c'est ni à quoi ça sert.
Je reprend la définition de Polarise : une sorte de disque virtuel que l'on peut rendre accessible en iSCSI ou exposer à une machine virtuelle qui le prendra comme un HDD

ZPOOL
Sorte "d'intermédiaire" entre d'un côté les VDEV qui composent le ZPOOL et de l'autre côté les SATASET/ZVOL
C'est tout ce que j'en comprend car je n'ai pas encore vu cela dans mes tests dans TrueNAS.
Ils sont peut-être gérés de façon transparente par l'OS.
Je ne sais pas s'ils peuvent avoir des options compression/déduplication/RAIDZ.
Je ne sais pas si les VDEV doivent être de même type de RAID/RAIDZ ou pas.

Donc pour le moment voici le résumé de ce que je sais via une image et une phrase faisant une comparaison :

Un "ZPOOL"/"sac" est fabriqué avec "des VDEV"/"du tissu" qui sont fabriqués avec "des HDD"/"du coton" et contient "des DATASET et ZVOL"/"des fruits et légumes"

Quand aux fichiers ils sont stockés dans les DATASET.

Ai-je correctement appris ma leçon ?
J'espère avoir des précision sur les points/questions soulignés.

Merci

En y repensant j'ai fais une seconde version de l'image :

Un disque ne peut AMHA être utilisé que par un seul vdev, sinon bonjour le bazar que ce serait au niveau cohérence des données. ZFS se fiche un peu de ce que tu lui donnes à manger comme périphérique, on recommande plutôt d'allouer directement des disques complets, mais si tu veux faire des partitions ça marchera aussi. Pour faire une analogie avec d'autres outils, les vdev ça serait un peu l'équivalent des volumes qu'agrège mdadm, tu les composes des périphériques physiques que tu veux, en précisant le type de configuration (RAID1, JBOD, etc.).
 

Le dataset c'est la partie données de ton zpool, une fois ce dernier créé il est vu par défaut comme un seul gros filesystem, si tu veux affiner sa gestion tu peux ajouter des quotas pour chaque découpage ultérieur (qui sembleront apparaitre comme des montages différents, mais utiliseront bien le même dataset). Découpages effectués par zfs create.
 

Tu peux utiliser ZFS pour présenter des pseudo-disques : leur contenu ne sera alors plus géré par lui, mais par la surcouche qui les utilisera (une VM, un client distant via iSCSI, une base de données qui travaille avec des raw devices, etc.). ZFS ne sert alors plus qu'à agréger les vdev et gérer les redondances mises en place.
 

Le zpool agrège ce que tu lui dis de prendre, un peu comme le ferait sous LVM un volume group, sauf que par défaut il va aussi présenter ça comme un FS sans que tu aies besoin de le formater. Donc dedans tu peux mettre ce que tu veux, des volumes redondés, des bouts de partitions, etc. Rien ne t'interdit de faire des mix, même si on conseille quand même d'essayer de garder une certaine cohérence (par exemple sur du RAID10 essayer d'avoir des disques identiques). Il englobe aussi les vdev de logs et de cache (s'il y en a), qui ne sont évidemment pas comptabilisés dans l'espace visible.

L'expansion raidz est sorti de la version alpha il y a quelques jours  
 
https://github.com/openzfs/zfs/pull/12225
 
Une bonne nouvelle  

Ajouter des disques à un VDEV ?

C’est ça.  
 

 
edit: https://louwrentius.com/zfs-raidz-e [...] aveat.html
(article qui résume bien la nouveauté avec son léger inconvénient)

 
Question cross-topic [TOPIKUNIK] Proxmox, une solution de virtualisation kellébien !

Merci pour vos lumières

La doc Oracle directement devrait t’apporter plus d’info je pense.

pour ma part, j'avais essayé d'utiliser à l'époque la propriété sharenfs, et... c’était pas concluant du tout.
ça donnait l'impression que c'était a moitié implémenté..
c'était y'a plusieurs versions, j'avoue ne pas avoir retenté depuis, ca c'est peut être amélioré.
j'avais fini par la désactiver, puis installer le bon vieux nfs-kernel-server et gérer le nfs en dehors de zfs. pas de probleme depuis

Effectivement, elle est un peu plus bavarde. Je vais aller potasser ça

C'était quoi ton plus gros soucis?

Drapal  

C'est pas mal l'expansion ZFS mais à réfléchir tout de même, vu qu'on se retrouve avec un mic mac des données. Ce qui est déjà un défaut de ZFS, avec l'absence de moyen de défragmenter.
 
Pour ma part j'ai étendu de 2 vdev à 3, j'ai remplacé des 2To par des 4To puis pour un vdev par des 14To, c'est un beau bordel.
 
Pas gênant pour un usage NAS.

J'ai du mal à comprendre ce que tu veux dire.

Hello à tous ! Oulà je risque de déterrer les morts ici      
 
J'espère que vous allez bien ?
 
Bon, je bosse depuis maintenant quelques mois (années...) sur un projet d'un NAS maison, que je pourrais présenter dans la section dédiée et mettre le lien ici    
 
Mon serveur est installé avec TrueNAS Scale, qui sied plus à mes besoins que son vieux cousin Core.
 
Voici rapidement comment est organisé mon setup :
 

• Case: Lian Li PC-Q26
• Motherboard: Asrock Rack E3C224D4I-14S
• CPU: Intel Xeon E3-1285L v4 (4c/8t) + ARCTIC Alpine 12 PWM PST CO
• RAM: Crucial 8GB DDR3 1600MHz PC3-12800 ECC Unbuffered CL11 1.35V (x4 CT102472BD160B)

• System Storage: Intel SSD DC S3700 100GB 2.5" (x2 MIRROR)
• Data Storage: HGST Ultrastar 7K3000 3TB SATA 6Gb/s 3.5" (x8 RAID-Z2 HUA723030ALA640)
• App/VM storage: Intel SSD D3-S4610 Series 960GB 2.5" (x1)

J'ai une petite question sur la topologie ZFS dans ma config du pool DATA :
 
Quelle serait la configuration la meilleure ?

• 1 Pool avec 1 VDEV de 8x 3TB en RAID-Z2 ?
• 1 Pool avec 2 VDEV de 4x 3TB en RAID-Z ou RAID-Z2 ?

Merci  

meilleur en disponibilité ou meilleur en perf ?

IMO, 1 VDEV de 8x3Tb en RAIDZ2, voir RAIDZ1, ça coute plus rien les disques 3Tb si un changement doit avoir lieu

 
Bah si meilleures perfs --> 1 VDEV
Si meilleure dispo --> 2 VDEV
 

 
Surtout que j'ai 6 disques de 3TB identiques (moins un si je considère qu'il est HS) en plus.
Je préfère rester sur RAIDZ2 pour une question de tolérance de panne et j'ai pas un énorme besoin en stockage, du moins pour l'instant    
 
Merci à vous !    
 

Je vais recevoir un micro PC Intel N100 16Go DDR5 et SSD NVME et mettre proxmox dessus (ESXI était prévu au départ mais j'ai envie d'essayer proxmox), je vois que celui-ci supporte ZFS, du coup je mettrais bien ZFS dessus, mais je n'ai qu'un disque. Vu le prix des SSD NVME (un 4To coûte 2 fois plus cher quasiment que le PC lui-même ) pour l'instant je ne vais en mettre qu'un, sans parité car ça bouffe trop de place, vous pensez que ça vaut quand même le coup juste pour avoir les checksums et donc pouvoir savoir que j'ai un pb de corruption de données, sans pouvoir les réparer ?
 
Normalement en bidouillant un peu je peux mettre 2 SSD donc un plan B pourrait être un miroir en prenant les SSD les plus cheap possible au lieu de prendre les plus endurants comme je fais maintenant, pour limiter le surcoût).
 

 
Pour l'expansion c'est expliqué dans l'article le pb, en gros les données existantes sont réparties de manière non optimale sur le nouvel ensemble de disques.
 
Ce qui est déjà le cas avec l'expansion via ajout de vdev, où là les données ne sont même pas réparties du tout, donc si tu ajoutes un vdev à un vdev 100% rempli, tu ne bénéficies pas du tout du striping (RAID0) entre les 2 vdev, à moins de réécrire les données pour qu'elles se répartissent sur les 2 vdev.
 
Dans mon cas j'ai fait 1=>2=>3 vdev, j'ai passé les disques de 2To à 4To puis pour un vdev à 14To, sans jamais réécrire les données, du coup la répartition des données est chaotique. Ce n'est pas très gênant mais plus jeune j'étais un gros fan de la défragmentation, j'ai dû abandonner cette obsession

ZFS va tout arrêter s'il ne peut pas réparer, c'est une mauvaise idée.

Oui, c'est préférable Il faut de la parité pour ZFS.