Reprise du message précédent :
Quand je fais un blkid j'ai bien des UUID sur tous mes disques, ça devrait donc être bon
 
Merci  

rien à a voir..."zpool status" te donne quoi ?

ha oui
blkid te donne l'uuid des "block disk" (volumes, partitions...pas les disques brut eux même)
il faut regarder dans /dev/disk/by-id/ et tu dois retrouver ces id dans ton "zpool status"

zpool status me donne effectivement mon volume avec mes vdev nommé en sda/sdb/sdc
 

 
Du coup ca va pas être bon ?

Je pense qu'il retombera quand même sur ses pattes, mais dans le doute tu peux exporter le volume, puis l'importer sur la nouvelle config en précisant cette fois-ci les ID des disques.

C'est bon je viens de faire le nécessaire, merci à vous.
 

 
Comme ça, ça devrait être bon  

Juste pour vous que dire tout c'est bien passé pour le changement de carte mère.
 
Petite question:
 
Je vois un peu tous les avis sur la toile    
 
j'aimerais tester mon volume ZFS avec une partition dédié au cache, histoire de voir ce que je peux gagner (ou pas, car effectivement ça peut être contre productif)
 
A priori le ratio à avoir entre le cache L2ARC  et entre le ARC (RAM) serait de 4:1.
Dans mon cas j'ai 32GB de ram => Donc partir sur 128GB serait bien.
 
Le volume est composé de 3*6TB.
 
1- Est ce que utiliser simplement une partition d'un SSD est une bonne idée ? Ou il vaut mieux utiliser un SSD entier ?
2- Est ce que vous pensez que pour la config ci dessus il y aurais un gain ? (le volume ZFS est utilisé pour du stockage de fichier et des VM)
 
 
 
edit: je laisse tomber cette idée, sur un système avec moins de 64GB de ram, mettre un cache L2ARC est inutile.
Et je ne verrais de toute façon pas de grosse différence pour l'utilisation même si j'en met un.

drap pour parler plus tard de mes projet de zfs

re, je souhaite utiliser un HP gen8 microserver (avec 16go de ram), sur lequel je vais faire tourner proxmox sur un SSD en ZFS, dans lequel j'aurais une VM, surement du freenas. J'aurais dans un premier temps 2 HDD de 3To, auxquels s’ajouteront 2 autres HDD de 3To ou un 2 et un 3. Mes questions tournent autour de ZFS et de l'organisation de mes disques. Je n'ai pas forcément besoin de haute disponibilité de mes données, je souhaites juste stocker, sauvegarder et pouvoir éventuellement agrandir mon stockage. Actuellement, je n'ai pas plus de 3To de donnés qui sont à sauvegarder. Je pensais partir sur des mirror vdev(s) simples, deux pools de 2x3To idéalement, soit 3To par pool, 6To au total, avec sauvegarde sur disque dur externe relié à la machine des 3To qui importent le plus (et peut être sauvegarde externe). Qu'en pensez vous? Serait il plus judicieux de partir sur du raidz?

Le raidz ne te fera gagner qu'en stockage.
 
Tu as la possibilité d'aggréger 2 miroirs aussi, ça ne te fera qu'un pool à gérer (sorte de raid 10). Et si tu veux séparer / backuper t'auras juste à proprement découper ton zpool en différents zfs et snap / send / gzip et upload.
 
J'ai pas trop compris ta stack non plus. Pourquoi passer par proxmox si tu utilises du freenas ? Freenas fait hyperviseur aussi.

je préfère dédier l'hypervision a un proxmox, ça me permet de jouer un peu . J'ai actuellement un nas Qnap que je remplace et la partie hyperviseur intégré au système est pas pratique du tout, je préfère laisse freenas faire son taff de Nas et proxmox son taff d'hyperviseur

Sinon je suis tombé sur cet article, toujours d'actualité ? https://jrs-s.net/2015/02/06/zfs-yo [...] not-raidz/ qu'en pensez vous?

Pour le 2ème point ça s'est peut-être un peu amélioré. Mais globalement tout ça reste assez vrai je pense oui.

L'OS de qnap et FreeNAS n'ont rien à voir, si ?

Non effectivement mais je parlais de mon expérience en os non dédié à qui je fait plusieurs trucs...

 
 
y'en a t y parmi vous qui ont testé la derniere release, 0.8 ?
https://github.com/zfsonlinux/zfs/r [...] /zfs-0.8.0
ca apporte notament le chiffrement natif    
 
testé ici dans une vm debian 9, un bete wget, ./configure, make, make install, reboot et ca roule
pas encore vu toutes les nouveautés, mais testé le chiffrement, ca marche bien (mais sans mot de passe, on voit toujours quelques metadatas comme le nom du pool, des diffrents volumes et leur occupation, l'historique..)
A priori, le scrub est nettement plus rapide
à voir aussi ce que le donne le zfs send/receive en chiffré..

 
Oh que oui, et SURTOUT le support de O_DIRECT
 
Du coup ça marche nickel dans XCP-ng 8.0 https://xcp-ng.org/forum/topic/1385 [...] xcp-ng-8-0

Raidz expansion:
 
https://github.com/zfsonlinux/zfs/pull/8853

Niiiice

LA feature que j'attends le plus  

#Drap et question que je repose ici du coup
 
J'ai un comportement étrange depuis que j'ai changé les disques de mon ZFS, je suis passé de 4x 1To à 4x 3To.
C'est super j'ai de la place, mais niveau perfs j'ai l'impression que le pool encaisse moins qu'avant, et si je regarde la RAM de mon node, c'est pas beau à voir:
 
https://reho.st/self/6f62df369c91ae [...] 9015e7.png
 
Avant c'était le calme plat, sachant que j'alloue pas plus de 6Go à mes VM/CT tous le reste sert au cache de ZFS (j'ai pas de cache SSD)(et il y a 16Go de RAM sur la machine)
 
Est-ce que ça ne serait tout simplement pas le fait que j'ai plus assez de RAM libre par rapport à la taille de mon pool qui a triplé ?

tu fais un arcstat et tu auras le détail du cache zfs en ram.
 
t'as pas un scrub qui tourne des fois que?

 
Dernier scrub a tourné le 08/09
 
arcstat me donne ça:

 
Si je comprend bien il bouffe 6.4G pour le cache, et y aurait max 7.4 de dispo ?
 
Dans l'absolu la question que je me pose: la préco c'est 1Go/To de donnée, du coup je serais à peu près Ok.
Mais:
- est-ce que c'est possible d'avoir des ralentissements si on est limite ?
- dois-je acheter une deuxième barette de 16Go pour mon Proxmox pour pouvoir utiliser ma fibre à son max ?
 
Je vais voir pour récup des barettes ce weekend et tester je crois ..

Je n'utilise pas (encore) ZFS, mais ce ne serait pas une question de secteurs (512o sur les 1To, 4Ko sur les 3 To) ?

Oui à voir pour le réglage async.
 
J'utilise du Solarish (OpenIndiana) depuis ma conversion à ZFS, sans attrait particulier pour Linux pour mon usage, mais là j'ai besoin de me faire une VM Linux. Elle tournera sur des machines Windows dans un premier temps, mais pourra possiblement plus tard être transférée sur du ESXi, Xen ou autre, ou encore rester en Virtualbox mais sur OpenIndiana/OmniOS.
 
Ce n'est pas super critique, mais étant fan de ZFS, je me dis que je pourrais utiliser ZOL dans la VM, sur un disque virtuel unique, afin d'avoir au moins les checksums. Puis je pousse mon raisonnement, et je me dis que je peux mettre le paramètre dont j'ai oublié le nom, pour que tous les fichiers soient doublés. Puis je pousse encore, et je me dis que je pourrais mettre 4 disques virtuels et faire un RAIDZ1, comme ça j'ai une certaine redondance, en prenant un peu moins de place.
 
Il n'y aura pas de stockage à proprement parler sur cette VM, donc elle devrait garder une taille raisonnable, et être utilisée sur des SSDs.
 
Vous pensez que les 4 disques virtuels ça le fait, ou je risque juste de massacrer les perfs/usage CPU/RAM ?

Ca dépend de ce qu"il y a derriere tes disques virtuels. si c'est le meme disque physique, aucun interet. sinon ça peut être pas mal., surtout si t'as pas beaucoup de données.
J'ai moi meme une VM debian (xen) avec 4 disques physiques qui lui sont passés et gérés via ZoL, ça marche très bien

edit: pour des disques récents, vaut mieux toujours mettre ashift=12 )à la création du pool, indiquant des secteurs de 4k. c'est à priori mieux que de laisser par défaut, pour des secteurs de 512

Partir de "Ce n'est pas super critique" à "mettre 4 disques virtuels et faire un RAIDZ1", on voit bien comment tu apprécies ZFS  
Mais pourquoi faire compliqué quand on peut faire simple  
Je rejoins li1ju, je ne vois pas à quoi peut bien servir un RAIDZ1 de disques virtuels si ils sont tous stockés sur un même disque dur physique. Le disque physique pète, tu as tout perdu.  
Le seul cas possible que je vois, c'est quand tu veux tester les - nouvelles - fonctionnalités de ZFS.

 
Je me répond à moi-même: Avec 32Go de RAM au lieu de 16Go, ça marche beaucoup mieux.
L'ARC s'est stabilisé à 15Go d'utilisation, la mémoire de mon host ne fait plus de yoyo et j'ai retrouvé mes perfs.
 

 
Conclusion: il faut de la RAM pour ZFS

Mais on est bien au dessus de la règle 1Go/To

Bah 8+7 ça fait 15Go, ça laisse une marge de 1Go de ram

Bah ouai, je constate aussi

La VM sera backupée donc "tout perdre" n'est pas à l'ordre du jour. Par contre pour profiter de la résilience de ZFS sans devoir utiliser le backup (qui est plutôt du dernier recours pour moi), il faut forcément de la redondance dans les fichiers.
 
Mettons que ma VM aie besoin de 50Go d'espace, la solution de base quand on a qu'un seul support physique c'est d'utiliser le flag copies=2. Du coup j'ai besoin de 100Go.
 
Si par contre je fais un RAIDZ1 de 4 disques virtuels de 17Go, j'ai bien 50Go d'espace dispo, mais ça ne me coûte que 68Go, vous voyez l'intérêt ?
 
Ce sera sur du SSD donc l'impact en accès serait négligeable, enfin c'est ma théorie. Par contre la conso CPU/RAM de la VM, je ne sais pas.
 
Vu vos réponses je vais devoir tester

1Go, on est large.
A part si tu ouvres 3 Tabs ouvert dans firefox

 
Le problème d'ajouter un vdev à une pool existante c'est que les données ne vont pas se répartir uniformément. Il n'y a pas de defrag ou outil du même genre.
 
Pour ma part sur un serveur de pur stockage j'ai considéré que ce n'était pas un problème, et je suis parti sur 1 vdev de 19*2To en RAIDZ3, que j'ai ensuite étendu, maintenant j'ai 3 vdevs de 19*4To en RAIDZ3, une seule pool, un seul file system. 163To utilisables.
 
Pas d'instabilité, c'est même très stable, après je laisse rarement la machine tourner longtemps sauf lors des scrubs, ça consomme cette bête-là

 
Le principe en virtu c'est de foutre la complexité dans le niveau le plus bas et de rester "keep it simple" dans la couche virtualisé
La tu veux faire tout l'inverse en fait.

On est sur le thread ZFS, la complexité est de rigueur.

Question rapide, est ce que je peux avoir dans un Zpool, deux vdev avec des disques de différentes tailles ?
 
Genre un vdev en RAIDZ1 avec 6to*3 disques et un autre vdev en RAIDZ1 avec 4to*5 disques ?
 
Ou il faut absolument la même taille en capacité et en nombre de disque ?
 
Merci  

ce sera 2 zpool séparé juste du coup non ? j'suis pas spécialiste mais j'vais suivre les réponses

Ça ne devrait pas poser de problèmes, dans ce cas de figure il faut voir le zpool comme un simple volume agrégeant les différents vdev. Tu peux même t'amuser à mixer diverses redondances (mirror, raidz1, raidz2), ça fonctionnera aussi. Chez moi j'ai 2 vdev consistant en miroirs de 2 disques chacun, ils font parti du même zpool, et j'ai même pu augmenter la capacité en remplaçant les disques un à un.

Ok, on est d'accord.
Il y a une "reconstruction" du zpool j'imagine ? (je me dis qu'il faut bien agréger les données des deux vdev dans le zpool)

Lors du remplacement des disques ? Oui, il me semble qu'il y a un scrub qui est lancé à chaque fois, faut le laisser gratter avant de passer au disque suivant. Lors de la construction initiale ben c'est comme avec n'importe quel zpool, il est démarré à la création et vide. À moins que tes vdev soient déjà dans des zpool existants ? Dans ce cas je n'avais pas bien compris la question initiale...

Je parlais plus lors de l'ajout de disques dans un nouveau vdev mais dans le meme zpool.    
 
En fait j'ai ça actuellement:
 

 
Je veux ajouter 4 ou 5 disques dans ce zpool dans un nouveau vdev (pas le choix de toute façon actuellement, vu que pas encore d'expansion possible)
Les 4 ou 5 disques ajoutés seront aussi en RAIDZ1.
 
La question, c'est, est ce que ça pose problème de ne pas avoir le même nombre de disque dans le deuxième vdev du zpool ?
Car en me documentant sur le sujet je trouve deux sons de cloche...
 
Et a priori:
 

 
https://www.45drives.com/wiki/index [...] My_Pool.3F
 
Mais cette doc n'est ptet pas à jour (2015)...
 
edit:
 

 
https://www.ixsystems.com/community [...] pdf.30762/
 
Par contre pourquoi c'est recommandé ?