Reprise du message précédent :
Je parlais plus lors de l'ajout de disques dans un nouveau vdev mais dans le meme zpool.    
 
En fait j'ai ça actuellement:
 

 
Je veux ajouter 4 ou 5 disques dans ce zpool dans un nouveau vdev (pas le choix de toute façon actuellement, vu que pas encore d'expansion possible)
Les 4 ou 5 disques ajoutés seront aussi en RAIDZ1.
 
La question, c'est, est ce que ça pose problème de ne pas avoir le même nombre de disque dans le deuxième vdev du zpool ?
Car en me documentant sur le sujet je trouve deux sons de cloche...
 
Et a priori:
 

 
https://www.45drives.com/wiki/index [...] My_Pool.3F
 
Mais cette doc n'est ptet pas à jour (2015)...
 
edit:
 

 
https://www.ixsystems.com/community [...] pdf.30762/
 
Par contre pourquoi c'est recommandé ?

En cherchant un peu il semble en effet que les gens conseillent d'avoir des vdevs équilibrés, donc éviter d'avoir des tailles différentes et/ou des nombres de disques différents. Après je suppose que ça impactera surtout les performances, faudrait voir si quelqu'un a réellement testé et publié des résultats.
 
Quoiqu'il en soit ça fonctionnera quand même, dès que le vdev aura été créé et intégré le zpool l'utilisera.

C'est ça, du coup j’espérais avoir des réponse ici  

Deux choses:
 
-Quand t'ajoutes un vdev à un pool existant, il n'y a pas de rééquilibrage des donnés déjà écrites. Si le vdev d'origine est plein il reste plein, les écritures seront faites sur le nouveau vdev. C'est au fur et à mesure des utilisation (copy / move) que les données seront rereparties sur les vdev. Si tes deux vdev sont vides les donnés sont équilibrées sur tous les vdev.
 
- la conséquence de cet équilibrage: si t'as des vdev non homogènes la perf de ton zpool est celle de ton vdev le moins performant car ZFS attend le commit de ce vdev pour valider l'écriture.
Ex: un pool constitué d'un vdev de SSD et un vdev de HDD est limité par la perf du vdev HDD.
 
Maintenant si tu mélanges des niveaux Mirror / RAIDZ sur des disques de même performance, ca ne se verra pas trop, mais sur des charges élevées ta perfo est moins prévisible, car d'un coté ton cpu fait de la partié qu'il n'a pas a faire de l'autre, donc vdev un peu plus lent que l'autre.

Je vois, merci pour les précisions, j'avais bien conscience du premier point que tu développes.  
 
D'ailleurs pour "forcer" un ré équilibrage j'avais pensé a "sortir" un gros volume de données en dehors de zpool et le remettre dedans pour justement que ca reste homogène un minimum.
(actuellement presque 85%, donc ça devient critique d'upgrade )
 
Pour les perf, les disques rajoutés seront identiques et le niveau également (RAIDZ1), donc je ne pense pas avoir trop de soucis de ce coté là.
 
C'est vraiment le coup du nombre de disques qui seraient différent dans mes vdevs sur lequel je me posais des questions.
 
Mais a priori pas de soucis, sauf que ce n'est pas recommandé... mais pourquoi exactement ?  
 
J'ai pas trouvé l'explication.

C'est plus compliqué à maintenir, moins prévisible, pas la même fiab entre les vdev, pas les même temps de resilver...et si tes vdev font pas la meme taille ca arrange pas les choses...pour un particulier spa bien gênant, si tu veux prévoir de la maintenance, des upgrades, estimer la perfo de ton pool vs des profils d'appli dans le temps, etc, ça prend peut etre son sens.  
 
C'est un peu comme t'asseoir sur deux chaises une fesse sur chaque. Si ce sont les mêmes, elles vont s'user pareil, même performance à gauche et à droite, à moins d'avoir un c*l bizarre , si t'en a une avec 3 pieds l'autre avec 5 et qu'en plus elle font pas la même hauteur, c'est pas performant, et laquelle va casser en premier...dur à dire

Je vois, merci pour cette comparaison    
Je vais voir ce que je fais, c'est quand même chiant que le développement de "l'expansion" stagne comme pas possible...
 
Ça faciliterait la tache a bien de monde...

Moi j'ai 3 vdev de 19 disques en RAIDZ3.
 
J'ai commencé avec 1 vdev et des disques de 2To.
 
à un moment j'avais 19 2To, 19 3To, 19 4To.
 
Maintenant j'ai 57 4To.
 
Là je vais remplacer 19 4To par des 14To. Ensuite je mettrais les 4To libérés dans un 4ème vdev.
 
Pour du stockage pur, ça ne pose pas de pb, je suis limité par le réseau.
 
C'est sur OpenIndiana par contre.

Ca en fait des films de vacances

https://www.realworldtech.com/forum [...] tid=189841

 
Il y a encore du monde qui utilisent encore (Open) Solaris en 2020
Ça vaut encore le coup?

Et ceph il est ok ?

frenchieisverige : par rapport à ZFS on Linux tu veux dire ?
 
Pour moi c'est une machine dédiée, et les 2-3 autres trucs dont j'ai besoin (directement liés à la fonction de NAS) marchent dessus, donc je préfère garder qqchose de natif.
 
Je ne sais pas ce que Linus veut dire quand il parle de support, ZFS fermé est bien sûr supporté par Oracle, et ZFS ouvert par d'autres gens (ou les mêmes). à mon avis tout découle du pb de licence, et de ce point de vue il a parfaitement raison, pour ma part j'accepte d'utiliser cette licence, ce n'est pas comme si j'étais un gourou du free software.
 
à propos de la concurrence à ZFS :
 

 
https://www.ixsystems.com/blog/open-zfs-vs-btrfs/

 
Non, en temps qu'OS à part entière.

frenchieisverige :

• « En temps de » (guerre, paix…)
• « En tant que » (personne, chef, adjoint…)

#SOSDico

Illumos a un suivi correct, OmniOS a des updates régulières, OpenIndiana moins souvent, après tout dépend de ce que tu veux en faire.
 
Moi je dois dire que pour 2 applis je n'ai pas trouvé mieux que leur version windows, donc j'ai mis wine et les 2 marchent bien

Malheureusement, tu en auras jamais fini avec moi  

Un OS qui supporte très bien ZFS.

FreeBSD

(Je pensais pas déconseiller IllumOS un jour ).

Sinon "pour jouer" ça reste très bien mais ça sera pas très bankable.

Edit : Ubuntu aussi a un bon support.

Non justement, je recherche quelque chose de stable pour mon NAS.
Je suis pour le moment sous OMV 4, mais vu qu'ils ont l'intention de supporter uniquement le BTRFS comme FS à partir de la version 6, j'anticipe en cherchant une distribution "user-friendly" ou je n'ai pas à me soucier de leurs feuilles de route.
Et toutes mes recherches me ramènent à chaque fois vers ZFS et FreeNAS/XigmaNAS.

FreeNAS c'est très bien.

Je viens finalement d'installer OI Hipster sur un autre disque système (je garde mon vieux OI qui marche bien en secours).
 
J'importe ma pool et là ça a l'air OK, sauf que j'ai 0 d'espace disque. J'avais modifié un truc pour qu'il y ait moins d'espace réservé, ça n'a pas dû se transférer. A priori les données sont là et accessibles, mais vu que j'avais genre 1% d'espace libre avec 0 réservation, si maintenant il y a 3% de réservé, forcément ça ne va pas.
 
Je ne retrouve pas la bidouille que j'avais faite, ça vous parle ?

J'ai un pool zfs avec 4x 3To dedans sur un proxmox avec 32Go de RAm (j'avais rajouté 16Go pour être tranquille avec le cache ARC de ZFS)
 
Force est de constaté que parfois ça rame bien, bon typiquement pour des opérations à la con du genre copier/coller 50Go de donnée d'un dossier du pool dans un autre dossier du même pool
Mais ça tombe souvent à 25-30Mo/s. C'est un peu la loose je trouve.
 
Ca pourrait améliorer quelque chose d'ajouter un SSD dans le pool en tant que cache ? d'ailleurs apparemment il y a deux notion: journalisation ou cache.
Qu'est-ce qui aurait le plus d’intérêt ?

 
C'est quoi comme disques ?

Des HGST Ultrastar 7K4000 64Mb 'enterprise grade', c'est pas de ce côté là que ça devrait pécher normalement.

 
Tu dois avoir un soucis ailleurs, j'ai 32Go de ram est aucun soucis avec un pool de 7*6To.
Peut être du coté de proxmox ?

Je vais ma planifier un test avec toutes les VMs/CT éteinte pour voir (mais elles ne sont pas sur le pool ZFS, elles accèdent juste dessus pour des données)

 
Ca vaudrait ptêtre le coup de creuser quand même :
 
https://www.servethehome.com/wd-red [...] fs-issues/
 

 
Je sais que c'est pas nécessairement les mêmes gammes, mais si WD a dit de la merde / caché de l'information, ils l'ont peut-être fait sur d'autres modèles aussi.

 
Au final j'ai remplacé tous les disques d'un vdev (4To=>14To) et j'ai obtenu l'augmentation d'espace escompté, donc je n'ai pas cherché plus loin.
 
Par contre impossible d'installer mes applis windows (avec wine) sur Hipster, donc je suis revenu sur ma vieille version d'OI.

Pour les disques j'ai un vdev de 7K4000 et c'est rock solide, pas un n'a le moindre défaut. Les WD green, WD red, seagate Barracuda, je dois en changer un de temps en temps...
 
Pour la performance seulement 4 disques, c'est quel type de RAIDZ ? Copier de la pool sur elle-même c'est pas l'idéal, perso j'ai un seul FS donc pas besoin de toute façon.
 
LOL POLARISE : attention ça parle de SMR, une techno qui franchement ne devrait même pas exister, ou alors les disques devraient être à moitié prix. ça parait tout à fait logique que ce soit catastrophique en ZFS, je n'ai jamais vu personne penser que ce serait une bonne idée de mélanger SMR et ZFS, il y a juste certains qui ont essayé et trouvé que ça allait à peu près, pour du stockage pur sans besoin de perf.
 
Perso je fais du stockage pur sans besoin de perf, et pour économiser j'ai pris des 14To WD Elements/My Book, autrement dit des disques externes, que j'ai shucké. Pour l'instant plus que content du résultat.

 
J'avais oublié de donner des news désolé
 
En effet c'est uniquement quand je fais de la copie du pool sur lui-même, depuis un pc tiers en plus, à travers un partage samba .. J'ai testé à froid avec uniquement une copie de ce type c'est pareil.
Tous les test que j'ai pu faire dessus sinon sont nickel.
Et quand je copie dans un seul sens je sature toujours mon réseau donc bon je me suis pas posé plus de question.
 
Je mets un +1 sur ton avis sur les 7k4000, les miens sont des vieux trucs de récup qui ont 70k heures de vol et tournent nickel.
Au taf j'arrête pas de changer des WD Red à seulement ~30k heures

2 des applis windows que j'utilise sont justement pour de la gestion de fichiers, une pour créer/vérifier des checksum CRC32, et l'autre pour créer/vérifier des PAR. ça va beaucoup plus vite de le faire directement sur le serveur via une GUI que de passer par le réseau.

Ah bah oui c'est sur.
 
Chez moi c'est juste de la facilité d'utilisation: je suis sur mon pc de bureau, et je déplace des fichiers sur mon serveur. Je pourrais aller le faire en shell pour le faire direct sur le serveur mais bon  

Mais c'est entre 2 FS on est d'accord ?
 
Car il m'arrive de déplacer des fichiers entre 2 dossiers du même FS, depuis mon PC windows, avec donc une fenêtre de transfert windows, et ça prend un petit temps, mais clairement ça ne copie pas tout à travers le réseau, c'est le temps de donner les ordres fichier par fichier.
 
Genre je copie plusieurs milliers de fichiers pour une taille de 500Go et ça prend 5 minutes.

Ah oui sans doute une piste .. alors c'est dans le même FS côté serveur linux, mais dans deux partages samba différents ..

Effectivement c'est sûrement le pb. Fais un partage racine pour la gestion de fichiers.

Les travaux pour l’expansion ont un peu reprit: https://github.com/openzfs/zfs/pull/8853
 
Du moins y'a de l'activité sur le thread

Hello,  
 
J'ai le disque système de mon proxmox qui a craché.
je viens de le remplacer, réinstaller proxmox, et j'essai de retrouver mes donner sur mon pool ZFS.
 
J'ai import mon pool avec

 
Ca a l'air de marcher, quand je fais un df -h je vois mon pool avec les bonne taille, par contre si je browse dedans je vois que ça:

 
Du coup je vois les disques d'une VM KVM que j'avais dessus, ça Ok;
Par contre je devrais avoir également 3 dossiers, que je ne vois pas.
 
Une idée ?
 
Edit: c'est bon j'ai rien dit, j'suis un gros boulet/noob
 
J'étais dans /dev/zpool1 pas dans le mountpoint /zpool1
 
je laisse mon post pour la postérité
 
Du coup c'est quand même de la balle ce système !
j'ai tout remonté en 2 temps 3 mouvements

Réponse à une question de c_planet sur un autre thread (test secteurs défectueux sur ZFS) :
 
Le ZFS se fout un peu du disque, pour lui c'est juste un objet qui répond à certaines commandes de lecture/écriture. Par contre quand tu fais un scrub (test complet de l'intégrité des données) un disque foireux saute aux yeux (voire se faire éjecter de l'array). Ou juste à l'usage tu as des stats d'erreurs, dès qu'un disque commence à avoir quelques erreurs c'est pas bon signe. C'est un des trucs géniaux avec ZFS je trouve c'est qu'il vérifie et répare les données à la lecture.
 
Je laisse aux autres le soin de péciser s'il existe un soft de check disk (surtout sur solaris/opensolaris).

 
 
Est-il possible de configurer un z-pool de tel sorte que si il perd un vdev, seulement les données de ce vdev sont perdues?
Je compte mettre un disque par vdev.  
 

 
 
J’ai un disque qui commence à montrer un signe de fatigue.  
 
J’aimerais dans un premier temps « condamné le block défectueux si possible et voir comment la situation évolue avant de remplacer le disque si vraiment nécessaire. (C’est ce qui arrivera certainement   )
 

 
C’est quoi la méthode la plus simple quand on le disque est dans un zpool ?
 
Je passe le disque en offline et j’essaye avec hdparm par exemple ?
 
Puis ensuite resilver / scrub.  
 
J’ai jamais eu à faire ça, donc je ne sais pas vraiment comment prendre le pb.    
 
Vos avis ?