Reprise du message précédent :
Vous utilisez quoi comme boitier pour vos nas ?

J'ai une grande tour que je cherche à remplacer (avec 16 hdd dedans c'est plein, et je dois rajouter 3 autres hdd ..) par un boitier rack pour mettre dans ma baie. Le 24 baies hdd chez inter-tech à 550€ j'étais pas prêt

@eeeinstein, longtemps que je t’ai pas croisé sur le forum,
Tu pourrais peut être acheter des disques de plus grosses capacités pour rester avec ton boîtier actuel?
Après tu vas me dire qu’ils marchent alors pourquoi changer?

Vous utilisez quoi pour monitorer vos logs applicatives ?

Je teste netdata pour le système et les containers mais je viens d'avoir un pépin sur une application et seules une remontée sur certains keywords dans la log m'aurait parmi de prévenir le souci.

Je n'ai pas l'impression que netdata sache faire...

Je suis à la vieille école moi, je connais que dmesg et docker logs

J'ai pas spécialement envie d'investir dans d'autre HDD ^^

J'ai déjà 2 grappes pour un total de 50to..

je t'ai trouver ca , manque que les rack hdd :

Rackable Systems S3012

Docker envoie tout vers un container graylog.

Ça m'intéresse si tu trouves des trucs intéressants, n'hésite pas à partager

De mes recherches similaires :
- Norco (16, 20, 24 baies) c'est "pas très cher" mais toujours dans les 400-500 neuf, avec des feedbacks très mitigés sur la qualité de ce que j'ai lu sur divers forums
- Fantec 24 disques j'ai pu y jeter un oeil de près, c'est allemand mais grosse déception : made in china finition de merde bords pas ébavurés super low cost, et toujours 400-500 balles
- Regarde les boitiers supermicro 24 et 36 disques, SC846 je crois. Neuf c'est hors de prix mais ya parfois de bonnes affaires d'occasion sur ebay et autres autour des 200-300 pour de vieux serveurs mis à la retraite. Pour l'alim en revanche je crois que ce n'est pas du ATX à moins de faire de grosses modifications toi-même. Il faut viser (ou acheter en remplacement) ceux équipés avec les alims Supermicro "SQ" Super Quiet, nouvelle révision, elles sont beaucoup moins bruyantes que celles de base.

De mon côté je cherchais un boitier vraiment silencieux style 16 baies, quitte à le customiser moi-même avec de la mousse, pour en faire quelque chose de vivable en appart, j'ai laissé tombé pour l'instant

Ma dernière piste ce serait de composer un chassis ATX classique mais pas trop bruyant (lequel ? ) avec des boitiers 5in3. Avec 2 chassis de ce genre, dont un vide sans mobo qui contient seulement une alim et un SAS expander, ya moyen de se bricoler quelque chose avec pas mal de densité (10-15 disques par chassis), mais ça prend du temps et des sous (les 5in3 + prix des boitiers ça chiffre vite).

https://fr.aliexpress.com/item/32945259056.html si tu est pas pressé

Tu comptes les 200 de frais de port et ça t'amène au même prix qu'un fantec distribué en europe

 
   
 
javais pas vu
 
edit : en normal case tu as celui ci qui peut prendre 20 HDD dans le nez    
 

20 HDD 2.5" tu dis ? En 3.5 je vois pas comment ça rentre ?

 
linuxtech y arrive

Nice

il y a des intertech sympa, ça reste du panzer entré de game. Adventech les utilises pas mal pour les pc indus.
Suivant les games les prix sont "corrects", le soucis c'est plus où les acheter à prix raisonnable. Alternate n'ont pas une gamme ouf, ou alors c'est chère. par contre le InterTech 4410 que j'ai, au bout d'un ans j'ai les lumières de l'alim des disques qui est HS. La led est sur le fond de panier. C'est pas hyper qualité non plus (mais la tole est épaisse, pas coupante), les ventilos sont pas pwm de base, le mur de ventilo est en direct 12V.. et le fond de panier prends du molex en alim, pas du sata..

ça y est j'ai choisi pour mon nas :
 . Node 804
 . CM mini ITX
 . 8 HDD SAS 3.5"
 . PERC H700

fais nous des photals du montage
quel os?

Quelques infos de consommation électrique :  
 
Il y a quelque temps je me suis posé la question du choix du CPU quand je voulais monter une machine. Est-ce qu'en idle, c'est la même chose, peu importe le nombre de cores ?  
 
J'ai eu l'occasion de tester la conso à la prise sur un e5-2697v3, mono CPU à 14 cores. Mesure de conso idle sur le shell UEFI donc ce n'était pas booté sur un vrai OS, mais pas de programme qui tourne, c'est sûr. J'ai joué sur 2 options du BIOS : hyperthreading et nombre de cores activés.  
 
14 cores + hyperthreading : 138w  
14 cores, no HT : 137w, pareil  
8 cores, no HT : 127w  
1 core, no HT : 115w  
 
L'hypertheading ne change rien, en revanche on voit une descente assez linéaire de la conso en fonction du nombre de cores actifs, environ 1.66w/core. Donc il y a effectivement une conso qui reste mais c'est pas super ouf, c'est pas là qu'on va faire des économies substantielles  
 
Après, si on compare un système dual CPU 14 cores et un mono CPU 6 cores, oui il y aura quelque chose de visible au watt-mètre, genre +35w idle et bien pire à pleine charge  
 
Sur la même machine, j'ai pu mesurer la conso idle de 2 cartes PCI-E :  
- Contrôleur SAS LSI 9211-8i : 7w, aucun disque attaché  
- Contrôleur réseau Chelsio 4x 10Gbps : 13w, avec 2 SFP+ dedans, sans fibre connectée  
 
My 2 cents, si ça peut éclairer la lanterne de quelqu'un  

En même temps, un cpu 14 cores pour un NAS, c'est un peu HS, sauf à avoir des centaines de clients  

La conso dans le BIOS n’est pas la réalité d’un vrai idle sous un OS  de toute façon   (pas d’économie d’énergie activée, etc...)

 
Un NAS oui, un serveur non. J'ai upgradé mon serveur pour intégrer une vm dédié surveillance vidéo par manque de puissance de traitement par exemple.

 
+1

Centos 8  
La perc h700 est connectée en pcie 1x btw

Ok, je referai le test avec la machine bootée sur un live USB ubuntu, on verra si ça fait une différence visible

 

 
Note : ne pas faire attention au ssd et à la batterie de la carte raid qui sont stockées au fond en vrac.
Note2 : pas de photos des disques, il faut tout arrêter et tout débrancher, c'est trop relou.

Je songe à l'évolution de mon nas et notamment son boitier.
Vous connaissez un boitier rackable pour au moins 8 hdd 3,5" mais avec seulement une profondeur de 45cm pour aller dans une baie réseau ?
Tout ce que je trouve à une profondeur de 65 et ça ne rentre plus...

Vous avez quoi comme débits pour ceux qui utilisent ZFS sur leur host et un partage NFS avec les VM ?
 
J'ai ZFS sur proxmox directement et j'ai créé un partage NFS pour ma VM OMV, les débits sont de l'ordre de 50mo/s ...

NFS dans le sens data diverses accédée par la VM en NFS, ou bien la VM est entièrement stockée sur le partage NFS qui est accédé directement par l'hyperviseur ?

Dans le 1er cas je plafonne à 120-130 Mo/s sans savoir encore pourquoi (réseau 10Gbps).

Dans le 2ème cas, renseigne toi sur les sync writes avec NFS (perfs et dangers en mode async). Les données sont bien sur un SSD ?

 
C’est le premier cas : partage NFS du host vers la VM. Le partage étant hébergé dans un pool ZFS.
J’obtiens un débit de l’ordre d’une dizaine de mo/s…
 
Tu as une config particulière au niveau de ton serveur et client ZFS ?
T’as passé des attributs particuliers pour monter ton partage nfs dans /etc/fstab ?

Au niveau client quasi-sûr que non C'était sur une debian installée 5 min avant, j'ai seulement installé les tools (nfs-common etc) pour que mount sache monter le partage, pis j'ai mount le truc en cli directement (mount -t nfs blabla).

Au niveau serveur je crois pas non plus, de mémoire j'ai fait un dataset dans un coin, partage avec ACL restricted, monté le machin en root, un truc très basique. Je vais regarder si je trouve qqchose de spécial, je te redis.

Quand tu fais un transfert, tu vois le CPU monter côté client ou côté serveur NFS ? Avec top ou htop, tu vois que c'est du cpu user/system, ou bien wait/iowait, aucun des deux ?

Ton pool est stocké sur HDD (combien de HDD, quel setup de raid-Z mirroring/z1/z2/z3 ?) ou bien SSD ?

Tu testes en lecture ? Écriture ? Plein de petits fichiers ? Du gros séquentiel genre avec dd ?

Voilà ce que j'ai côté client NFS quand je tape "mount" si tu veux comparer :

C'est un bête mount basique donc avec les options par défaut de debian :

Côté serveur NFS Truenas, c'est un RAID-Z2 sur 6 disques. Options Truenas par défaut pour le partage NFS à part la restriction de sécurité sur les IP des clients NFS.

J'ai fait divers tests avec dd sur le client debian :

• En lecture j'ai environ 234 Mo/s-306 Mo/s

• En écriture je pige pas trop le truc, avec if=/dev/zero et of=un/fichier/sur/NFS, en fonction du paramètre bs= avec 1M, 512M ou 1G et le nombre de blocks count=, j'ai des taux qui varient de 116 Mo/s à 794 Mo/s. Pis c'est pas très linéraire.

Je me suis fixé sur une taille moyenne de 512M :
bs=512M count=1 à count=8 : 600-794 Mo/s
bs=512M count=9 : 300 Mo/s comme si j'avais atteint une limite ?
maintenant quand je refais avec count=9 ou 8 ou 7, ou même 10-11-12, j'ai des perfs constantes autour de 382 Mo/s. Si je mets count=6 ça monte à 400-600Mo/s

Bref, mon problème de perfs bridées à 130Mo/s est peut-être plus lié à SMB qu'à NFS ? C'est quand même chelou parce que la réplication entre 2 Truenas plafonnait également autour de 120-130Mo/s et là je ne vois pas de paramètre possible
Dans tous les cas, je n'ai pas de souci en NFS à 50Mo/s comme toi mais dans ton cas ce serait intéressant de vérifier avec top ou htop, iotop, ce genre d'outil, ce qu'il se passe côté serveur quand tu fais des I/O.

Regarde voir chez Servercase ?  
 
Ils ont celui-là à 48cm de profondeur (3cm ça passe ou pas ?), 10x 3.5 fixes :  
https://www.servercase.co.uk/shop/s [...] sc-43480b/  
 
Avant ils avaient celui-là parfait pour toi, 40cm, 8x baies 3.5 hotswap, mais out-of-stock  
https://www.servercase.co.uk/shop/s [...] 43400-8hs/
 
Envoie leur peut-être un petit mail pour voir s'ils auront de la dispo bientôt, ou d'autres modèles intéressants pour toi ?  

Merci pour les infos
 
Ce qui est intéressant, c'est que tu as beaucoup d'options dans ton mount :
 

Le mien est beaucoup plus limité car je n'ai que (rw,sync,no_subtree_check)
 
Donc je vais essayer avec tes options voir si ça améliore les choses ou non...
 
J'ai un bête pool ZFS avec deux disques en miroir de 2To (des WD Red) en 5400 tr/min.
 
J'ai fait le test en utilisant fio qui semble plus pertinent que dd de ce que j'ai lu (en tout cas dans un environnement virtualisé). J'ai lancé cette commande depuis le host directement en me plaçant dans le pool :

 
J'obtiens des résultats cohérents à savoir 130Mo/s de débit.
 
Par contre, quand je passe dans la VM, ça tourne autour de 40Mo/s...
 

Fort probable car le protocole SMB n'est pas hyper performant...

Fort probable car le protocole SMB n'est pas hyper performant...
 
euhhhhh on parle sous linux exclusivement la j'espère xD ?

Va falloir détailler un peu plus

En fait c est moi qui aimerait bien avoir des details sur :
Smb n est pas tres performant...

Remise au propre de ma baie et ajout d'un Synology RS814:


J'ai fait le câblage maison pour avoir les bonnes longueurs.
Je ferai un post Reddit à l'occasion pour détailler les confs.

 
 
J'ai mal formulé : c'est pas "pas performant" mais "moins performant" que d'autres protocoles de partage comme le NFS.
ça reste performant mais dès lors que tu veux tester ton réseau, tester un transfert via SMB n'est pas conseillé car la "lourdeur" de l'implémentation (au moins sous linux) fait que tu atteins plus rapidement une limite que sur du NFS par exemple
 
 

 
 
C'est propre
et ça donne envie  

 
Impressionnant !
Surtout la baie de 12 disques.
T'avais pas fait un sujet dessus d'ailleurs ?