Reprise du message précédent :
En attendant personne n'a proposé une solution  

la dedupe libre, c'est pas encore prêt pour le DC

Je connais au moins un grand compte FR qui utilise ça assez largement, bon pas de storage de VM c'est à priori que pour du backup et du storage utilisateur...

 
Je parle pas d'un truc au niveau d'un DC entier, je parle juste pour une petite appliance qui va stocker quelques To de fichiers VHD avec des backups nocturnes le plus fréquemment. Et des restores 2 fois par an.

compression LZ4 + achat de disques supplémentaires
 
la force brute c'est souvent plus efficace que les usines à gaz pour gagner 50% de place.
 
Vu le prix du To...

Petite surprise en rebranchant le NAS@home après déménagement (seul seagate du pool ):

Je sais pas, 4 ans ça me parait pas ouf.
Et merci raidz

 
C'est surtout un argument marketing : être capable de fournir de la dépup avec 50% de place gagnée à bien plus de valeur que de dire « rajoute des To ça coûte rien »
 
Même si au final ça réduit la vitesse d'un facteur 10 quand on restore.
 
Perso j'utilise déjà la compression LZO, j'ai pas de doute de son utilité. Mais ça me surprend (encore ) qu'on ait rien pour dédup quelques pauvres To sans faire une division par 0

bah c'est justement il y a 4-5 ans que seagate a eu de gros problème de fiabilité sur ses disques, 4 ans c'est un record pour cette serie ⁹⁹

bah tu as toujours la solution de virtualiser une xxx-BSD avec Xen et d'y mettre ZFS    
 
Le problème c'est que même avec ZFS sur BSD:
- il faut savoir bien dimensionner la RAM et le L2ARC (SSD) pour que la table de dedup  rentre dedans (en plus du cache ARC classique), sinon l'écriture aura une vitesse ultra faible.
- la dedup va très fortement rallonger le temps de scrub car ça va beaucoup plus fragmenter avec le temps (et pareil pour la vitesse en read, mais en backup c'est moins important, sauf en cas de restauration urgente   )
 
donc bref c'est pas la joie, il y a plein d’inconvénients.

Bon je vais retry le dédup offline de btrfs sur une Debian testing (sur une stable ça marche pas)

pourquoi pas debian une stable avec un kernel "jessie-backport" ?
 

 
ça sera bien plus stable au niveau de la distrib

C est qui le tronpa?  

 
C'est dans mon lab déjà pour mesurer les niveau de dédup, je fais pas de choix définitif avant un bail de toute façon
 
Mais merci du tuyal je vais tester comme ça dans un premier temps

 
J'ai les boules tout de même... j'ai des WD qui ont maintenant 6/7 ans et juste ça marche.

Sligor : ça serait pas plus « echo » que « cat »

oups    c'est le week-end mon cerveau est en mode croisière  

Bon résultat de dupremove -dhr :

Pour juste quelques fichiers :

Par contre ça a duré 15 minutes environ

edit : et je sais pas comment vérifier l'espace réellement sauvé, même avec les commandes Btrfs

 
Le stockage à jamais été aussi économique, et c'est pas prêt de s'arrêter. Pire encore, intel vend du Lustre sur ZFS ... Dédup presque en natif ... Sur serveurs ZFS windows.    
Mes solutions font pâle figure a côté mais : je déconseille la dédup, et c'est fait pour du max io/grosse bande passante, pas pour du stockage VHD. Y'a pas de solution libre viable. En DC, les mecs s'occupent pas et veulent le meilleur rapport qualité/prix/fiabilité. Si faut payer un mec 40000(70000 avec les charges) pour assurer la maintenance d'un clust qui dépasse pas 100TO, avec une criticité faible et pas besoin des fonctions de ZFS outre mesure, ils vont aller investir dans une baie EMC² et baste (a 35k elle est rentable a l'achat).
Edit : voir pire, ils vont embaucher un mec pour faire de l'openstack, mise en place sur un an, et plus s'emmerder avec du xen. (true story)

bonjour,

j'ai lu toute votre prose, je repondrai quand j'aurais le temps.
A+

 
Oui enfin là tu as ton microscope, je vise pas ce marché là du tout. Je crois que je dois avoir 1 ou 2 clients avec un DC, c'est tout
 
Là je suis plutôt pour des produits qui s'adressent des gens avec entre 2 et 12 sockets maxi. L'argument qui « marche » chez ce genre de clients, c'est l'espace gagné plus que le reste (avec le prix bien entendu )
 
Sinon autre sujet, j'ai commencé à regarder GlusterFS, ça a bien évolué dis donc (je commence à me poser la question de pouvoir faire un genre de VSAN avec des VMs+GlusterFS+LIO/tcmu-runner pour exposer en multipath (+ un arbiter pour pas avoir de split brain sur 2 nœuds).
 
Bien sûr en mode réplication (pour 2 ou 3 nœuds) et probablement d'autres méthodes pour monter jusqu'à 16 nœuds (le maxi de toute façon dans un pool XS)

Mets du nexenta en community edition.

Clairement, tu t'appercois quand tu fais un ration combiné, dedupe+compression que c'est la compression qui apporte le plus dans le gain final.

Pareil, la dedupe, j'utilise sur des appliances target de backup, mais ailleurs je suis pas un fan absolu.

Pour Nexenta, je vais pas mettre un truc que j'ai pas le droit de « brander » (non, c'est pas une typo ) dedans

Je parle pas d'un truc à déployer dans mon infra, j'essaie de penser produit. On est dans une niche, mais on est aussi bien placé techniquement pour pousser d'autres choses en même temps (car on est connecté aux hyperviseurs), je fais un genre de brain storming là

ok, tu veux donc vraiment intégrer ce point là à ton "produit".
Et si j'ai bien compris, tu préfères partir d'un truc "brut" buildé en interne ... Si j'ai bien compris cela me semble logique.

 
Injustice !
 
T'es dans quel quartier ? J'ai le boitier de l'horizontal à 100m  

On peut renommer le topic en Storage@OSA ?

ça va que je ne fais pas une utilisation intensive de l'internet à la maison, mais ça fait effectivement bizarre de passer du 100Mb de NC à Free et son debit variable ...

 
 
tous les projets (opendedup et consort ... ) pour la dedupe sous linux m'ont l'air morts ... effectivement, pour le moment les 2 options les moins pire sont ZFS et BTRFS.  

io  

perso j'ai beaucoup d'espoir en bcachefs, et même si la déduplication n'est pas une feature implémentée (ni même planififée), c'est un FS COW et checksumming donc ça devrait pouvoir le supporter si ce FS avance bien.
 
L'auteur a l'air d'être vraiment très très compétent en tout cas:
https://www.patreon.com/bcachefs
 
Il a besoin de testeurs ! (et de financements )

 
Yep, je vais donc pour l'instant rester dans l'idée d'utiliser de la compression uniquement. Par contre, même en pur compression j'ai plus confiance dans ZFS qu'en Btrfs Ai-je tort ?

beeuuuarh'z (au passage)
       /
 

sinon, pour les test de débit, maintenant, je combine speedtest avec fast.
J'ai clairement toujours 2/3 Mb en moins chez fast qu'avec speedtest.
J'ai bien une idée, mais ça ne me plaît guère (en même temps, ça ne m'etonnerait pas de free ...)

J'ai plus de confiance dans speedtest/nperf que dans fast, qui reste un AS de content bien particulier avec des politiques propres à chaque ISP (en terme de capa et de TE).

ben clairement le pb, c'est qu'avec free, le debit c'est variable ...
mon débit moyen est en environ de 14Mb.
certaines fois je peux avoir du 17Mb , mais des fois, je me retrouve avec du 5Mb
 

Mais qui a blablaté O'Gure ?

à bas le tripleuuplay . perso, c'est parabole et/ou double tuner TNT et 4G avec une antenne extérieure au bord d'une fenêtre.  pas de box = pas de pb.

Y'a encore des gens qui ont une télé ?
 
XaT

je n'ai pas de téléviseur

Ici en paysannie
Syncho à 16, et débit variant entre 11,5 et 12-13 sur fast & co
 
Y'a juste une fois tous les 4-5 ans il faut que j'appelle Orange pour qu'ils envoient un type resserrer les boulons dans le bornier au bout de la rue
   
 

Point de concentration ou sous-répartiteur en fonction de la topo de ta rue/quartier/paysannie