Reprise du message précédent :

Depuis le Luxembourg, aucun souci j'up à 500Mbps vers ma storagebox, 1To/j de backup.

Mais plusieurs personnes en France dont un collègue me disent qu'ils ont des débits de merde, Orange ou Bouygues c'est la meme, pas plus de 30-60Mbps en upload.

Ca doit dépendre des régions et des peerings vers la germanie

Bon à priori ça va quand même mieux en enlevant des paramètres du rsync, ceux qui vérifient l'intégrité du fichier si j'ai bien compris "--append-verify" et qui permettent la reprise après coupure "--partial" , chiant mais pas critique vu que c'est ma 3eme copie de données
Là en rsync sur le point de montage j'arrive à ça 1.03G 0% 171.78MB/s 0:00:05 (xfr#1, to-chk 1.80G 0% 121.91MB/s 1:03:56 donc mieux  
 
Est-ce qu'il y a un intérêt à essayer de le basculer en rsync SSH plutôt que sur le montage? ou je reste sur la bonne vieille règle du "si ça marche tu touches pas"?
 
 

J'ai pas précisé mais ça part pas de chez moi mais depuis des VPS vers la Storage Box donc de DC à DC et pas du réseau FAI...

Mon test était via Rclone sur le montage rsync + crypt, si tu fait en direct aucun cryptage ^^ (si tu en avais un)

là c'est les backups de mes LXC/VM donc pas de chiffrage ( ), je laisse pour le moment en Borg la partie données persos et/ou confidentielles, je vais voir ce que ça donne, le script a pas encore tourné

Faut que j'implémente PBS ouais. Le Nextcloud est violent en termes de backup

Bon ça a l'air bien en Borg aussi, par contre c'est très perturbant de se retrouver avec une archive de 12.5Gb quand tu as 60Gb sur disque, j'ai beau demander à l'IA de m'expliquer comme à un gamin de 3 ans j'arrive toujours pas à m'y faire que la sauvegarde est valide

60G c'est la taille virtuelle se ton disque, non ?
Tu les utilises pas complètement je pense.
Un peu de compression par dessus, et voilà tes 12G et quelques.

c'est l'idée mais je m'y fais pas

Y'a peut être de la dedup aussi...

Oui totalement ! Y'a au moins des doublons dans les photos c'est sûr, probablement moins dans les documents mais c'est pas eux le plus lourd

fegre, ça te coûte combien par mois le backup chez Hetzner (et pour quelle quantité de données envoyées) ?

Faut que je me motive à mettre ca en place, ça fait 3 ans que je procrastine

https://www.hetzner.com/storage/storage-box/

J'avais le 1To à 3.70 depuis plusieurs années et j'ai pris le 5To à 13 le temps de comprendre comment ça marche, apurer un peu les dump, voir quelle rétention je veux, etc

J'ai pas vu l'information mais les snapshot ne compte pas dans l'espace utilisé j'imagine ?

Je me demandais aussi mais comme je les ai activés récemment j'en ai pas encore eu

StorageBox : on paye au mois OU a l'usage OU les deux ?

au mois, et le petit aux 2 mois parce que seulement 3.50 ça déclenche pas le paiement, tu reçois un mail "minimum invoice unreached" ou un truc du genre

La déduplication ne se fait pas au niveau des fichiers, mais des blocs.
 
Du coup, tu as beaucoup plus de blocs "communs" que tu ne l'imagines.
Là tu donnes 60 Go de données, et 12,5Go de sauvegardés, ce qui t'amène à un ratio de 4.8.
 
Pour info, sur mon Proxmox Backup Server, je suis à un ratio de 18.15 actuellement, ce qui n'a rien d'exceptionnel en terme de déduplication.

Oui j'ai aussi des plus gros ratios sur d'autres repos et effectivement ChatGPT m'a bien expliqué la notion de chunks/blocs mais c'est toujours aussi contre intuitif quand tu vois ça la première fois

Tous les modes de backup du Storage box déduplique les blocs ?

Pas à ma connaissance, que Borg

J'ai enfin un script efficace qui me permet de copier
- mon dossier Nextcloud (sauf previews Memories), mon dataset de documents critiques, mes VZDump et ma config pve vers mon disque dur de backup de 10To
- lesdits dossiers de ce disque dur vers le Hetzner, en rsync pour les VZDump, et en Borg pour le reste

et en plus me fait la maintenance du homelab : apt update du host et des LXC, check SMART, fstrim une fois par semaine

J'aimerai bien remonter l'état du pool ZFS mais il est dans TrueNas lui, une idée pour ça. J'ai mis l'intégration Home Assistant mais j'aurai bien centralisé

Oui mais de ce que j'ai lu c'est que Borg fait de l'incrémental, non ?
 
Donc pour faire un miroir d'un répertoire avec plein de petit fichier dans certain ça va vite être problématique non ? (j'ai des backup de dev)

Oui pour moi c'est incremental, je l'ai pas assez exploré pour voir si y'avait d'autres modes

?
 
la dedup c'est pas niveau fs ?

J'avais pas l'impression d'en avoir quand je faisais en rsync ou juste en balançant des dossiers en samba depuis mon PC... Mais je peux me planter

Ou est stocker le journal pour savoir ce qu'il doit envoyer ou non ? car en cas de perte total si tu veux récupérer un truc ça peut vite être le bordel.
 
J'ai pas regarder en détail son utilisation encore.

Borg s'occupe de la dedup de son côté, une fois la sauvegarde réalisée, tu peux monter n'importe laquelle dans un dossier par exemple, comme si c'était un backup full.

C'est tout l'intérêt de la deduplication.

ça consomme le stockage :
https://docs.hetzner.com/storage/storage-box/snapshots

J'essaie de me raccrocher à votre discussion car je vais bientôt souscrire à l'option storage également. J'arrive pas à comprendre pourquoi les snapshot auraient pu ne pas compter dans le volume consommé.

y'a des fs/san qui stockent pas les snapshots comme des copies entières

Lis la doc de hetzner c'est ce qu'il indique, de ce que j'ai compris il ne stocke que les fichiers supprimer ou modifié différent du stockage actuel.

C'est le principe même du Snapshot non ? Au contraire d'un backup

Ben le principe du snapshot c'est que tu figes ton FS à un état donné. Puis tu log toutes les modifications apportées depuis ce snap (le delta quoi).
 
Donc en gros à T0, tu as un FS snapshoté de 100 Go par exemple. Tu consommes donc 100 Go (je schématise hein)
Entre temps, ton FS vit, il prend 10 Go.
Donc à T1, il fait 110Go. Dis autrement, il fait ton snapshot de 100Go + tes 10 Go de delta.
 
Donc ton snapshot ne consomme pas plus qu'il soit présent ou non.
 
Par contre, attention au piège : si dans la vie de ton FS, tu supprimes tes données et tu te retrouves à 80 Go de données utiles, tu auras toujours ton snapshot de 100Go + nGo de journaux d'écriture (ajout/modification/suppression)

Bonjour à tous,
juste pour savoir si on peut parler d'un serveur maison basé sur yunohost ici ou si je vais me faire jeter des tomates ?
 

Bien sûr

Ça reste dans le thème du topic donc pas de raison

je connais pas ce truc, c'est bien ?

ok merci pour votre bienveillance  
j'ai commencé avec yunohost pour ne pas trop me prendre la tête et ça me donne satisfaction.
J'ai acheté un nom de domaine sur ovh et paramétré tout ce qui va bien pour accéder à tous mes services à distance.
 
Serveur utilisé pour Nextcloud, Immich, Jellyfin, Onlyoffice, Joplin et Vaultwarden principalement.  
+ Sauvegardes Restic.
Comptes créés pour Madame et deux filles ados.  
WAF indispensable    
 
Je teste en même temps le serveur mail intégré et ça semble donner satisfaction.  
Néanmoins ça me semble chaud et risqué de migrer les adresses gmail. (coupure d'électricité, crash, bugs ou autres)
Une alternative serait d'utiliser le webmail Zimbra fourni par ovh ? Plus secure niveau disponibilité je pense et moins intrusif que gmail je suppose, non ?    
ou partir sur du webmail "souverain" / européen ?
Votre avis ou vos expériences ?
Merci !