j'ai cherche parmi les sujets qui traitent de backup, mais je n'ai pas trouve de reponse qui me satisfaisait, donc je me permets de creer un topic.
Voila, j'ai une certaine quantite de donnees (plusieurs dizaines de Go, entierement legaux je precise) que j'aimerais sauvegarder de maniere fiable.
J'ai pour l'instant un petit serveur sous FreeBSD (cf config), et j'envisage de lui rajouter des disques durs pour faire de la sauvegarde. La grande question que je me pose avant de me lancer est "quelle est la meilleure strategie de sauvegarde"? Je m'explique:
 
Au debut j'etais bien tente par le RAID5, qui assurait bien niveau perfs, mais quand j'ai regarde le prix des cartes controleurs, ca m'a refroidit direct
J'ai donc regarde du cote du RAID1, un peu moins performant, mais assez fiable aussi. Et puis la je me suis dit "c'est cool, mais avec un rm malencontreux, je suis completement ***** quand meme"
 
Donc j'ai cogite encore un peu, et puis je me suis dit et si je faisais un "RAID 1 asynchrone", c'est-a-dire une replication vers un 2ieme disque, mais pas en meme temps, disons un cron chaque nuit qui copie d'un disque sur l'autre... J'ai pas encore etudie les differentes methodes pour faire ca (dump, rsync, dd ), mais j'aimerais bien avoir quelques avis,  si certains utilisent ce genre de trucs, etc...
 
Merci

2 disques ou 4 disques ?

Salut  
 
DD pour une utilisation à partir d'un boot cd, afin que les partitions ne soient pas montées au moment du clonage.
j'utilise dd pour faire des backups de partitions, et de mbr, dd travaille bit à bit, donc ça roule
 
tu peux faire tourner dd en sur 2 disques locaux, comme via ssh
utilisation de dd : "part1" > "fichier sur part2" ou "part1" > "part2"   et inversement
                         "mbr" > fichier ou "mbr du dur1" > "mbr du dur2"
ex:
Dans l'exemple suivant , la partition que je souhaite sauvegarder se trouve en /dev/sda1 , et ma 2ème partition qui va accueillir les fichiers est /dev/sda2  
 
#dd if=/dev/sda1 | gzip -c | split -b 2230m - /mnt/backup/image-os/backup-os.img.gz.  (j 'ai fait en plus un split pour graver sur dvd)
#dd if=/dev/sda of=/mnt/backup/image-os/backup.mbr bs=512 count=1    (backup du mbr)
 
d'une partition1 vers une partition2
#dd if=/dev/sda1 of=/dev/sda2
 
je penserais plutot donc un rsync pour que cela puisse se faire sans rebooter la machine

2 devraient suffire pour le moment

Ah oui c'est vrai j'avais pas pense qu'il fallait demonter pour dd... Bah au pire je peux reduire la frequence a 2 par semaine, si c'est inaccessible pendant la nuit c'est pas catastrophique. Mais niveau perfs, je sais pas ce qu'il vaut mieux, avec dd ca va vite mais ca copie tout, mais avec rsync ya pas besoin de tout recopier a chaque coup, parce que bon il y aura pas enormement de modifications une fois qu'il sera rempli.

man rsync:
 
rsync [OPTION]... SRC [SRC]... DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST
  or   rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST
  or   rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST
  or   rsync [OPTION]... [USER@]HOST:SRC [DEST]
  or   rsync [OPTION]... [USER@]HOST::SRC [DEST]
  or   rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]
 
Quelques options qui me paraissent interessentes:
 
 -r, --recursive             recurse into directories
 -b, --backup               make backups (see --suffix & --backup-dir)
      --backup-dir=DIR     make backups into hierarchy based in DIR
      --suffix=SUFFIX       set backup suffix (default ~ w/o --backup-dir)
 -u, --update                skip files that are newer on the receiver
      --inplace                update destination files in-place (SEE MAN PAGE)
  -l, --links                   copy symlinks as symlinks
 -H, --hard-links            preserve hard links
 -p, --perms                 preserve permissions
 -E, --executability        preserve the file's executability
 -o, --owner                 preserve owner (super-user only)
 -g, --group                 preserve group
      --progress             show progress during transfer
      --delete                delete files that don't exist on the sending side
      --delete-before       receiver deletes before transfer (default)
      --delete-during       receiver deletes during transfer, not before
      --delete-after         receiver deletes after transfer, not before

Chez moi, ca marche comme ca pour sauver mon stock de zique sur un deuxieme DD :

(Je fais ca a la main, sans cronjob parce que je change vraiment pas tous les jours le dossier en question)

Le RAID (quelque soit son niveau) ne doit jamais être considèré comme un système de backup.

Le dd c'est mauvais et inefficace comme méthode car :
- tu copies un système de fichiers dans un état incohérent s'il n'est pas démonté;
- tu copies tous les bloques sans exception.

perso j'utilise backintime qui se lance tous les soirs à minuit, ce qui est bien c'est que si tu as suffisamment de place il garde la trace des fichiers que tu as modifiés ou supprimés

Tu veux sauver des données ou un système ? Ce n'est pas pareil. Tu dis "données", on parle donc d'une partition avec des images, des vidéos toussa ? Pas de base de données, de serveur mail ?

Si tu veux sauver des données, tu peux utiliser rsnapshot. Ce sont de simples scripts basés sur rsync. Ca te crée une copie complète d'une arborescence avec des versions. Si tes données changent peu, c'est très bien. Si tu as des gros fichiers qui changent beaucoup, genre encodage vidéo, c'est nul.

Si tu veux sauver un système déja configuré, sans t'ennuyer à sauver chaque fichier de config, chaque petit bidule, le mieux c'est le snapshot de partition LVM d'une machine virtuelle. C'est redoutable. Pense simplement à arrêter les services qui peuvent contenir des données en mémoire (en attente d'être écrites sur le disque). Ensuite tu lance le snapshot, puis tu fais un dd et voilà. Ca se script, c'est assez simple et tu peux dormir tranquille.

Moi je serais tenté par de l'opensolaris rien que pour explorer les possibilités de ZFS.

Mais je suis toujours content de connaître d'autres solutions, c'est pas toujours simple de se tenir au courant sur tout les fronts.

Disons qu'au lieu inefficace on peut dire "radical".

perso je fais des backups incrémentaux avec rsync et cp -al

Bonjour,
 
Je me permets de m'incruster dans ce post ;-)
 
Pensez-vous que rsync soit une bonne solution pour effectuer un backup complet de +/- 100Go de données chaque jour sur un disque dur USB en faisant une tournante avec 9 disques durs ?
 
Bonne journée

Oui si tu prends les données à froid.

A froid?  
Tu veux dire non utilisé au moment de la sauvegarde?
 
Mecri pour ta contribution

Oui, parce que sauvegarde les fichiers d'une base de données ouverte, ça ne sert à rien.

- dump (pgdump, mysqldump, slapcat)
- snapshot disque (lvm ou san) + snapshot des VM
- tar.gz
- bacula
- rdiffbackup
oui je donne des idées en vrac

 
La partie pénible reste la synchro entre l'arrêt de la BDD (locale) et le snapshot LVM (remote).

Si t'as un vrai SGBD, tu poses une étiquette pour backup tu veux sauvegarder les fichiers à chaud.

 
Pareil, très bonne méthode, avec historique sur 30 jours et pour les paranos réplications sur site à distance (frère, soeur, cousin, cousine... )

 
des noms stp  
 

Au fait pour le rsync et cp -al, je me suis basé la dessus: http://www.mikerubel.org/computers/rsync_snapshots/
 
NewB compliant

 
rsnapshot

Bonjour a tous,
 
Je suis en train de mettre en place une solution de backup pour des donnees sur ma workstation, et j’ai quelques questions pratiques.
 
Mes donnees de travail sont sur disqueA (interne). J’ai disqueB (usb) et disqueC (reseau local) de la meme taille que disqueA. Egalement un disqueD (reseau distant).
Je prevoie de faire la chose suivante:
1) Backup journalier de A sur B (vitesse estimee >100 Mbps)
2) Backup hebdomadaire de B sur C (vitesse estimee 10 Mbps)
3) Backup hebdomadaire d’une portion de A vers D (vitesse estimee <1 Mbps)
 
Plusieurs questions:
- Entre les backups, est il recommande d’umount les disques de backup? De modifier leur etat de rotation avec hdparm?
- Pour 2), en pratique, fait on un tiers backup a partir du second ou plutot a partir de l’original? A premiere vue ca ne doit pas changer grand chose?
- Y a t’il un moyen de detecter un gros changement? Je m’explique… admettons qu’un jour par erreur je supprime 10% de mes donnees. Si je ne m’en rends pas compte, une semaine plus tard cette destruction sera propagee sur mes disques B et C et je n’aurai plus rien. Y a t’il des moyens de detection (configurables)?
- EDIT:  Pour un backup de DB, je suppose qu'il faut s'arranger pour eteindre mysql/postgresql avant de rsync le repartoire /var/lib/{postgresql|mysql}/, ou bien y a t'il une meilleure solution? Sont ce de vrais SGBDs? Qu'est ce qu'une "etiquette de backup"?
- Y a t’il une faille (ou mauvaise pratique) evidente dans mon plan?
 
Merci et bonne soiree.

Bonjour,
 
Peut être que je ne comprends pas ton explication, mais moi pour il y a un truc qui cloche.
1) le backup journalier écrase t il celui de la veille, ou est ce que tu effectues une rotation sur 7 jours ?
2) Idem, il faudrait prévoir une rotation sur 3 à 4 semaines.
3) Est ce vraiment nécessaire ??
 
Mis à part la considération des DB sql. Tu pourrais mettre en place un backup "rsync + cpal" (snapshot) journalier avec un historique de "n" jours. A toi de définir "n" en fonction de la taille des données, du débit et de la sécurité recherchée. Moi je tourne sur 28jours.
 
Tu te retrouves avec toutes tes datas + l'historique sur le disque B. Tu peux faire la même chose sur ton disque C, mais est ce vraiment utile ? (si le matos est dispo, autant ne pas s'en priver c'est sur). Et enfin tu fais une synchro journalière (+ cpal pour l'historique) aussi de B vers D, à un horaire décalé. Grace au rsynch journalier tu peux certainement t'en sortir avec une faible quantité de données et arriver à traiter ça dans la nuit...à voir !
 
Pour le sql. Soit tu traites ça comme décrit précédemment. Mais ça veut dire qu'il faut éteindre le serveur sql, faire le back up et le rallumer. L'inconvénient majeur pour moi est que tu ne sauras restaurer que l'intégralité de la database d'un seul coup.
Sinon tu utilises un soft dédié (qui a un cout), genre Symantec sql, qui sait faire du back up par granularité, mais qui du coup va tourner en parallèle du système décrit plus haut...
 
Le umount des disques de back up garantit de ne pas faire une fausse manip pendant la journée,et de n'utiliser le disque que pendant la phase de back up. Permet aussi de ne pas laisser ouvert un accès à tes données supplémentaires..
 
Je ne suis pas du tout expert, mais j'ai mis en place un back up rsync/cp al dans mon entreprise, avec redondance sur site distant également..

1) c'est du rsync, donc il resynchronise les disques chaque nuit de A vers B et chaque semaine de A vers C... rotation? de quoi?
2) idem?
3) oui, A, B et C etant sur le meme site... et je ne ferai ca que pour la portion de A qui est vitale
 
avoir un historique c'est pas trop important pour l'instant... ce qui a besoin d'un historique est en version control
donc a un instant T j'ai une copie sur B de mon disque a T-1 et sur C de mon disque a T-7

Des gens ont testé des solutions simples avec Amazon S3 ? Je tenterais bien quelque chose avec duplicity mais là limitation à 5Go / bucket va être vite atteinte.

 
Suis d'accord avec toi, mais il n'a jamais dit qu'il faisait du rsync, il a dit "backup" ! Si il fait du rsync, effectivement pas de rotation, mais il faut mettre en place le cp -al pour avoir l'historique sur n jours. C'est absolument nécessaire !

 
Salut,
 
alors en fait non  
 
depuis rsync 3, il y a l'option --link-dest, qui fait en même temps que le rsync le cp -al  
 
man rsync > cherchez --link-dest et les 3 autres options associées autour, vous aurez toutes les explications.
 

Pour faire de l'historisation basé sur rsync : rdiffbackup

Bonjour,
Pour ma part j'utilise backintime pour mes sauvegarde, ya un client graphique qui permet de naviguer dans les sauvegardes, de restaurer un fichier anciens, je le trouve assez complet et simpliste.
 
Sinon j'ai une question, ma mère utilise un portable, donc un seul disque. Avant je synchronisait ses documents avec un répertoire présent sur mon serveur perso. Seulement depuis peu j'ai décidé d'arrêter de laisser tourner mon pc 24h/24. Donc je me pose la question comment lui faire sauvegarder ces documents? Sachant qu'il faut que ça soit le plus simple possible, et si ça peut être automatique ça serai pas mal.
 
Merci de vos retour d'expériences

De mon expérience, ce soft est beaucoup trop lent, je me tapais des gros 100% CPU et au final c'est ça qui bridait.
Et comme le format de stockage interne n'a pas arrêté de changer, d'une version à l'autre, ça niquait tout.
 
Du coup je n'utilise plus même si sur le principe c'est séduisant.

Salut,
 
On l'utilise actuellement pour de petits volumes (<500Go) et ca marche bien. Ca mange un peu plus de ressources que m'enfin ca va (surtout que maintenant le moindre ordi est au mini un C2Duo).
 
Pas eu de problème lors du passage de etch à lenny. (Après je n'en sais pas beaucoup plus, ce n'est pas moi qui gère le truc).

c'est 5To/bucket, mais 5Go par PUT ( )

Sinon, je suis en galère, duplicity a pas l'air de faire du snapshot comme le fait rdiff-backup (enfin, je capte pas, il donne pas la liste des snapshots).

Je cherche à backuper des répertoires vers S3, toutes les heures pendant une semaine, tous les jours pendant 2 mois et toutes les semaines indéfiniment après.
Mais avec duplicity, si je peux pas lister les dates de backup, je vois pas comment faire (j'ai pas envie d'y aller à l'aveugle à coup de -t).

vous avez des idées ?

edit: l'auteur de duplicity m'a répondu, la commande duplicty collection-status  sert à avoir la liste des points de recovery.