Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
868 connectés 

  FORUM HardWare.fr
  Linux et OS Alternatifs
  Codes et scripts

  Inotify et sauvegarde sur le réseau

 


 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Inotify et sauvegarde sur le réseau

n°1100617
vanfannel_​94
Posté le 28-12-2008 à 22:11:45  profilanswer
 

Salut les poulets alternatifs.
 
Désolé pour le titre super pas parlant j'ai pas trouvé mieux :o
 
Voilà j'ai une problématique et j'aimerais vos conseils.
 
Actuellement il m'est nécessaire de sauvegarder le contenu d'un serveur via le réseau, afin de faire le moins de trafic réseau possible, la machine qui reçoit le backup fait des cp -al sur plusieurs jours et il reste toujours le répertoire de base sur lequel je passe des coups de rsync et tout va bien.
 
Maintenant le problème c'est que le serveur en question héberge énormément de petits fichiers et rsync avec beaucoup de fichiers c'est un poil trop lent le temps qu'il parcourt tout.
 
M'est venu alors l'idée d'utiliser inotify sur le serveur source pour récupérer les seuls fichiers modifiés / créés / supprimés et ainsi faire la synchro sur le serveur de backup uniquement des fichiers en question .
 
Jusqu'ici rien d'extraordinaire, maintenant j'aimerais savoir ce que niveau charge donne inotify en le faisant travailler sur / , c'est un serveur de prod et j'ai pas envie de faire des tests dessus  :whistle:  
 
En gros inotify pompe-t-il beaucoup de ressources :o
 
Bon je pourrais faire les tests moi même mais si vous avez déjà été confrontés à la problématique vos retours m'intéressent.
 
Merci d'avance  :jap:

Message cité 1 fois
Message édité par vanfannel_94 le 28-12-2008 à 22:12:28
mood
Publicité
Posté le 28-12-2008 à 22:11:45  profilanswer
 

n°1100735
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 29-12-2008 à 13:43:25  profilanswer
 

pourquoi pas un drbd ?


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1100744
Gf4x3443
Killing perfection
Posté le 29-12-2008 à 15:05:30  profilanswer
 

vanfannel_94 a écrit :


Jusqu'ici rien d'extraordinaire, maintenant j'aimerais savoir ce que niveau charge donne inotify en le faisant travailler sur / , c'est un serveur de prod et j'ai pas envie de faire des tests dessus  :whistle:

 

En gros inotify pompe-t-il beaucoup de ressources :o

 

Bon je pourrais faire les tests moi même mais si vous avez déjà été confrontés à la problématique vos retours m'intéressent.

 

Merci d'avance  :jap:

 

Tout dépend de la quantité de fichiers/répertoires surveillés. A confirmer pour inotify(), mais je ne pense pas qu'il remonte l'arborescence parent quand un sous répertoire est modifié, ce qui oblige à installer le polling pour chacun d'entre eux. Tu peux éclater ta table de file descriptors sans t'en rendre compte.

 

Et l'inconvénient majeur, c'est que tu auras des déclenchements pour chaque évènement que tu vas monitorer, ce qui va faire très mal sur un serveur manipulant beaucoup de fichiers.

 

Si rsync ne te convient pas, regarde du coté de mtree, qui permet de comparer des specifications d'arborescence, ou des solutions plus lourdes, genre du distribué (on te parle au dessus drdb, qui est très bien).

 

Edit: niveau performance, pour mtree, on s'en sert régulièrement sous les *BSD pour des vérifications d'arborescence (trojan, fichiers de confs modifiés, etc.), cronné pour le faire dans les périodes de charge calme.


Message édité par Gf4x3443 le 29-12-2008 à 15:08:45

---------------
Petit guide Kerberos pour l'administrateur pressé
n°1101857
vanfannel_​94
Posté le 04-01-2009 à 20:46:02  profilanswer
 

D'abord merci d'avoir répondu.  
Au sujet de DRBD celà me semble difficile de le mettre en place étant donné que les deux machines ne peuvent pas avoir de lien local entre elles.
 
Pour l'utilisation de mtree j'aurais effectivement dû préciser que les deux machines sont sous linux (etch uptodate pour être précis), j'ai pas trouvé d'occurence de mtree même en installant les bsdutils, ça me semble réellement BSD only.
 
Actuellement j'ai installé rsync 3 à partir des backports ceci a réduit d'a peu près 10 % les timeout du au parcours récursif des dossiers sur la machine à backuper.
 
Dans la mesure du possible je vais déplacer les deux dans le même datacenter et tenterait de mettre DRBD en place.
 
Voilà :jap:

n°1101861
Gf4x3443
Killing perfection
Posté le 04-01-2009 à 21:08:31  profilanswer
 

vanfannel_94 a écrit :

D'abord merci d'avoir répondu.  
Au sujet de DRBD celà me semble difficile de le mettre en place étant donné que les deux machines ne peuvent pas avoir de lien local entre elles.


 
Effectivement
 

Citation :

Pour l'utilisation de mtree j'aurais effectivement dû préciser que les deux machines sont sous linux (etch uptodate pour être précis), j'ai pas trouvé d'occurence de mtree même en installant les bsdutils, ça me semble réellement BSD only.


 
Oui, les ports bsdutils sont pas forcément tip-top sous système Nunux. Tu peux toujours télécharger pkgsrc, le bootstraper et faire une install de sysutils/mtree. Pour l'installation sous Linux, c'est expliqué dans http://www.netbsd.org/docs/pkgsrc/platforms.html .
 

Citation :

Actuellement j'ai installé rsync 3 à partir des backports ceci a réduit d'a peu près 10 % les timeout du au parcours récursif des dossiers sur la machine à backuper.
 
Dans la mesure du possible je vais déplacer les deux dans le même datacenter et tenterait de mettre DRBD en place.
 
Voilà :jap:


 
Si tu en as la possibilité, ca reste le plus soft une fois que c'est mis en place.


---------------
Petit guide Kerberos pour l'administrateur pressé
n°1101894
Taz
bisounours-codeur
Posté le 05-01-2009 à 00:00:27  profilanswer
 

glusterfs ?


Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Linux et OS Alternatifs
  Codes et scripts

  Inotify et sauvegarde sur le réseau

 

Sujets relatifs
Installation Carte Réseau Netgear Fa311 Debian (lspci non reconnu)Programme pour connecter mon pc à un réseau local distant
Connexion VPN et ping impossible sur le réseauRéseau ne fonctionne pas
Réseau wifi Ad-hoc avec partage internetXen - Pas de réseau... [ Résolu ]
Problème doc xls sauvegardé sous Mac OS pour ouverture sous Windowsscanner réseau sur la box
Logiciel de sauvegarde partagée|distribuée (Shared Backup)Carte réseau avec forte augmentation de drop
Plus de sujets relatifs à : Inotify et sauvegarde sur le réseau


Copyright © 1997-2022 Hardware.fr SARL (Signaler un contenu illicite / Données personnelles) / Groupe LDLC / Shop HFR