Forum |  HardWare.fr | News | Articles | PC | Prix | S'identifier | S'inscrire | Aide | Shop Recherche
805 connectés 

  FORUM HardWare.fr
  Linux et OS Alternatifs
  Installation

  Partitionnement des disques avec 40 Tera

 



 Mot :   Pseudo :  
 
Bas de page
Auteur Sujet :

Partitionnement des disques avec 40 Tera

n°1417708
redmail
Posté le 22-04-2018 à 23:46:05  profilanswer
 

Bonsoir à tous
 
J'ai déjà installé plusieurs fois Linux et joué avec du LVM RAID etc. Mais cette fois, je dois installer Linux sur un serveur avec 10 HD de 4T (40 Tera) + 2 HD 300G ultra rapide.
 
Ma question est comment organiser (de la meilleur manière) une telle quantité de disque et espace ?
 
Le serveur est prévu pour faire tourner apache et postgres sql. (La DB devrait accroître rapidement mais j'ai aucune autre info sur ce point...)
 
Inutile de vous préciser que la panne et interruptions de service sont grandement déconseillés...
 
J'ai pensé à ceci :
 
/boot  512M  ext2
 
/ ; /home ; /opt ; /var sur les HD de 300 G LVM  ext4 RAID1
 
 
/data/db   LVM  4 * 4T  RAID5 etx4 + 1HD Hotspare
 
/backup  LVM  3 * 3T  RAID5  ext4 + 1 HD Hotspare
 
1 HD non utilisé pour avoir une réserve en cas de pépin.
 
 
Merci pour vos avis et conseils.

mood
Publicité
Posté le 22-04-2018 à 23:46:05  profilanswer
 

n°1417715
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 23-04-2018 à 09:46:28  profilanswer
 

pour PG tu devrais faire 2 partitions, une pour le datadir et une pour les wals. selon ton volume de transactions calcule la place qu'il te faut pour ne pas que ton waldir soit plein. Si tu veux plus de dispo c'est 2 machines avec réplication. (et idealement une #3 pour y envoyer les wals et que la #2 les prenne pour sa replication; tu pourras aussi y coller tes backups)
 
un /backup en local ça ne vaut rien : si ta machine prend feu tu l'as dans l'os. les backups ça DOIT etre distant : (cf mon point au dessus)
 
maximise le ratio perfs/dispo avec un RAID 10 (tu auras donc 20T utiles) : tu le fais avec md et tu colles une couche LVM au dessus pour la souplesse.  
 
j'invoque les gourous du stockage, poke el barby


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1417717
Mysterieus​eX
Chieuse
Posté le 23-04-2018 à 11:39:25  profilanswer
 

Pour cette volumétrie en DAS ZFS on linux en backend. LVM commence à être juste. [:cerveau fission]

n°1417725
redmail
Posté le 23-04-2018 à 14:37:51  profilanswer
 

Merci pour vos réponses.
 
Je vais potasser sur PG pour la config sur 2 partitions. (J'avoue ne pas trop maitriser cette DB)...
 
Pour le backup, quand j'ai demandé la possibilité d'un backup sur tape, on m'a gentiment dit ...  va te faire f... avec tes 40T  :-)
 
Comme il y a 2 serveurs identiques, je conte bien faire le backup du serveur A sur le serveur B (Les 2 serveurs ne sont pas physiquement dans le même endroit)
Pour cela, je compte sur un rsync de la partition.
 
Je vais potasser aussi pour un RAID10...
 
Je me pose aussi la question du raid hardware ou software... Mais j'ai aucune expérience avec le Hardware (serveur Celvin de Fujitsu)  
 
Pour le ZFS, j’hésite, car j'ai aucune expérience avec ce FS, et la moindre merde, je peux compter que sur bibi...  
 
Bav

n°1417730
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 23-04-2018 à 16:34:33  profilanswer
 

redmail a écrit :

Merci pour vos réponses.
 
Je vais potasser sur PG pour la config sur 2 partitions. (J'avoue ne pas trop maitriser cette DB)...
 
Pour le backup, quand j'ai demandé la possibilité d'un backup sur tape, on m'a gentiment dit ...  va te faire f... avec tes 40T  :-)
 
Comme il y a 2 serveurs identiques, je conte bien faire le backup du serveur A sur le serveur B (Les 2 serveurs ne sont pas physiquement dans le même endroit)
Pour cela, je compte sur un rsync de la partition.

Je vais potasser aussi pour un RAID10...
 
Je me pose aussi la question du raid hardware ou software... Mais j'ai aucune expérience avec le Hardware (serveur Celvin de Fujitsu)  
 
Pour le ZFS, j’hésite, car j'ai aucune expérience avec ce FS, et la moindre merde, je peux compter que sur bibi...  
 
Bav


 
Sur une DB c'est un bon moyen d'avoir un truc moisi. PG a un systeme de replication intégré et de très bonnes docs


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1417736
redmail
Posté le 23-04-2018 à 18:47:11  profilanswer
 

@black_lord
 
Mon intension est de créer via un script un export de la db dans un fichier sql sur cette partition /backup. Puis via rsync synchroniser ce fichier (l'exporter) vers le 2eme serveur.  
 
J'ai déjà testé cette méthode avec mysqldump et cela marche bien. J'imagine que c'est possible avec PG.
 

n°1417742
Mysterieus​eX
Chieuse
Posté le 23-04-2018 à 20:50:21  profilanswer
 

redmail a écrit :

Je me pose aussi la question du raid hardware ou software... Mais j'ai aucune expérience avec le Hardware (serveur Celvin de Fujitsu)


 
Alors là, c'est facile de te répondre : Celvin sont une série de NAS préconfigurés. 8 baies max. Et je connais très bien le firmware embarqué dessus (qui en passant est merdique pour le la DB, c'est principalement pour du filer).  :whistle:  
Si t'es en 10 baies, c'est soit du primergy (en l'occurrence du RX2530), soit un SP eternus sans baies DAS et avec juste 10 disques d'installés.

n°1417756
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 24-04-2018 à 10:19:11  profilanswer
 

redmail a écrit :

@black_lord
 
Mon intension est de créer via un script un export de la db dans un fichier sql sur cette partition /backup. Puis via rsync synchroniser ce fichier (l'exporter) vers le 2eme serveur.  
 
J'ai déjà testé cette méthode avec mysqldump et cela marche bien. J'imagine que c'est possible avec PG.
 


 
pourquoi faire un truc comme dans les années 90 ? Tu ajoutes plein d'étapes où ça peut mal se passer alors qu'une solution largement testée existe.
 
ton dump en sql : ça va poser des locks, les données exportées en SQL c'est énorme, utilise du binaire, le transfert est un risque de plus. il faut aussi monitorer ta partition de backup, le jour où elle ne suffit plus pour le dump, tu l'as dans l'os
 
Après tu fais comme tu veux, mais tu auras été prévenu [:cosmoschtroumpf]  
 


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1417757
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 24-04-2018 à 10:20:02  profilanswer
 

MysterieuseX a écrit :


 
Alors là, c'est facile de te répondre : Celvin sont une série de NAS préconfigurés. 8 baies max. Et je connais très bien le firmware embarqué dessus (qui en passant est merdique pour le la DB, c'est principalement pour du filer).  :whistle:  
Si t'es en 10 baies, c'est soit du primergy (en l'occurrence du RX2530), soit un SP eternus sans baies DAS et avec juste 10 disques d'installés.


 
ho ben alors tout va bien  [:jeje84:1]


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1417760
redmail
Posté le 24-04-2018 à 11:34:03  profilanswer
 

@black_lord
 
Encore merci pour tes réponses, mais qu'elle est la solution largement testée existante a laquelle tu fais référence dans ton post ?
 
Je ne suis vraiment pas réfractaire, mais comme indiqué, mes connaissances en PG sont limitées...
 
Je pense suivre ton conseil et créer une 2eme partition pour les wals.
 
As-tu une doc et/ou tuto qui pourront m'aider pour ce backup ?
 
@MystereieuseX
C'est un RX2540 : Si je te comprends --> Firmware merdique --> donc il est préférable d'utiliser du RAID software...  
 
Je vois aussi dans sa doc, Linux pour ce serveur c'est : SUSE ou Red Hat ou Oracle Linux...   Rien sur Debian !?!? Ca commence super bien...
 
Bav

mood
Publicité
Posté le 24-04-2018 à 11:34:03  profilanswer
 

n°1417765
o'gure
Modérateur
Multi grognon de B_L
Posté le 24-04-2018 à 12:22:12  profilanswer
 

black_lord a écrit :


 
Sur une DB c'est un bon moyen d'avoir un truc moisi. PG a un systeme de replication intégré et de très bonnes docs



---------------
Ton Antoine commence à me les briser menus !
n°1417766
Mysterieus​eX
Chieuse
Posté le 24-04-2018 à 13:18:48  profilanswer
 

redmail a écrit :

@black_lord
 
Encore merci pour tes réponses, mais qu'elle est la solution largement testée existante a laquelle tu fais référence dans ton post ?
 
Je ne suis vraiment pas réfractaire, mais comme indiqué, mes connaissances en PG sont limitées...
 
Je pense suivre ton conseil et créer une 2eme partition pour les wals.
 
As-tu une doc et/ou tuto qui pourront m'aider pour ce backup ?
 
@MystereieuseX
C'est un RX2540 : Si je te comprends --> Firmware merdique --> donc il est préférable d'utiliser du RAID software...  
 
Je vois aussi dans sa doc, Linux pour ce serveur c'est : SUSE ou Red Hat ou Oracle Linux...   Rien sur Debian !?!? Ca commence super bien...
 
Bav


 
Non, tu n'as pas compris : ça ne peut pas être du Celvin, parce qu'un Celvin est un nas tout intégré de chez fujitsu. Et qui en plus (le Celvin) à un firmware tout intégré, basé sur du linux (donc pas possibilité de changer d'OS), que je connais très bien ...

n°1417768
redmail
Posté le 24-04-2018 à 13:36:08  profilanswer
 

MysterieuseX : Effectivement, il y a 2 serveur PY RX2540 M4 12 baies avec 40T (+ 1 NAS CELVIN 8 *6T)  

n°1417772
Mysterieus​eX
Chieuse
Posté le 24-04-2018 à 16:58:01  profilanswer
 

Du coup, faut savoir quel sera l'adaptateur dedans (demande à ton représentant se qu'il va te livrer), de mémoire y'a que la broadcom, ça doit être la 540i qui a du cache et une option batterie (qu'il faudra que tu ais) qui sera OK pour du raid hard. Sinon en LVM/DM : pas de raid, les disques en jbod sur le contrôleur (et perf moisies vue la volumétrie).

n°1417782
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 25-04-2018 à 08:06:06  profilanswer
 

MysterieuseX a écrit :

Du coup, faut savoir quel sera l'adaptateur dedans (demande à ton représentant se qu'il va te livrer), de mémoire y'a que la broadcom, ça doit être la 540i qui a du cache et une option batterie (qu'il faudra que tu ais) qui sera OK pour du raid hard. Sinon en LVM/DM : pas de raid, les disques en jbod sur le contrôleur (et perf moisies vue la volumétrie).


 
 [:k0rnmuz3]  
 


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1417819
e_esprit
Posté le 26-04-2018 à 10:20:39  profilanswer
 

redmail a écrit :

@black_lord
 
Encore merci pour tes réponses, mais qu'elle est la solution largement testée existante a laquelle tu fais référence dans ton post ?
 
Je ne suis vraiment pas réfractaire, mais comme indiqué, mes connaissances en PG sont limitées...
 
Je pense suivre ton conseil et créer une 2eme partition pour les wals.
 
As-tu une doc et/ou tuto qui pourront m'aider pour ce backup ?
 
@MystereieuseX
C'est un RX2540 : Si je te comprends --> Firmware merdique --> donc il est préférable d'utiliser du RAID software...  
 
Je vois aussi dans sa doc, Linux pour ce serveur c'est : SUSE ou Red Hat ou Oracle Linux...   Rien sur Debian !?!? Ca commence super bien...
 
Bav


Y a pas beaucoup de constructeurs qui supportent officiellement Debian.
Ca ne veut pas dire que ça ne fonctionnera pas.


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
n°1417820
e_esprit
Posté le 26-04-2018 à 10:22:51  profilanswer
 

black_lord a écrit :


 
Sur une DB c'est un bon moyen d'avoir un truc moisi. PG a un systeme de replication intégré et de très bonnes docs


La réplication c'est bien, mais c'est pas du backup.
C'est comme le RAID1, c'est bien pour la haute dispo, mais ça n'est pas un backup.


---------------
Ce n'est point ma façon de penser qui a fait mon malheur, c'est celle des autres.
n°1417822
black_lord
Modérateur
Truth speaks from peacefulness
Posté le 26-04-2018 à 10:28:26  profilanswer
 

e_esprit a écrit :


La réplication c'est bien, mais c'est pas du backup.
C'est comme le RAID1, c'est bien pour la haute dispo, mais ça n'est pas un backup.


 
ce que je disais plus haut c'est d'avoir replication ET backup. et les backups c'est offsite ou rien


---------------
uptime is for lousy system administrators what Viagra is for impotent people - mes unixeries - github me
n°1417824
el_barbone
too old for this shit ...
Posté le 26-04-2018 à 10:38:49  profilanswer
 

[:ultra2:2]


---------------
En théorie, la théorie et la pratique sont identiques, en pratique, non.
n°1417826
el_barbone
too old for this shit ...
Posté le 26-04-2018 à 10:41:41  profilanswer
 

sinon pour appuyer ce qui est deja dit :
pour la repli : utilise les mécanismes natifs de PG.
pour le backup : la target doit être autre qu'un de tes 2 serveurs de DB.
pour la conf disque : écoute mystX


---------------
En théorie, la théorie et la pratique sont identiques, en pratique, non.

Aller à :
Ajouter une réponse
  FORUM HardWare.fr
  Linux et OS Alternatifs
  Installation

  Partitionnement des disques avec 40 Tera

 

Sujets relatifs
Installation de Lubuntu sur SSD - Msg d'erreur partitionnement[Resolu] Disques RAID manquant suite à réinstallation
Réplication de disques durs ?Partitionnement avec disque logique annulée, disque dur inutilisable
Partitionner ou 2 disques dur?le GUI OpenMediaVault ne reconnaît pas les disques DRBD
smartmontool, smartd et réveil des disques dursBesoin d'aide pour rsync 4 disques sur un
RAID5 UP avec 1 disque sur 3...GRUB, Xubuntu, Windows et disques durs séparés.
Plus de sujets relatifs à : Partitionnement des disques avec 40 Tera


Copyright © 1997-2018 Hardware.fr SARL (Signaler un contenu illicite) / Groupe LDLC / Shop HFR