Salut,  
 
Conseil a propos de l'achat d'un serveur pour y loger une DB greenplum, surtout par rapport a la configuration du stockage.
 
L'idee est d'acheter un HPE DL345 gen11 (monosocket AMD). On va acheter 22 HDDs 15K (pour la DB) et 2 SSD (pour le system). L'idee c'est d'avoir du RAID1 pour les SSD et pour les HDDs donc en gros il faut qu'on connecte 2x1 SSD en RAID1 et 2x11 HDDs en RAID1. On se demande quelle serait la solution la plus efficace en terme de controlleur stockage ? Un seul controlleur qui gere tout ca ? Ou plusieurs controlleurs ?
 
Les dev nous disent que leur plus gros soucis actuels viennent de la gestion I/O plutot que de la puissance CPU ou RAM donc l'idee c'est de mettre le paquet sur l'architecture controlleur stockage
 
Est ce que ce genre de controlleur devrait faire le Job:
 
https://buy.hpe.com/ch/fr/options/c [...] p04220-b21
 
Ou alors 2 controlleurs tels que celui la:
 
https://www.hpe.com/psnow/doc/PSN1014690941BEFR
 
 
La premiere idee c'est qu'avoir 2 controlleurs c'est aussi avoir plus de cache et donc ca va dans le sens d'une meilleure gestion I/O mais en lisant ici ou la sur les internets, l'impression c'est que c'est plutot la solution a 1 controlleur qui est plutot conseillee
 
Mais j'ai un doute sur le RAID1 possible si ce sont 2 controlleurs differents
 
Le prix n'a pas vraiment d'importance ici
 
Pour preciser, je ne suis pas un specialiste serveur, je demande pour des collegues de l'equipe IT qui semble penser que je suis specialiste stockage technique malgre mon insistance que je ne suis pas un de ceux la      
 
Merci

Bonjour,

la réponse est dans les specs que tu as posté

le premier c'est jusqu'à 850000 IOPS en écriture RAID5
le second c'est jusqu'à 240000 dans le même cas (donc ~4 fois moins)

donc même avec 2 contrôleurs, le second sera toujours largement derrière le premier.

par contre, la ou je m'interroge, c'est sur la pertinence de 22 disques en RAID10. c'est toujours mieux que du 0+1, du 5 ou même du 6, mais ça fait quand même beaucoup de disques !!!

Il ne cause pas RAID 10 mais RAID 1 !

Est-ce une erreur ou non ?

Quelle est la volumétrie nécessaire pour la BDD ?
Quelle est la criticité d'accès à la BDD ? RTO ?

Bah je vois pas trop l'utilité de faire un RAID1 de 22 disques perso . Donc oui j'imagine que c'est plutôt du RAID10

pour moi ça veut dire RAID 10 (RAID 0 de 11 RAID1), mais j'interprète peut être mal

2x11 = 11x2 donc moi je dis qu'il va créer 11 grappes de 2 HDD en RAID 1

Merci pour vos reponses, alors oui c'est du RAID10 effectivement, c'est 2 grappes de 11HDD en Raid 1 donc oui RAID10 car 11HDD sont en raid 0 pour 1 volume complet. Et les 2 SSD en raid 1 pour l'OS.
 
Je ne connais pas la taille de la BDD mais je pense que les 22 HDDs qu'on m'a donne comme info ne sont pas la par hasard donc il ya pas le choix la dessus, ils doivent deja savoir la taille actuelle de la DB, c'est du 15k HDD en vitesse de rotation
 
C'est tres critique car c'est notre DB principale, je ne sais pas ce que veux dire RTO
 
Donc pour l'instant, ca semble plutot conseiller le 1er controlleur pour le tout ?
 
MErci

Mais pourquoi partir sur un serveur physique déjà, pourquoi partir sur du on-premise, et établir un cahier de specs précis : "les devs ont dit que", ce ne sont pas des specs.

 
Pour le on-premise, pas le choix, confidentialite des donnees, on se doit de garder les rawdata on premise. Pour le reporting et autres, on se sert d'AWS. Pour le cahier des charges, je suis d'accord, c'est tout ce que j'ai, c'est pas super precis, je pose la question du stockage car c'est une question qu'on m'a pose. Est ce qu'un cahier des charges precis changerait la reponse sur le 1 ou 2 controlleurs dans un cas plutot classique ? C'est pas grave si c'est pas possible de repondre, pas la fin du monde  

OK j'ai reussi a avoir + d'info de l'IT.
 
En fait le but est de remplacer un systeme Greenplum Half rack GP100:
 

 
https://bartsjerps.wordpress.com/wp [...] hnical.pdf
 
Page 43 ya des specs pour le server GP100 half rack
 
2 master servers sont:
 
- Intel Kylin server dual socket
 
Et les 8 nodes sont:
 
- Intel Dragon 24 server dual socket
 
 
Au niveau I/O pour les nodes c'est :
 
- Hardware controller (internal module) avec 8 ports ROC (pas d'idee sur le type de controlleur, pas reussi a trouve les specs precises et eux non plus)
- et il ya un ou 2 ports PCI gen3
 
On l'a eu il y a 9 ans et ils veulent update tout ca
 
Et les specs donnees plus haut sont celles de la machine actuelle: 22 HDDs 15k de 300GB chacun
 
Et le principal reproche des Dev c'est que l'IOPS est pas suffisant pour leur besoin
 
Ils m'ont aussi donne plus d'info en terme de choix de serveur
 
Ils pensent remplacer les master nodes par 2 DL360 G11 et les nodes par 8 DL380 gen11 ou par 8 DL345 gen11 (donc en gros c'est pas 1 seul serveur qu'ils veulent   ), le DL345 aurait leur prefernce car ils n'ont visiblement pas besoin de dual CPU pour les nodes et les master nodes. Le vendeur  a qui ils parlent a tendance a pousser pour le DL380 gen11 mais ils pensent que c'est trop d'avoir un dual socket serveur car ils voient les ressources processuers assez basses en general pour le type d'utilisation
 
 
Donc pour revenir a la question de depart, pour chaque nodes, quelle configuration de controlleur stockage faut il adopter si on y met 2 SSD en RAID 1 et 2 grappes de 11HDDs en RAID10 ?
 
Merci  

Tu te lances dans des solutions techniques alors que tu ne connais pas objectivement le besoin, c'est déjà un gros problème. Encore plus quand c'est une base de données critiques, encore plus si on parle d'un BDD qui a besoin d'autant de stockage (il serait peut-être temps de splitter ?), encore plus si tu n'as pas les compétences pour ça...ça ne peut que partir en eau de boudin (soit trop cher, soit inadapté, soit les deux).
Ce n'est pas aux devs définir le matos, ils n'y connaissent très probablement que dalle.
Par contre c'est à eux de définir la quantité (même approximative) de IOPS à fournir, et le niveau de résilience souhaité (ce qui a un impact côté contrôleurs stockage/composants internes/serveurs entre autres : RTO/RPO comme déjà dit). Il y a aussi toute la partie support/garantie/sécurisation/cycle de vie à étudier.
 
Tout çà va jouer sur les choix techniques, mais partir à l'impro comme on te le demande, c'est le meilleur moyen de se planter.
Et pour la confidentialité des données les BBD ça se chiffre depuis des années.

22 HDD de 300Go en RAID 10, cela fait seulement 3To de volume utile.
Pourquoi partir sur du SAS 15K à l'heure du stockage flash ?

+1000
en plus ça coutera certainement moins cher et encaissera nettement plus d'IOPS !

 
Je suis d'accord sur le fond, je ne suis pas partie prenante, je pars du principe que l'equipe IT sait ce qu'elle fait en choisissant ce genre de serveur (quoiqu'en etant franc, je pense pas que ca soit la fine fleur de technicien IT, disons que ca fait longtemps qu'ils sont dans la boite et que depuis un certain temps, plusieurs annees, ils ne gerent plus beaucoup de hardware, plutot des acces et du soft donc sont ptet pas les mieux places pour choisir l'architecture qu'il nous faudrait..et surtout le fait qu'ils viennent me demander, je suis analyste de donnees de vente sur l'infrastructure en general, me fait dire qu'ils sont un poil deconnectes). Juste pour la precision: ce ne sont pas les devs qui decident du hardware, ce sont les mecs de l'IT et on est d'accord ce sont les devs qui devraient donner leur recommendation en terme de besoin d'IOPS.
 
Je vais leur faire passer la suggestion que peut-etre, ils devraient demander un specialiste l'infra la plus adaptee.
 
Pour la condifentialite des donnees, oui il ya le chiffrement mais il me semble qu'on a pas le choix dans notre cas, ca fait partie de nos contrats avec nos providers, on doit garder les data on-premises

 
Bon point je pense que ca fait sens effectivement
 
Mais possiblement ils veulent juste garder les HDDs existant et les transferer dans le nouveau serveur non ? Je vais leur demander

vu ce que consomme un disque SAS 15k, l'achat de 2 SSD entreprise de 4To sera très vite rentabilisé.
la réutilisation n'est pas un argument valable (surtout pour un truc "critique" )

 
un autre bon point en faveur des SSD
 
J'ai eu un peu plus de details: En fait, les 22x300GB c'est l'ancienne architecture, ils ont besoin de 3 fois + sur la nouvelle architecture donc ils pensaient 22x900gb 15k HDD (ils prevoient de changer completement pour des nouveaux HDDs). Ils voulaient pas aller sur des SSD a cause du cout mais je leur ai demontre qu'en fait 22x900GB ca leur ferait un cout d'envrion 6.6k (calcul vite fait a partir de recherche google) alors que 5x3.8TB SSD en 12GB read intensive SAS, ca leur ferait du 5k environ (on parle de prix HPE) et en plus la consommation energetique serait moindre (+ les IOPS plus important du SSD).  
 
Sur le Cloud vs on-premises, je me suis gourre, rien a voir avec la confidentialite des data mais plutot tout a voir avec le cout. Notre DB principale est sur AWS mais celle dont on parle est quasi aussi importante, c'est la DB backup ou on developpe pas mal de trucs (j'explique ptet pas ca tres bien mais en gros les 2 sont critiques et on irait sur un on-premises pour celle la a cause du cout, AWS serait prohibitif a cause des besoins en stockage si j'ai bien compris)
 
L'It va revenir vers moi demain avec des donnees plus precises sur l'IOPs et autre

Tu devrais aussi leur causer des perfs en lecture/écriture aléatoires entre SAS 15K et flash ...

 
 
Une petite question par rapport au SSDs vs HDDs. Clairement, si je fais le calcul sur des SSDs read intensive SAS 12GB, effectivement SSD sont plus interessant finacierement que les HDD (en faisant un rapide calcul avec des prix en ligne). Mais je me demande si pour une DB, il faut pas quelque chose d'un peu plus "solide" que des read intensive ? Car si je commence a regarder les prix des mix use ou write intensive, la les SSD montent en terme de prix et on passe de 5k euros pour du read intensive a quasi 10k euros pour des mix use
 
Si je lis en ligne, il semble qu'il est preferable d'aller sur du mix use pour une DB plutot large et tres utilisee, un avis la dessus ?
 

Tout dépend du workload.
Il faut que les admins DB indiquent comment elle est sollicitée entre les lectures et les écritures.