Bonjour à tous,
 
Je suis actuellement en train d'étudier un projet de virtualisation pour mon entreprise (la solution VMware à été retenue).
Notre principal fournisseur de matériel informatique étant Dell, c'est tout naturellement que je les ai sollicités sur ce dossier.
 
L'infrastructure cible serait composée de 2 hyperviseurs en HA + vMotion, d'un SAN et d'un serveur pour les sauvegardes (sur disques locaux + bandes LTO).
Après étude de nos besoins grâce à leur outil DPack, il s'avère qu'un SAN iSCSI avec un lien 2Gb serait suffisant (débit disque max au 95% sur 1 semaine = 140Mo/s).
Concernant la capacité de stockage et le type des disques (par rapport aux IO mesurés), on a prévu 24 disques 600Go type SAS 10k en RAID10 avec 2 hot-spare (incluant une marge confortable).
 
Dell me propose un SAN Equallogic PS4100X qui possède deux contrôleurs avec 2 ports 1Gb/s chacun mais en mode actif/passif.
Cependant, je crains qu'avec cette configuration nous atteignons rapidement la limite du SAN au niveau du trafic sur les interfaces réseau (cette infra devra supporter une croissance modérée mais pour une période assez longue de 4 à 5 ans).
 
J'ai pu voir que Dell proposait également le Powervault MD3220i qui semble répondre à l'identique en terme de performances, redondance des contrôleurs mais propose en plus 4 interfaces 1Gb/s sur chaque contrôleur (et je crois même qu'on peut utiliser les 8 en même temps) ce qui me permettrai d'être plus serein pour le futur. Qu'est-ce qu'à l'Equallogic que n'a pas le Powervault et qui pourrait faire pencher la balance ?
 
J'ai également jeté un coup d’œil du côté de chez HP avec sa gamme P2000 G3 et qui semble également être proche du PowerVault mais si je préfèrerai quand-même prendre un "package complet" Dell (pour des raisons de prix et d'uniformité du matériel).
 
Du côté des serveurs, je peux aisément les attacher au réseau de stockage en utilisant 4 ports 1Gb par serveur, agrégés en LACP. Et ils seront connectés au LAN de la société avec 2 autres ports 1Gb agrégés en LACP. Je précise que je suis hors budget pour du FC ou du 10Gb/s ...
 
Qu'en pensez-vous ? Quelles solutions avez-vous implémenté chez vous ?
 
Je profite également de ce topic pour poser une autre question : j'envisage de mettre en parallèle un autre hyperviseur pour héberger des VM de développement, préproduction et/ou tests. Le stockage envisageé serait un NAS Synology DS1812+ (+ kit 2Go) avec 8 disques WD VelociRaptor 500Go en RAID10, l'interco entre le NAS (en iSCSI) et l'hyperviseur sera réalisée avec deux liens 1Gb/s aggrégés en LACP de châque côté. Pensez-vous que ce NAS soit un bon choix (rapport performances / prix).
 
Merci d'avance pour le partage de vos expériences.
 
Edit : Ajout précision attachement des les hyperviseurs à 4Gb en LACP sur le stockage et 2Gb en LACP sur le LAN.

Salut,
 
J'ai commencé par une baie PowerVault MD3200i dans mon infra, pour la remplacer par une Equallogic PS4100XV. La baie MD a été recyclée pour avoir une baie dédiée aux backups.
 
Pourquoi partir sur de l'Equallogic ? 3 réponses à fournir:
- Facilité d'administration & configuration des LUNs & co. Le soft d'admin est plus simple à prendre en main
- Possibilité de synchro entre 2 baies equallogic. Si jamais tu souhaite évoluer vers du PCA avec une 2eme baie distante, l'equallogic permet la réplication, pas la MD.
- Qd tu achetes 1 baie Equallogic, tu as 2 liens Gbits actifs. Lorsque tu grossis et que tu investis dans une 2eme baie, tu as à nouveau 2 liens supplémentaires, etc. Donc la capacité des liens augmente. On avait également mis en place les 8 liens ISCSI de la baie MD, qui sont remplacés aujourd'hui par les 2 liens de l'Equallogic, et ça suffit amplement. L'intégrateur a même été très agréablement surpris de la vitesse de transfert sur la baie (migration à chaud de la MD à l'Equallogic).
 
Pour moi autant partir sur l'Equallogic.

hello
qu'as-tu à y mettre dedans ? Je veux dire : le SAS est-il vraiment un plus ?
du SATA peut largement suffire, c'est moins cher au changement (car les SAS DELL + leur caddie, ça monte à 250/300€ le disque, ça peut vite devenir cher si tu veux en rajouter).
 
PS4000 ou PS6100 on a testé les 2, grosso modo c'est du très bon matériel et avec un RAID50 t'as de bonnes performances.
on a des R610 en face et ça tourne très bien.
 
Ces 2 modèles s'intègrent bien en environnement VMWare.
PV par contre je ne saurais pas dire, on a eu une PV220 il y a foooort longtemps qui a rendu l'âme.
 

Salut,
 
Merci pour vos réponses.
 
Voici les relevés sur les serveurs physiques actuellement en place :
 - IPOS actuellement : 1500 à 99% et 2500 au maximum
 - Ratio lecture/écriture : 70% Read / 30% Write
 - Débit disque : 140Mo/s à 99%, 200Mo/s au max
 
L'infrastructure sera exploitée pendant 5 ans (pendant lesquels j'ai pas mal de projets qui seront lancés), je prévois donc sur cette période une multiplication par 3 des ressources consommées par le stockage, ce qui donne :
 - IOPS : 4500 à 5000 (d'où le choix du SAS 10k)
 - Débit disque : 420 Mo/s (c'est ce point qui me pose le plus problème avec la PS4100X)
 
Concernant les fonctionnalités de la baie, je pense que la réplication pourra être mise en œuvre plus tard, mais sera plutôt gérée au niveau VMware qu'au niveau du SAN (de façon quotidienne). On me propose pour cela les solutions AppAssure ou Veeam.
 
Je privilégie le RAID10 au RAID50 car on à déjà vécu des situations délicates en RAID5 : un disque qui rend l'âme et la reconstruction du RAID qui dégrade fortement l'ensemble des performances du volume, ce type de situation est beaucoup moins pénalisant en RAID10.

Hors sujet, mais Je connaissais pas Dpack. Y'a un équivalent chez HP ?

Je ne me fourni que rarement chez HP et très souvent par revendeur donc je ne peux pas te répondre, par contre petite précision : l'outil que fourni Dell au client permet uniquement de capturer les données. Celles-ci sont placées dans un fichier binaire iokit et doivent être transmis à Dell pour être "développées"...

 
héhé, malin les coquins, tout de suite c'est moins "sympa".

 
 
je les sors avec une v7000 , 46 disques 300 Go 10K + 2SSD en RAID10

 
Es-tu sûr d'avoir besoin absolument de ce débit disque ? tu atteins des plafonds quand tu te met en lecture intensif en séquentiel, et normalement ce chiffre tombe rapidement quand tu commences à solliciter ton stockage en IOPS
A 1500 IOPS je ne suis pas sûr que tu arrives à atteindre les 420Mo/s sur tes serveurs physiques actuels
 
Si tu pars sur du RAID10 tu auras moins de performances en lecture que du RAID5 ou RAID50 mais plus en écriture. Peut-être que le RAID6 est à considérer, à moins de partir sur des disques volumineux

Ah oui ... 46 disques, je suppose cependant que tu dois parler du débit et non des IO/s !
Tes SSD sont exploités en tant que cache ?
 

Le débit sera certainement bien inférieur à mes estimations mais dépassera à coup sur ce que peux me fournir 2 liens iSCSI 1Gb, il me faut à coup sur quelque chose de plus performant.
 

Si tu relis tu verras que je prévoie 5000 IOPS après le débit dépend également de la taille des blocs... Il est possible que j'ai un "petit" besoin de lecture séquentielle ce qui pourrait faire monter le débit (taille des blocs plus élevée).
 

Comme précisé plus haut c'est surtout la dégradation du volume et les temps de reconstruction qui me font peur ... Mauvais expérience (serveur SQL crashé sur reconstruction d'une grappe RAID5 vers hot-spare et idem lorsqu'on a replacé un disque neuf et qu'il a fallu re-basculer le hot-spare sur le new disk).

 
bah justement quand je relis, je vois 99% à 1500 IOPS et 99% à 140Mo/s. Ca veut dire quoi ? Qu'à 99% du temps tu envoies du 140Mo/s en faisant 1500 IOPS ? Atteindre 1500 à 5000 IOPS est justement le boulot d'un SAN via le nombre de disques, le cache, les algos et autres fonctionnalités développés par le constructeur, etc
Par contre faire autant de débits avec autant d'IOPS en même temps, tu vas avoir très peu de SAN qui pourront te le fournir, et je m'interroge sur les applis que tu fais tourner. Du coup comme tu n'as pas donné d'indications là-dessus, j'aurais tendance à te dire de ré-évaluer ton besoin parce qu'il est peut être trop ambitieux. Par exemple en faisant intensément de la base de données, atteindre 40Mo/s avec 5000 IOPS c'est un bon score. Et encore, même si tu atteints les limites de ton SAN, est-ce tolérable pour tes applis ? Ne te mets-tu pas tout seul une pression pour rien ?
Admettons que tu partes pour une equallogic PS4xxxx et que tu bourrines au maximum 100Mo/s pendant 2H au lieu de 30 min ? est-ce que le business de ta boîte va en souffrir au point d'être intolérable ? Si oui, vaut mieux faire comprendre à ta hiérarchie qu'il va falloir mettre plus d'argent

oui les 2 SSD sont en RAID 1  200 Gb en easy tier
sur une vm , en 100% read , je sors 10000 iops , en random , 8000 , je te resortirais les chiffres exactes si tu veux  
sur la baie repliquée , j'ai 24 disques de 600 , ca sort 6000 je crois
par contre en FC 4gb

salut,
 
c'est marrant mais tu ne parles pas du réseau Iscsi, tu dois le séparer de ton réseau LAN
 

voila mes resultats :  
Access Specification Name IOps             MBps Average Response Time % CPU Utilization
Max Throughput-100%Read  10 752,23            336,01 5,46                               18,05
Max Throughput-50%Read   14 800,82             462,53 2,27                               24,33
Random-8k-70%Read          13 921,35             108,76 1,70                               25,21
RealLife-60%Rand-65%Read 14 121,21             110,32 2,07                               24,83

un peu dur à lire, c'est quoi ton séparateur ? la virgule ou l'espace ?

Pour Info les baie powervault md3220i => ce sont des baies d'origines lsi/engenio maintenant netapp. que tu retrouves chez sun, ibm, ....
 
de tres bonne petites baies  d'entrée de gamme. avec deux controleur actif/actif et suffisemment de disques tu pourras avoir les perf souhaitées
pour info :  
i/o pour un disque sas :  176 Io/s
i/o pour du SATA : 80 IO/s
d'ou l'importance d'augmenter les axes disques.
 
Pour info les disques sata sont déconseillé voire pas supporter en vmfs sauf si ce volume n'accueille pas plusieur vm ou n'effectue pas d'acces conccurent.
 
Il est vrai que sur les equalogic, je n'ai pas constaté les anomalies rencontrés avec lun en sata.  
 
les deux controleurs sont actifs (sur la md), et tu peux privilegier les ressources pour la reconstruction ou ta prod, tu n'as donc pas l'anomalie rencontré avec ta base SQL. le raid 5 avec un nombre suffisant d'axes ca peut le faire.
 
comme le précise couack
Si tu pars sur du RAID10 tu auras moins de performances en lecture que du RAID5 ou RAID50 mais plus en écriture. Peut-être que le RAID6 est à considérer.
choisis des "petits disques" mais augmentes en le nombre.
 
chose importante : comme le précise djalex : séparer le lan du iscsi. c'est une preco de tous les constructeurs.

Bonjour,

Merci pour vos réponses. Je n'ai pas donné de nouvelles pendant quelques jours mais j'ai suivi tous vos commentaires.

- Réseau de stockage : je n'en ai pas parlé tellement ça me paraissait évident ! Je me focalisait plus sur le SAN mais il est bien prévu de mettre un réseau dédié de stockage (deux switch pour assurer la redondance).

- Choix du SAN : nous privilégions une Equallogic PS6100X face à une Powervault MD3220i car elle offre de meilleures performance (cache plus important) et c'est une solution que je qualifierai globalement de plus "robuste". La PS6100X à l'avantage d'avoir 4 ports actifs par contrôleur en mode actif/passif, ce qui devrait répondre à nos besoins. Elle sera équipée de 24 disques SAS 10k de 600Go (dont 2 spares)
Pour ceux qui posaient la question, le besoin de débit peut être justifié par des solutions actuellement en projet (comme par exemple du web-training enregistré avec rediffusion streaming).

Enfin le choix de Dell n'est pas arrêté, j'ai également un fournisseur qui me propose du NexSan.

Bonjour,
 
Je prends le temps pour vous tenir informés de l'avancée de ce projet. Nous avons finalement décidé de choisir l'offre Dell :
 - SAN EqualLogic PS 6100X (24x SAS 10k 600Go)
 - 2x PowerConnect 6224 - réseau stockage
 - 2x PowerEdge R620 (2x 6cores + 128Go RAM) - hyperviseurs
 - 1x PowerEdge R520 (2x 4cores + 64Go RAM + 20To HDD + 2x LTO-6) - backup Veeam + BackupExec (LTO)
 
On ré-utilisera un PowerEdge R710 que nous possédons déjà avec une configuration équivalente au R620.
 
Pour la partie VMware on sera sur du bundle Essential + ...

Pour ceux qui sont intéressés, voici les performances obtenues avec l'infra que j'ai monté :
 
https://communities.vmware.com/message/2283573#2283573

Prix de l'infra ? (juste le stockage).

Perso j'arrive à 20000 IOPS en read sur du Nexenta avec 4 HDD SATA (7200tpm) + 1 SSD Samsung, le tout via une VM XenServer dans un réseau iSCSI relié avec du Realtek (!). Total de l'infra : 1500€, stockage + virtu comprise. Ceci dit c'est du labo et c'est pas en prod, donc que du matos grand public

J'ose pas imaginer les perfs de ton matos avec du ZFS

 
Pour le NAS Synology, acheté chez LDLC :
¤ SYNOLOGY DS1813+ = 785,91
¤ SYNOLOGY 2GB DDR3 SODIMM RAM = 50,13
¤ 6x WESTERN RAPTOR WD5000HHTZ = 588,24
¤ 2x CRUCIAL M4 256GB = 2x 154,06 = 308,12
=> Total : 1732,40 € HT
 
Pour la Baie EqualLogic, achetée en direct chez Dell je ne peux pas donner son prix (confidentialité) ...
 

 
Je suis assez étonné des résultats que tu annonce !
Sur un SSD Crucial M500 512Go connecté directement en Sata3 j'arrive à 14395 IOPS en lecture séquentielle...
 
Les tests réalisés utilisent des fichiers de 32Go afin de ne pas être faussés par les différents caches (RAM & contrôleur).
Je suis assez intéressé par tes résultats, pourrais-tu réaliser un test avec les fichiers de conf dispo ici : http://vmktree.org/iometer/ (32Go pour pas tricher avec le cache read en RAM) et les poster ?

J'utilise iozone et pas iometer (j'ai aucun Windows sous la main, c'est possible d'utilise iometer quand même ?), par contre oui je fais pas des tests énormes donc ça doit passer un bon morceau en cache. Je pourrai augmenter la taille totale du benchmark pour trouver les limites.
 
Précisions :  
- j'ai une carte IBM M1015 flashé en mode « IT » (100€ environ)
- mes deux volumes sont en miroir (2x 2 mirroirs de 500Go, qui fait 1To d'utilisable).
 
Note que le Samsung Pro est >>> au M500 il me semble.

VMware à sorti une appliance virtuelle pour ça mais j'ai de meilleurs résultats sous Windows (de plus attention le disque de l'appliance ne fait que 512Mo, c'est trop peu pour passer outre le cache) ... => http://labs.vmware.com/flings/io-analyzer
 

Pas de 5000 IOPS à mon avis. Je crois me rappeler que ZFS utilise toute la mémoire vive disponible comme cache de lecture donc ça pourrait expliquer l'écart.

pas top , les latences ...

Lesquelles ?
Si c'est le test avec les 6 hdd en raid 5 je les trouve plutôt normales (on parle de tests qui n'utilisent pas les caches). Sinon je trouve mes résultats plus que corrects, non ?

 
C'est tout à fait exact.
Je suis entièrement d'accord sur l'écart, une bonne part doit se faire en RAM. Et je pense que le goulot est pour l'instant le lien Gigabit sur des cartes pourries.  
 
Pour l'appliance, je suis sous XenServer, ça va être compliqué Ceci dit, je peux faire du iozone qui me bouffe le cache de 1er niveau (RAM) du Nexenta afin de comparer.

 
Si tu arrives a configurer des tests équivalents a ceux que j'ai fait on pourra comparer non résultats. Je connais pas iozone, je jetterai un oeuil...

Je peux essayer de faire le test iozone sur 32Go

edit : sachant que j'ai que 8Go de RAM sur le Nexenta, c'est sûr que je vais sortir du cache !