Reprise du message précédent :
 

Est-ce-qu'un 15000 RPM pourrait aussi avoir une influence notable sur la latence ?
 
J'ai actuellement un gros problème sur un site web comportant plein de pages distinctes. Il débite environ 40Mb/s mais ça va bientôt tripler.
 
Tous les fichiers sont sur deux disques en 10000 RPM en RAID 1 sur une LSI Megaraid.
 
Et ça rame. Dès qu'il commence à y avoir un peu trop de trafic, les disques n'arrivent plus du tout à suivre.
 
Qu'est-ce-que vous me conseilleriez ? D'acheter d'autres durs identiques et de les mettre en RAID 5 ? D'acheter des 15000 tours et de les mettre en RAID 5 ? D'oublier le SCSI et d'acheter des Raptor ?

C'est Quoi EXACTEMENT la conf de ton serveur ?. Sous Quel OS avec quel ligne (reseau) derriere et combien de connexions simultanées ?.

C'est pour le site http://skyblog.com
Le serveur est sous Linux 2.6, il sert les fichiers en NFS, il y a d'autres machines sur lesquels tournent les serveurs web. Je l'ai temporairement remplacé par un Netapp et tous les problèmes de lenteur ont disparu, malheureusement on ne peut pas garder le Netapp pour ça.
Le réseau derrière n'est pas saturé. Il y a sur le site environ 1600 cnx/sec, ce n'est pas énorme mais c'est sur des pages très différentes, du coup le cache n'est pas très efficace.
 

Tu ne pourrais pas mettre en frontal un serveur avec un gros cache (tq Squid bien parametré) ?.
 
De plus le partage NFS consomme pas mal de Bande passante et ce n'est pas le plus performant.

Non surtout pas de cache, les pages (meme hors PHP) sont sans cesse modifiées.
Le serveur web et les fichiers étaient sur la meme machine il y a quelques semaines et la situation était identique : le système passait son temps à attendre le dur. 1% de charge CPU et 99% de wait.
Le NFS n'a pas l'air de poser problème, le site est monté à 74 Mb/s ce soir avec les fichiers sur le Netapp.
 

En fait ton pb ne provient pas reellement du debit des dsks mais du nombre de requètes simultanées qui est faait. Changer des dsks pour des mécaniques plus performantes c'est selon moi "reculer pour mieux sauter" : dan qq mois si tes sites montent en charge, tu auras le meme pb.
 
A mon avis, il faudrait investir dans un peu plus de matériel. Le SCSI est LA solution car une mécanique SCSI est capable d'encaisser beaucoup de requètes simultanées qu'un dsk IDE (cf www.storagereview.com). Mais au lieu de prednre des dsks plus rapides, j'achetrais un autre Controleur Raid sur le quel je mettrais d'autres dsks afin de repartir la charge sur plusieurs canaux. Par exemple :
 
Ctrl 1 :  Disk1 et  Mirroir Disk2
Ctrl 2 :  Mirroir Disk1 et Disk2
 
ainsi lors des phases de lectures et surtout d'ecritures, le système serait à mon avis plus performant.  

3ware escalade 8506-4, http://www.materiel.net/details_3W-8500-4.html

Soient 4 disques identiques, 200Go, 50Mo/s, 10ms.
 
RAID 0+1:
2 disques de données en parallèle avec 2 disques de redondance.
Pour chaque paquet de 2 secteurs, chacun est envoyé à deux disques.
  Capacité = 400Go.
  Débit    = 100Mo/s
  Latence  = 10ms (voire 1/4 en moyenne)
 
RAID-5
Equivalent à 3 disques de données et 1 de redondance.
Pour chaque paquet de 3 secteurs, chacun est envoyé à un disque, et le XOR des 3 est envoyé au 4ième. Dans le RAID4, c'est toujours le même disque qui reçoit le XOR; dans le RAID5, c'est  chaque disque chacun son tour.
  Capacité = 600Go
  Débit    = 150Mo/s
  Latence  = 10ms (voire 1/3 en moyenne)
 
Conclusion
Le RAID 0+1 est une ânerie.

La latence a deux composantes:
1) latence positionnelle = temps que met l'actuateur (le bras) à se déplacer sur le bon cylindre. 60% de la latence totale.
2) latence rotationnelle = temps que met le bon secteur pour se retrouver sous la tête de lecture. 40% de la latence totale.
 
(2) est exactement inversement proportionnelle à la vitesse de rotation; passer de 10000 à 15000 tr/min réduit la latence rotationnelle d'exactement 33%. Reste la latence positionnelle. Pour celle-là pas de solution (à part les bras multiples).

Un serveur de cache "web" serait complètement inutile en effet.
Rajouter 50% de RAM en revanche permettra de réduire le nombre d'accès réels au disque. Pour info, quand tu fais "top" tu as combien dans "buffered" (= taille du cache disque) ?

Bon suite à la (re)lecture de l'article de Tom's hardware j'ai l'impression que le RAID 15 et 1.5 c'est complètement débile.
 
En effet dans les deux cas on a 2n disques, soit 2 fois n en RAID5 et dans tous les cas n en redondance parfaite de n.
Débit: n fois le débit unitaire
Capacité: n-1 fois la capacité unitaire
Tolérance aux pannes: 1 panne dans chaque paquet de n disques.
Mais il n'y a aucune raison a priori de supposer qu'une fois le premier disque tombé en panne, le deuxième disque tombera en panne forcément dans l'autre paquet de n disques. Par conséquent cette configuration ne protège dans tous les cas que contre la première panne, et certainement pas contre deux pannes.
 
C'est complètement absurde pour la raison suivante: si je mets 2n disques en RAID5 avec k spares (= disque gardé en réserve, et qui se substitue automatiquement au premier disque qui tombe en panne), j'ai
Débit: 2n - k le débit unitaire
Capacité = 2n - k fois la capacité unitaire
Tolérance aux pannes: la première panne à tous les coups. Si la deuxième panne survient après que l'un au moins des k disques spare a eu le temps de se resynchroniser (soit quelques heures) la deuxième panne est aussi tolérée. Si la troisième panne survient après que l'un de ceux qui restent en vie parmi les k-1 disques spares a eu le temps de se synchroniser, la troisième panne est tolérée. etc.
 
Bilan: avec un RAID5 à n disques et k spares, on tolère la première panne à tous les coups, et pour que la deuxième soit fatale il faut au moins que les k spares tombent tous en panne en moins de ... quelques heures d'utilisation (ce qui est extrêmement improbable si k >= 2) !
 
Tandis qu'avec un RAID5 de RAID1 ou un RAID1 de RAID5, on tolère la première panne à tous les coups, et peut-être éventuellement la deuxième si on a de la chance.
 
Enfin, dans tous les cas le RAID5 a beaucoup plus de capacité et est beaucoup plus performant.
Donc, à part (et encore) le cas de deux serveurs RAID5 distants mis brutalement en redondance (ça a du sens s'ils servents deux sous-réseaux distincts, car la redondance sert à faire proxy), le RAID15 ou RAID51 c'est n'importe quoi.

Glacote, cela depend comment c'est fait. J'ai eu le cas d'un client il y a qq années qui etaient en Raid 5 + 2 dsks en spare. Jusque qu'ici on pouvait supposer qu'il pouvait supporter 2 casses disque. Mais ce qui est arrivé (loi de Murphy oblige...) c'est que c'est le controleur qui a rendu l'ame..... Et le client a gagné le droit de redescendre sa sauvegarde de la nuit, perdant au passage 6 heures de pride de commande, prod, sortie de stock....

Toujours dans le même article, ce que HighPoint appelle "RAID 1.5" c'est juste un banal RAID1 dont l'ordonnanceur, en lecture, lit un n/2 secteurs sur un disque et n/2 sur l'autre disque, dans l'espoir de doubler le débit.
1) si ça marche, je doute qu'il existe des contrôleurs SCSI RAID1 qui ne fassent pas ça tellement ça a l'air trivial.
2) si ça marche, je doute fortement que l'ordonnaceur RAID1 du noyau Linux ne le fasse pas (à vérifier)
3) je ne comprends pas pourquoi ça marche. En effet lire un secteur sur deux sur un disque est extrêmement inefficace (en pratique le débit sera divisé par deux à cause de la multitude de latences rotationnelles). A moins qu'ils ne réordonnent les secteurs pour mettre d'abord tous les secteurs pairs, puis tous les impairs. Comme ça, quand on lit un secteur sur deux en fait sur le disque ils sont contigus. En revanche en mode dégradé c'est la catastrophe pour le disque qui doit se taper des latences complètes à chaque secteur !
 
En tout cas Tom's ne dit pas que le HighPoint réordonne les secteurs, et s'il ne le fait pas je ne vois pas comment les performances pourraient être meilleures qu'avec un bête RAID1.
 
Encore une fausse bonne idée (en revanche réordonner n'est pas absurd) ?

+1
Au temps pour moi; en effet mon raisonnement supposaient que les pannes étaient indépendantes, ce qui n'est pas le cas si le contrôleur tombe en panne. Donc le RAID15 peut avoir un sens si on a deux contrôleurs différents en redondance, chacun gérant son RAID5 (mieux: deux machines distinctes dans deux locaux distincts). Mais si c'est fait avec le même contrôleur là c'est benêt; et le RAID51, lui me paraît absurde dans tous les cas.

 
globalement c'est la raison pour laquelle seule restent réellement utilisés les raid 0, 1 et 5. Les autres astuces servent souvent des cas extrêment particuliers (besoin de très hauts débits...) qui nous sont le plus souvent inutiles.

Au fait j'ai retrouvé le post d'Axey qui constate que le RAID hardware est bien moins performant que le RAID software sous Linux.

La comparaison a tout de faussée !!!  
 
On compare un Raid Hardware (voir semi hardware) avec de pauvres chipsets bas de gamme pour de l'IDE avec un Raid software sous Linux et tu en deduis le plus naturellement du monde que LE raid hardware est moins performant que le Raid software.  
 
Neanmoins, regardes le resultats de ton sondage et tu verras (meme s'il est peu representatif) que la majorité des pers. ont repondu Hardware.
 
C'est bien dommage que je 'ai pas le temps de faire des benchs SERIEUX entre Hard et Soft sur des plateformes differentes (or linux pour commencer...) avec du materiel Pro (multicanal SCSI, FiberChannel.., et sous IBM, ou HP-UX par ex). Car je peux te garantir que le resultat serait sans appel...et en faveur de solution Hard.

j'ai lu le post d'axey. Ok c'est un exemple : les controleurs Perc3 ne sont pas non plus géniaux et une expérience unique ne peux donner une généralité. Son serveur était il bien configuré, config ? pertinence des tests.... je me méfie toujours des jugements à l'emporte pièce... Tu ne peux baser ton discours sur un seul commentaire d'une seule personne... En plus le gars il a testé que sur 1 carte !! il faut être sérieux là

 
Remarque concernant le sondage : je serais curieux de savoir si les gens ont voté en connaissance de cause ou simplement par conviction ? Perso, je connais bien les sol raid hard, je pense comme toi, et je n'ai pas voté car les choix du sondage ne me conviennent pas non plus

en meme temps on a rien de chiffré et un seul controleur raid qui en plus est peut etre pas non plus le plus representatif

1) ost d'Axey:
  Je l'ai juste cité parce qu'après avoir ouvert le topic en disant notamment que 'certains [avaient torouvé] les performances meilleurs en soft su'en hard", j'ai été suspecté d'être ce "certaiuns".
 
2) sondage
Il n'est sans doute pas complet, mais l'essentiel me semblait être là. Bon enfin l'essentiel est d'acummuler des arguments, pas des votes ...
 
3) Bilan
Je suis tout-à-fait disposé à croire que le RAID hardware c'est mieux le plus souvent, mais sur la base d'arguments clairs et pas à cause des votes. J'ai bien pris note par exemple, choses que j'ignorais, que:
- il existe des cartes RAID SCSI à 300?
- ces cartes savent gérer des topologies RAID un peu élaborées
- elles sont correctement supportées par les constructeurs, sous Windows comme sous Linux.
 
4) Conclusion
Je suis tenté de conclure grossièreent en disant:
- celui qui veut un RAID SCSI (qui en a les moyens et dont le temps est précieux), qu'il prenne un SCSI hardware
- celui qui veut un RAID IDE (car il est fauché et adôôôre recompiler son kernel), qu'il fasee du RAID software.
 
A vous ...

drapon

j'ai pas tout lu parce que ça tourne un peu en rond.
 
le raid 1 ou 5  en software c'es rigolo mais pour la protection de l'os c'est peau de zobe, non ? tu fais du raid sécurisé mais si ton hd avec l'os casse t'as même pas de backup et tu dois tout réinstaller depuis le début, ça perd tout son intéret. à moins qu'on ne puisse raidé l'OS mais j'ai des doutes.

Tu ne peux pas le faire sous Win2K ou Win2K3  => ton raid soft ne protegera que tes données, pas ton OS  => ton serveur n'est pas très viable.

 
oui c'est un comble, tu raid ton pc dans tous les sens mais si ça plante tu retombes à zéro et ghost ne marchera même pas  [edit : en plus tes données sont immobilisées jusqu'à ce qu'arrive le nouveau HD et si il part en sav , à moins de reinstaller win sur un volume restant mais quand arrive le new hd ton OS n'est plus à la bonne place, celle où tu aimes le voir   ]
 
1. sinon, j'ai eu un jour une fois une prise de bec avec des forumeurs de chez ppc (oui, je sais   ) qui soutenaient que win2k pro faisait du mirroring alors que moi je soutiens que seul la version AS le propose.
 
2. autre chose, si tu prends deux hd d'un raid 5 3hd qui a planté que tu les plug en stockage sur un autre pc, win 2k voit direct les (pseudos) partitions et les données ?
 
3. dans le même ordre d'idée, si windows plante et que tu le réinstalles, il détecte automatiquement lors de l'install (ou après) les 'arrays' et permet directement l'accès aux données raidées précédemment ?

moi vous me faite rire avec le raid!
a quoi ca vous sert? quel aplication demande un debit de 100mo/s?
de plus pourquoi acheter des dur scsi de 36go coutant plus cher que des disque ide de 200go?
pour un serveur je comprend, mais pour un particulier?

Joe : Ici c'est un debat sur le Raid en général et pas forcement axé pour les particuliers. De plus le raid ne sert pas forcement à obtenir de gros debits mais aussi à secusiser les données. Je dirais meme qu'avec l'augmentation de la taille de dsk, les particuliers prennent le risque de perdre de plus en plus de données : Tu as un dsk de 200Go, il casse tu perds 200Go. Mais si tu avais investi dans 2 dsks de 200Go (et l'investiseement n'est pas lourd) pour faire un Raid1, tu n'aurais rien perdu.
 
c_planet : 2) je pense que le win2k sur l'autre pc verra bien des partitions (mais de la a les exploiter...), mais je ne sais pas s'il va reconnaitre et "savoir" que les 2 dsks faisaient partis d'un Raid dont le 3ieme dsk à cramer.  (faudrait aller voir sur le site de Crosoft du coté des technets)
           3) en fonction de la "plante" tu peux recuperer tes données en reinstallant du nouvel win2k.

 
ici on parle surtout raid 1 et 5, préservation des données ça peut aider   , un jour j'ai perdu 8go d'albums super rares, j'ai juré sur leur tombe que je les vengerais  , là je suis à 60go (je suis disc jockey d'ambiance, c'est moi qui met la musique dans les ascenseurs des maxi gb en belgique   ) si je les perd à cause d'une casse je descend dans la rue avec un riot gun    
 
puis on fait ce qu'on veut  

j'ai 5dur sur mon 1er ordi! mes fichiers importants sont en plusieurs exemplaires. voir meme sur cd. alors investir pour le raid je comprend pas. pour une entreprise c'est different.
 
sinon c'est sur chacun fais ce qu'il veux.

 
merde, tu viens d'inventer le raid    
 
blague à part, perso je n'aime que le raid 0, le raid 1 et 5 ne m'apportent pas la sécurité nécessaire pour apaiser ma peur de perdre définitivement mes données (foirage de partition, virus, foirage du controleur, hack, paco rabane) je préfère une synchronisation à travers le réseau ou si pas de réseau entre des HD différents.

 
1) Je ne vois pas pourquoi tu ne pourrais pas faire un ghost de ta partition système ?
 
2) Bien évidemment avec les vrais systèmes d'exploitation on peut avoir le système sur le RAID. Il suffit de garder 4Mo quelque part pour mettre le noyau et le ramdisk qui sert à activer le RAID. Par exemple une clef USB.
 
A part ça si tu extrais n-1 disques d'un RAID5 dont l'un des disques a planté, aucuine chance de voir les données comme ça. En revanche il suffit de réactiver le RAID en mode dagradé (en déclarant l'un des disques comme fautif) et là tu vois tes données (mais au prochain crash, c'est fini).
 
A part ça quand on en est à faire du RAID pour ses données, autant mettre le serveur sous Linux, c'est facile (je raele que la Mandrake sait créer un RAID juste en cliquant à l'installation), et ça économise les 288? d'une license Windows XP Home.
 
 
 
> Joe Dalton:
 
L'intérêt du RAID: bah che moi j'ai viré tous les diques durs de mes PCs, ils démarrent tous sur le réseau avec un serveur. Intérêts: facilité (tu veux changer d'OS: une commande, un reboot, et c'est bon), bruit (le slience quand on écoute de la musique, c'est sacré), etc. Mais du coup il faut que le serveur suive un minimum. Essaie, tu seras convaincu ! (Je précise que tu peux même faire booter des Windows XP comme ça; pas essayé car je n'ai pas Windows XP car licence =288?, mais d'autres le font).
 
Quant à ton argument sur les 36Go scsi, OK mais ça n'est pas le même mroduit: un Cheetah 15000 tr/min torche tout ce qui existe. Donc en gros tu commences par faire un RAID IDE, mais si tu veux encore plus de perfomances, de souplesse (hotplug), de fiabilité (MTBF = 1 200 00h = 5x le meilleur IDE), de latence (là où le RAID ne ert à rien), tu passes au SCSI. C'est juste que c'est plus cher.

Il me paraît complètement absurde d'avoir plusieurs disques dans s tour et de ne [b]}pas/b] les monter en RAID5. Pourquoi esayer à la main de garder des sauvegardes, etc. Là où le logicielle fait automatiquemnt, pour toutes tes données, et sans oublier de fichier ?
Sans parler accessoirement du gain énorme en performances au passage ...
Le seul et unique avantage de ta configuration, c'est que n-1 des disques peuvent se mettre en veille si un seul est utilisé. Mais bon ...

Le RAID ne se substitue pas aux sauvegardes. Mais le principe d'une sauvgarde, c'est de ne jamais avoir besoin de s'en servir. L'intérêt du RAID, c'est que si tu changes tes disques au fur-et-à mesure qu'ils tombent en panne, tu n'as pas besoin d'aller chercher cette fameuse bande DLT de la semaine dernière. Une sécurité n'en est plus une si on compte dessus en usage normal; et une panne de disque fait malheureusement partie de ce qu'on appelle l'usage normal (ce n'est pas pour rien que les garanties IDE passent à 1 an ...).
 
Donc l'utilisateur sérieux a un RAID et fait des sauvegardes régulières.

 
1. parce que tes hd sont en mode dynamique
 
2. okay

non vu ke t obligé de te faire chier a les copier apres chaque modif  

 
c'est du raid chiant alors  

LE problème n'est pas tant que ce soit casse-pied que le fait que l'on risque de se tromper, d'en oublier, de n'avoir recopié que la moitié d'un répertoire lors du  crash (comment savoir quel fichier est le plus récent ?), etc.
Bref, tout ce qui est répétitif et ne nécessite pas de décision humaine peut, et donc doit être automatisé.

n'importe quel soft de synchro fait cela, tu définis les regles de mises à jour une seule fois et tu t'en occupes plus, c'est très efficace aussi.

Pas tout-à-fait d'accord, ça n'est pas la même chose.
- Le RAID fait un mirroir bas niveau
- le logiciel de syncronisation recopie fichier-par-fichier
 
1) Le RAID duplique les fichiers en cours d'écriture, pas le logiciel (ex.: vidéo de 3Go perdue par crash disque ...)
2) Mais le RAID duplique aussi les corruptions de FAT ou autre si un logiciel se gauffre, alors que le logiciel de synchro pas.
3) Le RAID est automatique et instantané, pas le logiciel de synchro
4) le logiciel de synchro nécessite de relire les données pour les dupliquer, pas le RAID (il les envoie depuis la RAM lors de la première écriture).
5) la restauration des données avec le RAID est transparente (avec le soft il faut aller chercher la sauvegarde)
 
Bref la synchro c'est plutôt un outil de sauvegarde, c'est donc différent (et complémentaire) au RAID.
 
Or par principe une sauvegarde n'est pas censée s'user tant qu'on ne s'en sert pas (pour éviter les "pannnes" de sauvegarde, c'est précisément ce qui différencie la sauvegarde des autres moyens de stockage); ce n'est pas du tout le cas d'un disque dur (sauf si externe et rangé soigneusement dans un coffre-fort ignifugé+étanche, et encore).
 
Donc faire des sauvegardes à la main depuis l'un des disques de sa tour vers l'autre, je maintiens que c'est complètement absurde. Soit on fait une petite partition en RAID1, soit on grave sur DVD.

 
Comme le dit glacote : du raid 0 avec 4 disques c'est beaucoup plus couteux que du raid 5 (et pour cause). Avec à la clef le même résultat. Donc avec plus de 2 disques je ne peux être d'accord avec toi. En revanche tu as raison avec 2 disques. En revanche il ne faut pas mélanger les sujets. Le RAID n'a JAMAIS été conçus pour se prémunir des conneries de l'utilisateur et du soft. Il prémunie contre les pannes disques (et encore : 1 seule, voir 2 dans les meilleurs cas et raid exotiques...).