Reprise du message précédent :
Moi j'ai bien fait un RAID de 8 disques identiques... mais ils ne sont pas tous acheté en même temps...

Si, même pas peur Je lis souvent ici le conseil "ne pas acheter tous les disques en même temps, si on tombe sur une mauvaise série c'est foutu", mais dans la pratique je n'ai pas eu de souci jusqu'ici. Par précaution j'ai quand même tout configuré en RAID-6. Je pense quand même que ce type de conseil tient de plus en plus du poncif périmé, même si la réflexion qui l'a engendré n'est pas dénuée de bon sens.

Déjà vu plusieurs disques qui cassent en même temps. Vu que les disques ont exactement le même régime de fonctionnement (temps de travail, température, I/O) ils s'usent donc exactement pareil, donc risque important de casse simultanée. Ce n'est même pas une question de mauvaise série.  
C'est d'ailleurs arrivé à l"auteur de ce sujet, il le décrit quelques pages plus tôt.
 
Sois très vigilant, tu peux facilement péter un disque pendant la reconstruction suite à un des disques qui tombent... Effet domino en quelque sorte.

J'ai monté (enfin c'est en cours) un openfiler avec 4 seagate 1 To en raid5 (soft), ce sont des disques serie ES sensés être plus fiables, je ne sais pas ce qu'il est en est en réalité ...

 
je confirme, chez un de nos clients, raid5 avec un HDD HS.
pas de précision sur lequel est-ce dans le serveur (merci Dxll et tes serveurs de merde...).
(sur la carte hdd 4, de 4 5 6, dans le serveur, hdd 0 1 2.... (prouf prouf, ça sera toi qui est hs !! lol).
 
donc lancement d'une sauvegarde immediate.
et paf, pdt la sauvegarde, un 2eme disques a laché.
youhou, tout a refaire! client trop content et nous trop deg.
l'ancienne boite qui tenait le reseau avait jamais mis en place de systeme de sauvegarde...
du coup on a mis un raid 1 cette fois.

 
 
ça ne résoud rien il me semble...

un des facteurs clés lors d'une casse disque, c'est le temps de ou le RAID reste en dégradé, et le niveau de dégradation.  
Quand on fait du RAID6, on est quand même bien à l'abris. Il faudrait 3 casses pour perdre les datas.
Quand on fait du RAID5, RAID1, 2 disques et c'est mort. Et quand il y a casse disque, généralement, le controlleur passe en mode "panique" en pressant la reconstruction, ce qui aide pas.  
En plus, dernier petit détail : le temps de reconstruction d'avant, c'était 1h voir 2h avec disque chargé.  
Aujourd'hui, quand on a des RAID avec des disques d'1To,il faut minimum 5h, et sous réserve que le RAID ne soit pas utilisé. (car sinon, byebye le sequntiel).
Juste un chiffre : 146Go, 15k, en RAID5 3+1 sur une DMX3, temps de reconstruction alors que le disques est en prod "légère" - presque pas solicité : 1h45...
Imaginez avec un 1To SATA ...

 
bah disons que si un disque pete, y a tjrs le second qui tourne, et puis on avait que 2 disques de rechange sous la main...

J'ai une question au sujet de ZFS :

Sur la page expliquant ce qu'il y a dans les différentes versions, on peux lire :

Je ne comprends pas exactement ce que cela implique...

Est-ce qu'on peut utiliser un disques comme cache de lecture/écriture ? (dans le genre un disque très rapide comme un I-Ram de 4Go, qui sert de cache en lecture et en écriture)

[EDIT] Visiblement le cache en écriture est fait en déportant les log ZFS sur un autre disque plus rapide (ZIL). Ce cache doit être de 64Mo au minimum et de la moitier de la RAM au maximum.

Est-ce vraiment utile d'investir 150€ dans un I-RAM pour ça ? De plus le fait que l'I-RAM utilise de la RAM non ECC n'est-il pas dangereux (en cas de corruption...) ?

cache en écriture => log device => ZFS Pool 7, typiquement i-RAM.
cache en lecture => L2ARC => ZFS Pool 10  
 

Merci

J'ai lu sur la page ZFS de SUN que ce cache doit être de 64Mo au minimum et de la moitier de la RAM au maximum. (donc 4Go pour mon cas)
 

Est-ce vraiment utile d'investir 150€ dans un I-RAM pour ça ? (je veux dire est-ce que l'apport en perf est vraiment significatif ?)

De plus le fait que l'I-RAM utilise de la RAM non ECC n'est-il pas dangereux (en cas de corruption...) ?

 
si tu peux filer le lien, ça m'intéresse.
Sinon, mon expérience perso m'a montré que le gain était conséquent en NFS, mais nul en CIFS ou iSCSI.  
D'un autre coté, j'utilise le CIFS uniquement en partage de fichier, pas d'applications qui tournent au dessus.
 
l'I-RAM utilise de la RAM normale, sans ECC. Mais en theorie, la couche "log" (zil.c) utilise un checksumming qui permet de détecter d'éventuel pb.  
Perso, je suis pas allé regarder dans le code ;-)

Le lien : http://docs.sun.com/app/docs/doc/8 [...] =fr&a=view

Pour une application utilisant beaucoup le disque (comme une mule ou un torrent par exemple) ça pourrait améliorer les perfs ?
Par ce que quand ça tournait sur mon ancienne configuration, les perfs ZFS s'écroulait complètement (je tombais en dessous des 12Mo/s en écriture sur le ZFS... Contre plus de 60Mo/s en temps normal)

A oui, le checksumming, je l'avais oublié celui là !

En cherchant un peu, je suis tombé sur ça :
http://jmlittle.blogspot.com/2008/ [...] eived.html
Et un commentaire ne fait un peu peur :

Donc en clair si ton disque qui contient le ZIL meure (est-ce que ça veux dire : "si les données qu'il contient sont perdu" ou "si le disque est manquant" ?)  alors il devient impossible de réimporter le pool (donc si tu plante le système, tu perds toutes tes données car impossible de réimporter...)

Cela date de janvier 2008 (donc d'il y a un an), mais est-ce toujours d'actualité ?

[EDIT] Autre question : Je suppose qu'on ne peux pas, avec le même disque, faire en même temps log device et L2ARC ? Ou alors on peux peut être faire 2 partitions de 2Go et utiliser ces partitions comme cache en lecture et cache en écriture.

Mais le cache en lecture apporte quoi exactement ?

Alala que de questions !

Je viens de remporter un Gigabyte i-RAM sur la bay (version fonctionnant sur PCI 3.3 volts). J'ai également acheté 4x 1Go de DDR400 LOW DENSITY sur le même site pour pas (trop) chère...

Donc j'en reviens à mes questions :

Le cache en lecture apporte quoi exactement ? (car le ZFS ne peux pas savoir à l'avance les données dont j'aurais besoin...)

Si c'est quand même utile, on peut faire 1 partitions de 2Go avec le i-RAM pour le log device et le cache device ?

LE cache en lecture prefetch les secteurs suivants de deux que tu viens de lire (je crois).
 
En tout cas, une chose est sûre: ça apporte un sacré boost.

Donc ça peut valoir le coup de partitionner le i-Ram en 2x 2Go, le mettre une partition pour le cache device et l'autre pour le log device ?

Et surtout, est-ce possible ?

Comment ça se passerait si un jour le serveur reste éteint suffisamment longtemps pour effacer les deux partitions sur le i-RAM (autonomie de 17h maximum...) et donc qu'au boot le ZFS ne retrouve plus ses deux partitions ?

 
Il se passera que tu seras dans la merdasse    

Mouarf...
 
Je pense que je vais rester sur seulement un log device (donc mettre le ZIL sur le i-RAM) ce qui m'a l'aire plus utile. Et comme de toute façon le log device est vidé a chaque reboot ça ne posera pas de problème en cas de coupure de courant un peu longues.

 
 
 
c'est à peu pret ça, même si à mon avis c'est un peu plus complexe que ça
 

 
C'est possible, et si ton serveur reste off trop longtemps, tu peux imaginer de restaurer la partition avant l'import de zpool, qui de toute façon ne sera probablement pas celui de boot (tu vas pas faire du RAID1 ?).
Maintenant, c'est le bordel, et je pense pas que cela t'apporte grand chose. La RAM sert déjà de cache, et pour que le cache en lecture de niveau 2 est un impact, il faut que la taille soit vraiment conséquente comparé à ce que tu as déjà dans la machine.  
Ne pas oublier que par défaut, ZFS va occuper jusqu'à toute la RAM du serveur - 1Go.  
 

 
ça me semble plus sage.  

un petit détail quand tu parlais de performance sous la mule ...
ce n'est pas un client windows qui travaille sur un partage samba ?
(je crois que tu m'as déjà dit, mais j'ai oublié )

non, c'est mldonkey-core qui tourne sur mon serveur, et après j'utilise des clients type Sancho (sous Linux et Windows) qui se connecte au core. Comme ça toute la partie active du logiciel reste sur le serveur (les clients sont juste... des clients).

Et avec mon ancienne config, quand j'avais 60 fichiers en dl/ul sur le réseau eDonkey et une dizaine sur le réseau Torrent, ça faisait énormément chuter mes perfs ZFS...

Sinon, j'ai un PC Windows (celui de ma copine) qui se connecte au serveur en Samba, et moi je m'y connecte en ssh/sshfs et nfs depuis mon PC Linux.

 
ben je pense que devrais voir des gains... au pire si tu en vois pas, tu te fais un montage NFS directement sur ton serveur, et la tu en auras

Merci.

Donc en clair la RAM sert déjà de cache en lecture et mettre un log device apportera un cache en écriture c'est ça ?

[EDIT] Non pas de RAID sur le disque le boot (qui est quand même en ZFS sous OpenSolaris)
Mais je ferait une sauvegarde complète quand mon système sera "stable" comme ça je pourrai rapidement restaurer sur un nouveau disque en cas de problème sur mon disque de boot.

dites moi, toutes les fonctionnalités avantageuses du ZFS, puisqu'elles sont si biens (je pense notamment au cheksum des données une fois ecrites et l'etat en temps réel des hdds meme si ils tournent encore), pourquoi ne les trouvent-on pas sur les cartes raid materiel ??
 
ou alors elle sont ultra hors de prix et j'en ai pas encore rencontré dans le cadre du boulot peut-etre...

Par ce qu'il y a tellement de code derrière, et que ça demande quand même une certaine ressource matériel (par exemple il est conseillé d'avoir au moins 2Go de RAM, utiliser une architecture processeur 64bits à au moins 1Ghz...) que ça serait assez compliqué (et donc chère) à mettre en oeuvre sur une carte indépendante.

De plus, l'avantage du ZFS c'est d'avoir tout ces avantages de façon logiciel ce qui apporte une très grande modularité par rapport à une carte RAID (par exemple si j'ai plus de place pour brancher des disques supplémentaires, hop je rajoute une carte contrôleur, je branche mes disques dessus et je rajoute à mon RAID déjà existant) et surtout c'est gratuit et opensource (licence CDDL)

D'ailleurs si tu veux savoir comment fonctionne et comment utiliser le ZFS, tu as un très bon manuel d'utilisation sur le site de SUN (288 pages pour la version PDF...) : http://docs.sun.com/app/docs/doc/820-2315?l=fr

Tiens, je viens de lire ça :

C'est un peu dommage quand même...

Est-ce que la propriété zpool "autoreplace" s'applique aussi au log device en cas de panne / remplacement ?

[EDIT] Je parcours le manuel ZFS de Solaris 10 update 6 (donc la dernière stable) et il y a plusieurs paramètres que je n'arrive pas à localiser comme zfs sharesmb qui permet de partager facilement un samba. (pourtant ça existe, je l'ai utilisé sous OpenSolaris)

Est-ce par ce que c'est une nouvelle fonctionnalité pas encore disponible dans Solaris ? Et si oui il n'y à pas un manuel un peu plus à jour ?

 
Plus généralement, une carte RAID gère des disques et les agrége selon différentes méthodes, mais n'est aucunement responsable du système de fichiers sur les dits disques : elles proposent un contenant, point barre, à charge de l'OS d'en user comme bon lui semble. Or, justement, ZFS cumule plusieurs casquettes et constitue en cela une rupture de la philosophie Unix (do one thing, but do it well), en gérant les volumes, les disques, le système de fichiers, les snapshots etc etc ... Le fait que ZFS intégre tous ces différents niveaux lui permet justement de proposer des fonctions inédites (tel le RAIDZ, dont l'organisation sur le disque dépend des metadata), et ce serait impossible à reproduire en hard, car le système de fichiers serait dès lors en quelquesorte imposé; et un système de ficher étant de toute manière si étroitement lié à l'OS, ce doit être mission impossible.

Vous ne connaitriez pas un site / forum dédié au ZFS qui puissent expliquer clairement et en détaille comment tout fonctionne, les choses à faire et à na pas faire, les limites... (où on peut poser des questions, car même si la doc SUN est très complète, elle n'est pas toujours clair pour moi...) ?

Car j'ai souvent pas mal de questions concernant le ZFS (il n'y a qu'a voir dans ce sujet...) et tout ce que je trouve hormis la doc de SUN, c'est quelques questions (qui n'ont pas toujours de réponses) éparpillé ici et là sur divers forums, et des billets de news assez marginaux relatant l'existence de ZFS...

Personne n'a eu l'idée de faire un topic unique ZFS sur ce forum ?

Il y a ce topic => http://forum.hardware.fr/hfr/OSAlt [...] 6910_1.htm

Oui je l'ai vu, et y ai même un peu participé, mais je cherchais plus un topic dans le genre des Topic Unique en section Hardware, où on à une présentation complète du produit, de multiples liens vers des ressources diverses et variés, une FAQ pour répondre a certaine questions ambigüe qui sont susceptible de revenir souvent, et éventuellement quelques tutos explicitant les bonnes démarches / optimisations à effectué.

bah va falloir s'y coller Zeblods !
 
je serais ravi d'y participer !
 
deja tous ceux qui participent a ce post seront plus ou moins interessé donc y a du potentiel.

 
c'est vrai que j'avais pas vu ça comme ça, mais....
 
c'est pas faux!

c'est vrai qu'une barette de ram défecteuse peut entraîné des pertes de données ?

en tout cas de la corruption de données oui.

Oui, mais je ne sais pas par quoi commencer ! (et puis vu mon orthographe...)

J'essayerai de faire ça, mais après ma période d'exam (donc fin janvier) car sinon je vais y passer trop de temps ! (il y a tellement de chose a y dire...)

Disons que si le ZFS charge un fichier dans une portion de RAM défectueuse, il y a beaucoup de chance pour le checksum calculé ne soit pas bon (même si le fichier est quand même bon sur les disques durs) et comme ZFS fait de la correction automatique lors de la lecture il risque de répercuter cette erreur sur ton pool en essayant de corriger cette erreur (mais ce n'est pas certain car ce n'est pas forcément la même portion de RAM qui sera utiliser pour cette réparation...)

Donc oui et non, ça dépend... Mais c'est sur qu'il reste quand même bien plus prudent d'utiliser de la RAM ECC...

c'est ce que je voudrais mais je ne sais pas vers quelle carte mère me tourner

Une carte mère serveur comme Tyan, Supermicro, Asus (gamme pro), etc. gère toujours la RAM ECC.
 
En cherchant bien sur des sites de ventes aux enchère comme eBay, tu devrais pouvoir trouver ton bonheur assez facilement (j'ai acheté ma carte mère Tyan neuve pour moins de 100€ fdpin en provenance des USA...)

je pensais que c'était plus dans les 200 €. Tu as as payé la douane pour 100 € ou pas ?

Je l'ai acheté le 3 décembre dernier, donc ça fait à peu près un mois que je l'ai reçu. Pour le moment toujours pas de papier des douanes me demandant de payer en plus... Mais ça pourrait encore venir...
 
En fait je l'ai eu à un très bon prix puisqu'en France cette carte mère coute 310€ ( http://www.actualis.com:8080/app/a [...] 7G3NR.html )

il va falloir que je creuse la question. En tout cas merci pour les infos.
 
J4ai une question : mon serveur s'est coupé à cause d'une coupure cet aprem pendant que je n'étais pas là.
 
Est-ce qu'il faut que je m'inquiète de corruption de données ?
 
merci