Reprise du message précédent :
Ayé le serveur est installé et operationnel sous solaris 10, avec RAID-Z. (3To de dispo )
J'ai encore 2-3 choses à faire (SAMBA etc...) et je ferai un topo sur la procedure d'install sur le forum....
 

Yes, ça m'intéresse bien

aaah ben nickel !!
 
serieux, y a que du bon dans ce post de HFR !!

Qui a utilisé ZFS sous un Linux de la famille Debian ? Je compte tester sur Ubuntu pour faire du RaidZ...
 
A++
--
WileCoyote

J'ai testé en compilant les dernières sources disponibles il y a 5 mois de ça. C'était loin d'être au point :
- Le ZFS ne supportait pas encore le cache des disques durs (donc l'écriture transactionnelle de ZFS n'avait plus vraiment de sens, car on ne peux plus garantir l'intégrité des données, sauf si on accepte de désactiver le cache des disques mais on perd en performances...)
- Pas de partage NFS possible (la fonction n'était pas encore implémenté avec FUSE)
- J'ai eu des comportement bizzare en faisant des testes de pannes de disques (pool qui plante, obligé d'exporter/importer, disques durs débranché mais toujours marqué comme "online"...)
 
J'ai abandonné au bout de 2 semaines car trop de problème, et je suis passé a FreeBSD 7...

 
et sous freebsd7 ca rocks ?

Ça fait maintenant 5 mois que je suis sous FreeBSD, et mis à part un problème de barrette RAM défectueuse (ce qui est complètement indépendant de l'OS utilisé vous en conviendrez) je n'ai eu AUCUN soucis !

Je tourne sur la version 64 bits de FreeBSD 7 avec deux pool ZFS :
- Le premier constitué uniquement de mon disque dur système (Transcend SSD 8Go SLC) où j'ai utilisé cette manip : https://www.ish.com.au/solutions/articles/freebsdzfs . Du coup je peux utiliser les snapshot/rollback comme je veux et c'est super pratique pour bidouiller le système.
- Le second constitué de 8 disques dur de données (Hitachi P7K500 500Go) avec un RAIDZ sur 7 disques et 1 disque en spare (donc capacité théorique de 3To). Ce pool est rempli a hauteur de 1,30To actuellement. Il possède de nombreuses partition ZFS avec plusieurs snapshot à chaques fois, et pour l'instant aucune perte a déplorer.

Le serveur est allumé en H24 (depuis plus d'un mois maintenant) car il sert de serveur de téléchargement (avec l'âne et les deux rivières, pour ne pas citer ces logiciels de partage interdits ici...) avec le RAIDZ comme disque de travail et ça tourne toujours sans soucis.
Ce serveur permet également d'accéder aux données en SFTP sur 2 PC principalement (que ça soit en local ou à distance, sous Linux avec SSHFS+AUTOFS ou sous Windows avec SFTDRIVE) et les débits sont bon : 45~55Mo/s dans les deux sens en Gigabit (mais je l'utilise surtout en wifi donc je suis plus souvent à 2Mo/s...)

 
T'as de la doc qqpart ? Tu peut pointer vers un tuto que tu as suivi pour setuper ca ?
 

J'ai utilisé ça :
http://wiki.freebsd.org/ZFSQuickStartGuide
http://wiki.freebsd.org/ZFSTuningGuide
https://www.ish.com.au/solutions/articles/freebsdzfs
http://docs.sun.com/app/docs/doc/820-2315?l=fr

Pour augmenter les perfs réseau quelqu'un à t'il utiliser l'agrégation de carte réseau (apparemment possible sous linux). Sa reviendrait à moins cher qu'un chip intel certes très rapide, mais très cher!

Ca s'appelle couramment du bonding, cf Wikipédia pour un lien vers plus d'infos :
 
http://fr.wikipedia.org/wiki/Bonding

Certe mais je chercher à savoir si quelqu'un l'avait utilisé dans le cadre d'un serveur maison!

plutot intéressant ce topic ( j'ai pas encore tout lu mais ça avance ^^ )
Je m'interroge, ne m'y connaissant absolument pas dans ce secteur de l'informatique.
Avec des amis on voudrais centraliser nos fichiers ( photos video musique ... ) donc bien évidement un un "serveur" perso est très intéressant. Mais bien entendu nous ne résidons pas tous au même endroit ( trop facile sinon ^^ ).
Voila donc la question du jour : comment faire pour avoir un système de stockage auquel nous seuls aurions accès et qui puisse être consultable de n'importe ou du temps qu'on a une connexion ?
Je vous remercie d'avance pour votre aide précieuse

un serveur ftp. Evidement le debit sortant où ce trouve le serveur doit etre conséquent.

merci de la reponse  
Et donc le FTP me permet de par exemple lire une vidéo sur mon pc sans la récupérer sur le pc ? Et si oui, je suppose que le serveur doit être plutôt puissant si on est plusieurs a aller piocher dedans ?

Tu satures le gigabit à la maison ?
Parce que, en générale, le facteur limitant en transfert de fichiers est le disque dur. Surtout coté client où en général on a un seul disque dans la machine.

 
 
je plussoie...

Raikkon.
 
Pour votre demande, une idee serait de prendre un ptit serveur dédié chez dedibox ou chez kimsufi.
Par contre, faudra voir si ça pause pas pbs au niveau des droits d'auteurs des fichiers en partage...
 
autrement je ne vois pas de connexion perso (particulier) capable d'avoir un upload suffisant pr lire les fichiers sans les téléchargers avant...

ok merci

 
Aucune idée, je n'est toujours pas mis en place le miens pour l'instant. J'ai betement cru que SATA2  3Gb/seconde et  LAN 1 Gb/secondes ?  je me trompe peut etre?  

Oui plutôt.
Les 3 Gb/s du SATA2 sont le débit max de l'interface. Aucun disque actuel (HDD comme SSD) n'arrive à ce débit.

ha! ok! merci. et ce meme en RAID  5  qui permet d'améliorer les perfs??
un hdd actuelle de bonne facture (32 Mo de cache) sa débite à combien.?

pointes a 120Mo/sec pr les seagate 1To.

il me semble que le WD Velociraptor est dans ces eaux là aussi, mais plus souvent qu'en pointe.

sinon, HJ, je serais curieux de voir a combien debite un RAID5 (ou pire raid 0) de HDD de 15k rpm. le SATA2 doit etre atteint là.

Bah en RAID5 avec de bons disques et un bon contrôleur, le débit explose, c'est sur.
 
Mais pour rappel, le SATA2 c'est 3 Gb/s par port, donc chaque disque peut avoir 300 Mo/s (3 Gb/s) dédié sur le contrôleur (liaison série point à point entre le disque et le contrôleur).
Au niveau contrôleur vers le reste du PC on est plutôt limité par l'interface de connexion (exemple PCI-e 1x : 250Mo/s, PCI-e 4x: 1 Go/s, ...), donc hors PCI-e 1x, on n'est loin de saturer pour le moment.

ah oui j'avais oublié que c'etait le debit par port...
 
ouais enfin une config de ce genre de disk ça doit etre übber plaisant a utiliser !!

Enfin pour que ça dépote il faudrait que les contrôleurs SATA II soient sur du PCI Express, ce qui explose les budgets... En PCI, avoir un ou plusieurs disques ne change pas grand chose.
Je viens de refaire le mien avec 8 disques 1To en Raid 6 (Linux, j'ai trouvé que recompiler ZFS pour le faire marcher tenait trop du bricolage) je vous dirai combien me dit hdparm -tT sur chaque disque et sur le RAID6...
 
A++
--
Wile

si les controleurs sont gérés direct par le chipset, ya pas de pci-ex ou pas ex qui tienne, me semble, si ??

En général c'est un lien interne spécifique oui, mais il y aussi une limite (plus élevé sans doute). Il faudrait se plonger dans les datasheets des chipsets pour avoir ce genre d'infos.

intéret du RAID 6 pour un particulier? pour moi c'est juste pour améliorer la disponibilité, une plus grande Tolérance à la panne.
As tu réutilisé LVM? tu est en reiserfs?

par exemple, l'intérêt du Raid6 c'est que dernièrement j'ai 2 disques qui ont crashé en même temps.
Oui, ReiserFS est bien, il m'a bien dépanné.
Mais cette fois je n'ai pas mis LVM qui ralentissait bien et ne m'a pas convaincu sur sa pertinence.
 
Promis je vais publier mes résultats de hdparm.
 
Ma carte est une Gigabyte EP35 DS4R et les disques sont gérés bizarrement : les deux derniers SATA sont sur un contrôleur IDE peut-être avec un adaptateur intégré? Bref c'est bien batard, mais de toutes façons je pense que comme c'est pour le mettre en réseau, le goulot d'étranglement est ailleurs.
 
La carte réseau du poste client (des portables qui ne sont pas Gigabit contrairement à ce qui est marqué dans la doc)... Si vous croyez avoir un Gigabit sur votre portable, allez dans la config du driver réseau pour voir si 1000Mb/s est une option pour voir...
 

certes, mais tu peux en avoir 3 la prochaine fois, ou la foudre, ou un incendie, ou ton onduleur qui te sort du 800v ... bref je vois pas l'intérêt de toute façon il y aura quelque chose (loi de murphy que j'ai vérifier plusieur fois). Tu ne ferais pas mieux de faire un backup?

Je vais faire des backups, c'est clair. Mais sur du léger : drive USB et rsync et j'arrête le drive lorsque je ne backup pas.
 
Comme ça il ne vieillit pas à la même vitesse.
 
Au fur et à mesure que mes données grossissent, je changerai mon drive de backup. Pour l'instant ça va.

Mes tests :
 
Test sur chaque disque (des WD 1To 32Mo de cache)
Environ 80-90Mo/s chacun, mais pas en même temps...
 
Le hdparm -tT ne fonctionne pas sur /dev/md0
 
Test écriture RAID6 sur 1Go:
root@corpus:/home/lionel# rm /media/data/testfile ; dd if=/dev/zero of=/media/data/testfile bs=1024 count=$((1024*1024))
1048576+0 enregistrements lus
1048576+0 enregistrements écrits
1073741824 octets (1,1 GB) copiés, 8,18004 s, 131 MB/s
root@corpus:/home/lionel#  
 
Test lecture RAID6 sur 10Go:
root@corpus:/home/lionel# rm /media/data/testfile ; dd if=/dev/zero of=/media/data/testfile bs=1024 count=$((1024*1024))
1048576+0 enregistrements lus
1048576+0 enregistrements écrits
1073741824 octets (1,1 GB) copiés, 8,18004 s, 131 MB/s
root@corpus:/home/lionel# dd of=/dev/null if=/media/data/testfile bs=1024 count=$((1024*1024))
1048576+0 enregistrements lus
1048576+0 enregistrements écrits
1073741824 octets (1,1 GB) copiés, 0,996363 s, 1,1 GB/s
root@corpus:/home/lionel#  
root@corpus:/home/lionel# dd of=/dev/null if=/media/data/testfile bs=1024 count=$((1024*1024*10))
10485760+0 enregistrements lus
10485760+0 enregistrements écrits
10737418240 octets (11 GB) copiés, 34,3923 s, 312 MB/s
root@corpus:/home/lionel#  
 
131Mo/s en écriture (ça chute à 66 sur 10Go en ligne, mais la machine était en mode graphique, et ça a duré plus d'une minute donc le test réaliste est plutôt celui d'1Go).
1,1Go/s en lecture sur 1Go!!!
312Mo/s en lecture, sur 10Go.
 
Comme on dit près de chez moi, ça déchire sa race...
 
A++
--
Wile

Bon allez zou, je me lance !
 

 
Dans les 80-90Go/s en SATA II.
Montés en RAID6 en grappe de 8, j'atteins les 1,1Go/s en lecture, 131Mo/s en écriture. Sur des fichiers de 1Go.
 
A++
--
Wile

@WileECoyote
 
A combien arrives-tu en transfert par reseau GigaByte? J'arrive de mon coté avec mon RAIDZ/Solaris10 à 55/60 Mo/s en moyenne...

Pour te répondre, il faut que je teste mes clients sous Linux, car je ne sais pas faire un dd if=/remote of=/dev/nul sur Windows... Sinon ça met en jeu les vitesses des disques locaux et ce sont des portables portable...
 
Mon problème est que les PC clients que j'ai sont des portables d'une marque en quatre lettres qui se prétendent Gigabit mais en pratique c'est beaucoup moins... Est-ce la faute au matériel ou aux pilotes ?
 
L'un d'eux est simplement 100Mb/s full duplex, faudrait peut-être que je tente le ping sous Linux, mais j'ai déjà vu des drivers de carte réseau sous Linux passez tous seuls en half duplex...
 
Je tente prochainement.
 
Bravo pour ton RaidZ, si j'avais trouvé la solution assez sérieuse sous Linux c'est ce que j'aurais fait aussi, je ne voulais pas passer à FreeBSD que je n'ai jamais installé.
 
A++
--
Wile

 
Je vias tenter de passer de etch a bsd + raid Z .
Pareil je n'ai jamias installe de bsd on va bien voir.  
 

chouetté idée ça !!!
 
RAID-Z est un netapp killer ... et ils le savent les vendeurs d'appliance filer réseau
 
un trés bon file system. peu de gens comprennent encore son enorme potentiel mais ca va venir ... la preuve.
 
Moi ce qui me gene avec openS et zfs c'est la brique AFP (support du file sharing pour les mac ..)
 
Pour les "maceux" j'ai réalisé un filer qui peut bazardé du 205 Mo/s (full duplex bien sure et en R/W)... sur des gros fichiers , si ca intéresse du monde je peux expliquer la démarche

un gourou bsd comme toi ne l'a pas testé ?
surpris ...  
 
 
Oui ca tartine trés trés fort sur un freebsd 7 (deja qu'un bsd pulverise un kernel linux en i/o de base alors avec ZFS ...)  ... j'ai fait le test en juin , il eclate un linux en raid 5 ...  (je te parle même pas de windouze en raid 5soft).
 
=>>> PAR CONTRE c pas super stable et faut patcher (test en juin 2008)
 
FreeNas pour une demo rapide pour les pressés (pas de zfs ... juste en file system UNIX)
Et la version qui calme : http://www.nexenta.com/corp/index. [...] &Itemid=67 (la les perf. sont ...exquises)
.

 
 
ouaih clair que c'est bon (vu qu'en raid-z, on fait du raid5 ... soft)
tu as tenté un transfert (estimation débit)  avec un  ramDisk ? pour voir la vitesse reelle ?
car on est quasi tous bridé par nos réseau gigabit à 125Mo/s OU nos machines clients si elles ne sont pas en raid0 ou autre joyeuseté...