Reprise du message précédent :
L'OS n'est pas sur la clé usb avec un NAS XPEnology, il est sur tous les disques en raid 1. La clé contient je crois un "OS" simulant le fait que la machine sous un NAS Synology, mais ce n'est pas l'OS du NAS à proprement parler.

Et je ne te dis pas ça par hasard, j'ai commencé à avoir des fichiers illisibles sur le mien à peine 3 semaines après la 1ère install.

XPEnology ? comment serait-ce possible, la clé est indépendante du système, si il arriverait que la clé se corrompt, il suffirait de la remplacer, l'OS et les données resteraient intacts.

Je n'ai jamais touché à XPEnology, je pensais qu'il s'installait sur un périphérique indépendant comme la plupart des solutions du genre.
Certes les soucis que j'ai rencontré étaient localisés sur le système et les données n'ont aucunement été impactées. Et on ne peut pas faire de mon cas une norme non plus. J'ai juste le sentiment que les clés USB ne sont pas conçues pour accueillir des OS et que vu le prix de la config les 30 ou 40€ ajoutés valent le coup pour gagner en tranquilité et un poil de réactivité. Pour quelqu'un qui viserait un NAS à moins de 150€ je n'aurais pas eu le même raisonnement.

Ah non mais je suis tout à fait d'accord de mettre l'OS d'un NAS sur SSD (enfin pas un OCZ hein   ) mais là pour XPEnology c'est pas la peine, justement parce que ce n'est pas une "solution du genre" mais un OS commercial bidouillé pour tourner sur la plupart des PC. Je pense que chez Qnap, netgear d-link et autres NAS du commerce, il n'y a pas non plus de disques systèmes dédiés.  Bon en plus ça mangerait un port sata pour rien.

Effectivement si il s'agit juste d'y mettre un bootloader de 2Mo ça sert à rien de prendre un SSD.

Puisque l'OS n'est pas sur la clé, comment s'implémente-t-il au sein des données en RAID ? Y a-t-il un dossier spécifique de la même manière que Windows ?
En cas de plantage de l'OS est-il aisé de réinstaller le système sans toucher aux données adjacentes ?

Une partition sur chaque disques de stockage est réservée à l'OS, elles sont en miroir, ce qui fait que si tu changes tous les disque sauf 1, le système est toujours là et se dupliquera sur les nouveaux disques. Il est invisible pour l'utilisateur.
En cas de plantage de l'OS je ne sais pas trop comment ça se passe au niveau de la re-instabilité, faudrait aller demandé sur le topic ou site Syno (puisque c'est pareil au final), dans tous les cas, les données sont récupérable en utilisant un live-cd ou PC sous linux, comme on le ferait pour un NAS avec un OS linux+mdadm.

Fais le test dans une VM.

D'accord je vois. Du coup en temps normal avec un Synology si les disques sont déjà totalement partitionnés avant leur mise en place (en EXT4 et RAID5 par ex) l'OS parvient à trouver une place pour son mirroring ?
Bonne idée la VM, je vais essayer ça

Non, il va tout repartitionner et formater, c'est pas fait pour mettre des disques non vierges.

D'accord, pas très flexible dans ce cas.
Sinon impossible de faire une VM avec un XPEnology vierge, l'assistant refuse l'installation via l'accès par pont sur la carte Wifi et je n'ai pas les moyens techniques de me brancher en Ethernet. Je vais tenter sur une VM déjà configurée de l'OS chopée sur un tuto.
En parallèle je vais virtualiser FreeNAS et OVM pour pouvoir comparer au mieux.

Il faut modifier la mac address pour qu''il la reconnaisse comme une synology, non?

 
https://www.crashplan.com/consumer/restore-kit.vtl probleme resolu... Enfin si tu habites aux us

Bonjour,
 
Je poste aujourd'hui une petite requète d'aide pour monter un nouveau serveur/NAS perso, mais basé sur du matériel pro.
J'espère que certains d'entre vous auront la patience de me lire jusqu'au bout.
 
 
État des lieux
 
J'utilise depuis 5 ans ce serveur/NAS mais il commence à atteindre ses limites : je ne peux pas faire de paravirtualisation et suis donc cantonné à de la virtualisation complète (via VirtualBox dans mon cas), j'ai un projet perso réclamant de faire du transcodage vidéo à la volé dans une machine virtuelle et je suis bien trop limite niveau ressources CPU, j'atteinds les limites de mon RAID-Z avec 86% d'utilisation à ce jour et les performances commencent à se déteriorer, les disques ont maintenant plus de 3 ans de fonctionnement h24 au compteur.
 
Je déménage dans le comté de Los Angeles (aux US donc) début 2014, et j'ai prévu de remplacer mon serveur actuel courant de l'année avec un budget conséquent. Ceux qui suivent ce topic depuis le début (et d'autres topic précédents sur le même sujet) savent que je suis toujours sérieux sur mes projets.
 
Ce serveur devra répondre à ce court cahier des charges :
- Fonctionnalité principale : NAS et intégrité des données sur le long terme.
- Mes PC ne possèdent qu'un SSD pour le système, tout mon /home est monté directement depuis le NAS en ethernet gigabit (donc il me faut des débits en lecture/écriture qui saturent le réseau, même sur petits fichiers).
- Paravirtualisation : ESX/Xen/KVM, au moins une machine Solaris ou IllumOS, trois machines GNU/Linux et une machine Windows (amené à augmenter au fil des ans).
- Durée de vie minimale : 6 ans (sauf les disques durs qui seront remplacés au bout de 3 ans).
- Machine la plus silencieuse possible, même si il est fort probable que le serveur soit dans une pièce dédiée.
 
 
Matériel prévu
 
- Boitier : Caselabs SMH10
- Rack 3.5" : 4x Icy Dock MB155SP-B
- Rack 2.5" : Icy Dock MB996SP-6SB
- Alimentation : Enermax EMA2V4550
- Disque dur (data) : 20x Western Digital Red WD30EFRX (probablement que 10 pour commencer)
- SSD (OS) : 2x OCZ Deneva 2C 120Go D2CSTK251M3T-0120
- SSD (cache) : 2x OCZ Deneva 2C 240Go D2CSTK251M3T-0240
- SSD (log) : 2x OCZ Deneva 2R 100Go D2RSTK251E19-0100
- Carte mère : ?
- Carte contrôleur SATA : ?
- Processeur : ?
- RAM : ?
- Refroidissement et câblage : je verrai plus tard
 
 
Explication
 
Je me retrouve aujourd'hui avec plus de 8To de données, soit 86% d'utilisation de mon NAS actuel (8x 1.5To en RAID-Z). A la vue de l'augmentation exponentielle de l'utilisation de mon espace de stockage, je préfère voir large pour être tranquille les prochaines années.
 
Donc un maximum de 20 disques durs 3To (voir 4To) destinés à un fonctionnement h24, avec deux pools de 10 disques en RAID-Z2 (8 disques utiles par pool pour avoir des blocks de 16Ko et coller avec les 4Ko des secteurs de disques).
 
Deux SSD pro 120Go en RAID-1 (le seul RAID matériel du serveur) pour installer l'hyperviseur et les machines virtuelles.
 
Deux SSD pro 240Go en mirror cache ZFS (L2ARC).
 
Deux SSD pro 100Go avec protection contre les coupures de courant (capacitance power back-up) qui seront utilisés en mirror log ZFS (ZIL) avec une unique partition de 8Go sur chaque : taille maximum nécessaire, l'espace non utilisé permettra au wear leveling de les faire durer longtemps (jusqu'à 16Po de données peuvent transiter sur ces disques d'après la doc officielle).
 
Une alimentation redondante 550W, dont 490W en rail unique sur le 12V ce qui devrait être suffisant même pour le pic d'intensité au démarrage des disques durs. Conçue pour fonctionner en h24 avec un hot-swap en cas de défaillance d'un des deux modules. A prévoir un onduleur par dessus pour avoir un courant propre et une extinction clean lors des pannes de courants.
 
Un boitier asser haut de gamme et plutôt grand (654x675x286mm) de 13 emplacements 5.25" pour y mettres les 5 racks hot-swap en façade (20 disques 3.5" + 6 SSD 2.5" ) avec pour chaque disque/SSD une LED de présence/utilisation/failure individuelles. Le boitier est fait d'alu plutôt épais (2.3mm pour la structure et 1.6mm pour les panneaux) qui devrait le rendre plutôt silencieux.
Il dispose également de beaucoup d'espace interne pour la carte mère et la/les carte(s) contrôleur(s) SATA.
Et non je ne souhaite pas de boitier rackable (exit le Norco 4U RPC-4020...)
 
 
Requète
 
Il me manque la carte mère, la/les carte(s) contrôleur(s) SATA 6Gbps, le processeur et la RAM.
Du matériel plutôt orienté pro, destiné à fonctionner en h24 pendant les 6 prochaines années au minimum, qui me permettra de faire de la paravirtualisation et du transcodage vidéo en plus de mes deux RAID-Z2.
Il me faut :
- Contrôler 24 disques/SSD en SATA 6Gbps sans saturation + pouvoir faire un RAID-1 matériel sur deux SSD en SATA 6Gbps.
- Des chipsets compatibles Solaris ou IllumOS (pour l'utilisation de ZFS, je ne souhaite pas retourner sous FreeBSD, ni rester sous ZFS-on-linux).
- Le plus de RAM possible (ZFS et paravirtualisation inside).
- Un CPU suffisament costaud pour faire tourner le tout pour les prochaines années.
- La carte mère devra rentrer dans le boitier (ce ne devrait pas poser problème).
- Il me faut deux interfaces réseaux gigabit.
- Le support de l'IPMI.
- Circuit vidéo basique et pas d'audio nécessaire.
 
J'aimerais ne pas dépasser les $3000 pour ces 4 éléments manquants, et n'étant plus vraiment au fait de ce qui se fait au niveau hardware pro ces dernières années, je me tourne vers vous.
 
Merci par avance pour vos proposition et votre aide.

Jette un coup d'oeil sur le matériel Supermicro, un chipset pour Ivy Bridge devrait faire tout cela (dont le support de la RAM ECC).

Pour le contrôleur de disque, je n'ai pas trop de connaissances là dedans, mais ce sera sans doute le plus cher.

Perso pour une infra comme ça, je séparerai la partie virtu de la partie SAN (comme j'ai sur mon petit labo de test). Ça te permet d'être beaucoup plus souple pour la parte « exécution » (CPU/RAM) de tes VM, avec ton SAN en iSCSI derrière (Nexenta community par exemple)

Tiens, d'ailleurs, pour la liaison entre SAN et partie exécution, quelle techno privilégier?

Oui, ça me semblait tellement logique que je n'ai même pas pensé à préciser RAM ECC.
 
J'ai regardé du côté des produits Supermicro, Tyan, Intel, etc. mais il y a plein d'architectures, chipset, sockets ,etc. différents que j'ai du mal à m'y retrouver.
 

Donc tu partirais sur deux serveurs séparés ?
 
L'idée m'avait effectivement traversé l'esprit :
- Un serveur fonctionnant en NAS/SAN avec seulement un Solaris/IllumOS dessus et gérant les partages réseaux.
- Un serveur permettant la paravirtualisation et utilisant l'iSCSI fournis par le SAN pour tout ce qui est espace disque.
Mais là ça commence à faire beaucoup niveau encombrement...
 
 
Aujourd'hui, la solution la plus envisageable pour moi, est un OS IllumOS + KVM (par exemple SmartOS) qui se chargera des montages ZFS et de l'hyperviseur KVM, puis mettre tout le reste (GNU/Linux et Windows) en machine virtuelles.

L'avantage, c'est que tu peux faire évoluer les deux indépendamment.
 
J'ai regardé pour ma part une Supermicro X10SL7-F pour la partie stockage:
http://www.servethehome.com/Server [...] 3-1200-v3/
 
Ca pourrait te convenir. Avec un Xeon E3 dessus, il y a de quoi s'amuser, sans consommer trop (32Go de RAM maxi, ca devrait aller pour ZFS). Il y a un chipset LSI dessus qui peut être flashé en IT d'après ce que j'ai vu. En rajouter un ou deux HBA, ca va.
 
Pour la partie virtualisation pure, puissance et RAM au taquet, avec un Xeon E5, voire double Xeon E5, mais ca commence à douiller.

Moi je t'orienterais sur du socket 2011 avec des Xeon :
support du quad channel,
+ de 32Go de RAM (max sur Ivy-bridge std en socket 1155) (ECC evidement)
40 lignes pci-express
on peut depasser la limite des 4 cores physiques du Ivy-bridge classique aussi.
Memoire cache qui grimpe egalement.
Pas de gpu non plus (puisque c'est pas ta priorité).

Par contre attention, selon le modele, ça grimpe tres vite coté prix.

edit : ah oui, moi c'etait dans l'optique ou tu gardais qu'une seule machine, m'enfin si tu separes le stockage (c'est ce qu'on fait en entreprise en general), pour la partie calcul, les Xeon E5 reste de mise si tu as besoin d'en avoir bcp sous le capot.

 
iSCSI : meilleur rapport qualité/prix. Bien sûr, lien dédié.
 

 
Moi je ferai comme ça que je trouve ça plus simple à maintenir au final (et à faire évoluer). De toute façon avec ZFS tu gâchera pas de RAM du côté du SAN. Après à toi d'ajuster ton « nœud » de virtu à tes besoins sans te soucier du stockage. Et puis si un jour (plus tard) tu décides de changer de techno avec du matos de stockage différent, bah... rien à toucher côté virtu (et vice-versa !).

apres question maintenance, ça fait 2 machines a surveilleraussi.
 
et si on suit tes preco, ça fait aussi 2 machines en double alim, un onduleur encaissant les 2 UCs. donc c'est plus les memes demandes.

 
Mais iSCSI over quoi?
 
Ethernet? 10GbE? FC?

Je ferai un SAN solide (double alim) et des nœuds d'exécution plus « cheap » (matos grand public quoi)

Ethernet. Un lien giga c'est déjà très potable pour du home made.

edit : sans compter qu'on peut agréger si vraiment nécessaire.

Merci.

Je ne connaissais pas SmartOS mais je le trouve intéressant.
 
Pour l'instant mon serveur tourne avec esxi 5 et je prévois une machine virtuelle avec Nas4Free pour la partie NAS/ZFS.
 
Est-ce que SmartOS permet de remplacer ces deux système, donc virtualisation et NAS/ZFS dans un seul OS ? Quelles avantages par rapport à ma solution ?

 
Passer sur un SAN et une machine de virtualisation séparée est certes plus souple, mais c'est pas vraiment ce que je recherche. J'y avais déjà pensé avant de présenter ce projet ici.
Je pense rester sur une seule machine avec un hôte SmartOS (hyperviseur KVM + ZFS), après tout ça reste une solution pour un usage privé @home.
Le jour où j'en aurai besoin comme gagne pain, je verrai pour autre chose.
 
Vous semblez tous d'accord pour une architecture Intel. Je vais probablement m'orienter vers une carte mère socket 2011, mono CPU, ça devrait être suffisant pour mon utilisation.
 
Par exemple :
- Gigabyte GA-6PXSV4 (pas fixé, mais elle semble correspondre aux besoins et même un peu plus avec 4 interfaces réseaux)
- Intel Xeon E5-2650 (2 GHz)
- Une ou deux cartes contrôleurs non RAID PCIe pour les SATA 6Gbps (faut que je trouve une liste de compatibilité avec IllumOS)
- 32 ou 64 Go de DDR3 ECC
 
Si vous avez d'autres pistes, n’hésitez pas.
 
 

SmartOS est un hyperviseur KVM basé sur IllumOS au lieux de GNU/Linux (donc avec les spécificités Solaris/IllumOS : ZFS, Zones, DTraces, etc.)
 
Par contre, il n'y a pas grand chose d'autres dessus : pas de NFS, pas de SMB, etc. (quoi que j'ai trouvé un tuto pour installer Samba).
Mais du coup, autant gérer ses pools de stockage ZFS sur SmartOS, et faire une machine KVM GNU/Linux accédant à ces pools de stockage qui elle se chargera de gérer le NAS (NFS, SMB, etc.)

Carte SAS : IBM M1015 flashée en LSI

hum.
pour des HDDs le SATA 2 / SAS 3Gbps, suffisent.

Jolie trouvaille, ce que propose la marque est intéressant et moins cher que Icy Box.

Pas de Passthrough? (VT-d?)

Le CPU indique : Virtualisation Intel VT-x/Intel VT-d
 
A moins qu'il faille une compatibilité spécifique sur la carte mère ? Une fois de plus, le hardware est loin d'être mon point fort...
 
[EDIT] Chipset Intel C604 utilisé dans cette carte mère :

OK.
 
C'était plus pour te demander si tu en aurais besoin ou non.

* Utiliser du backup incrémental
* Bien sélectionner ce qui vaut vraiment le coup d'être backupé (= créations persos). Généralement, ça fait pas 10To
 

La RAM ECC n'est pas une condition nécessaire pour ZFS. C'est bien sûr mieux si on est parano et qu'on tient vraiment à ses données, mais c'est clairement pas nécessaire.
 
En gros ZFS est toujours le meilleur choix, RAM ECC ou pas.
 

 
Je plussoie.

 
Oui il faut que la carte mère soit compatible, et le pb c'est que beaucoup de fabricants ont une implémentation qui ne marche pas ou presque. Supermicro est une valeur sûre, mais le mieux c'est de trouver un retour d'expérience d'un mec ayant vraiment passé une carte sur sa VM.  
Et ça varie aussi en fonction de la carte que tu veux passer...

Si la gestion ZFS se fait depuis l'hyperviseur, le VT-d n'est effectivement plus nécessaire pour les contrôleurs SATA. Par contre ça permettrait aux machines virtuelles d'accéder directement aux chipsets réseaux, ou à un contrôleur graphique si je veux un jour refaire du GPGPU... Mais ça ne me semble pas obligatoire à première vue avec mes besoins actuels.

J'ai cherché en priorité du côté de Supermicro ou Tyan, et en mono CPU j'ai pas trouvé grand chose d’intéressant en fait (ou en tout cas moins intéressant que cette mobo), mais je vais voir si il n'y a pas des retours d'utilisateurs.

La carte mère est compatible VT-d d'après le manuel d'utilisation, après est-ce que ça fonctionne correctement derrière... je ne sais pas.

[EDIT]
Pour ceux qui sont intéressé par SmartOS : SmartOS – My journey et Deploying SmartOS in a home environment.

Et sur des OS orientés NAS seul FreeNAS supporte ZFS correctement ?
J'ai testé en virtualisation FreeNAS et OpenMediaVault. OVM possède une interface assez simple. Quelques options restent néanmoins peu compréhensibles à mon niveau. FreeNAS semble une usine à gaz au niveau de l'interface à côté et les paramétrages sont encore plus obscures.
Dans les deux cas cela m'incite encore à me tourner vers XPEnology. Dommage que je ne puisse pas le configurer, à moins de faire illusion en passant l'interface Wifi pour de l'Ethernet aux yeux du Syno Assistant mais je doute que cela soit possible et je ne suis même pas certain que le problème vienne de là.

 
Ca permet quand même de passer directement le/les contrôleurs de disques à la machine virtuelle qui s'occupe du ZFS, ce n'est pas négligeable.

Si je pars sur une solution SmartOS, c'est l'hyperviseur qui s'occupera également du ZFS, pas une machine virtuelle.
 
Et d'ailleurs avec cette solution, je n'ai plus besoin des SSD pour l'OS : SmartOS est à mettre sur une clef USB bootable, et est chargé entièrement en RAM-disk lors du démarrage.

OK. Je n'avais pas vu le coup de SmartOS. Désolé.

Je suis tombé sur cette page qui liste des chipset SAS/SATA (non-RAID ou avec passthrough) compatibles avec Solaris notamment.
En effet, l'IBM M1015, basée sur la LSI 9211-8i, utilise un chipset LSI SAS2008 qui est compatible Solaris et IllumOS.
Je verrai donc pour trouver une (des) carte(s) utilisant ce chipset.