Reprise du message précédent :

 
pour synchroniser 2 dossiers, vous gérez comment svp ?
 
J'ai des documents sur un PC portable (Windows 10) que je souhaite sauvegarder sur mon NAS partagé en SMB.
 
Ultra basique je suppose mais c'est la jungle des logiciels alors j'aime autant vous poser la question...

Sous windows, j'utilises synchronizer : http://neofreeware.free.fr/freewar [...] onizer.htm
 
Efficace, simple et rapide

"Sous windows, j'utilises" Robocopy
 
"Efficace, simple, rapide" et que l'on peut scripter !
dsl pour la reprise  

Je fais avec syncback pour ma part.
Avant j utilisais owncloud mais il faisait que bugger a cause de tous mes isos.

Je vais tester ça, merci  

Merci encore une fois pour les réponses.
 
Je souhaite effectivement continuer sur Freenas et donc ZFS comme système de fichier.
J'ai en production un NAS depuis 9 ans sous Freenas ZFS sans RAM ECC et je n'ai jamais eu de probleme particulier.
Il faut dire que les écritures sur les disques sont peu fréquentes.
 
En tout cas grâce a vos conseils et réponses, j'ai pu orienter mon choix et j'ai pu trouver le matériel suivant :
Boitier : Fractal Node 304 ( + pour le format compact parfait pour ma baie de brassage et 6 baies 3.5" disponibles, - alimentation format ATX obligatoire)
Alimentation : BeQuiet! Pure Power 11 300W (BN290) (80+ Bronze parfois écrite Gold, même sur le site officiel c'est pas clair...)
CM : Asrock H370M-ITX/ac (Mini-ITX forcement, 2 Gigabit LAN, 6 SATA, compatible CoffeeLake pour un prix largement inférieur à la ASUS ou la SuperMicro présenté plus haut)
Proc : Celeron G4900 (54W, compatible avec l’accélération matériel pour le transcoding Plex Pass, pour des questions de budget mais la CM me permettra, si besoin, plus tard, de passer à du i3 voir plus)
Ram : 1x16Go DDR4 2400 (me permettra d'en rajouter une deuxième pour passer à 32Go plus tard également)
 
Pour un total de 423€ (prix Amazon)
 
Est-ce que mes choix matériel vous semble cohérent?

Tu veux gérer quel volume de données ? Car 16 Go va vite être limitant en function des Jails et VM utilisés, non ?
 
D'ailleurs, ne vaut-il pas mieux 2 barrettes car Dual Channel ? (Je reste dans le référentiel DDR3, peut-être, est-ce différent avec la DDR4)

Hello
 
J'ai actuellement du matos divers dans ma baie réseau, notamment :
- un raspberry pi pour le gros de ma domotique
- un orange pi pour pi-hole
- un pc à base de mini-itx + processeur Atom intégré, sous windows pour le tout venant H24, c'est à dire
  * du stockage de données sur disque dur (photos, musique, backups...)
  * du partage de musique (upnp/dlna)
  * un serveur web pour le développement (WAMP)
  * une petite partie de ma domotique, notamment tout ce qui est interface (php/html perso pour synthétiser) + stockage à long terme (dans une bdd mysql) + tâches planifiées
   * ça me fait une machine windows accessible en bureau à distance depuis n'importe où pour faire du boulot d'administration si besoin (je suis freelance, j'ai des applis critiques pour mes clients, si je suis en week-end avec juste un ipad ou le pc de beau-papa sous la main je peux RDP cette machine windows et retrouver une interface de développement avec tout sous la main (éditeur, client ftp, ...)
 
là je commence à me heurter à quelques soucis, par exemple de différence de plateforme entre le dev (wamp) et la prod (Ubuntu en général), ça fait aussi pas mal de petites machines dans leur coin et je me vois mal rajouter encore un mini pc pour me faire un serveur de développement sous linux, du coup l'idée de me faire une machine un peu plus costaud pour me faire un NAS/serveur à tout faire via de la virtualisation me trotte dans la tête... mais j'ai un peu de mal à voir quel matos envisager.
En gros j'ai un rack 2u (prévu pour de l'audio donc assez court) et je peux y caser une carte mère mini-itx. Ma soluce actuelle à base d'atom J1900 est géniale dans le sens où l'alim c'est une brique de pc portable (donc hors rack) mais visiblement il n'y a rien sur le même principe avec un processeur nettement plus performant
Je regardais un peu le mini itx actuel, genre avec un i5-8400, mais faut une alim "normale" (je peux prendre une flex-atx et la désosser pour la faire rentrer dans le rack et la refroidir sans ventilo de 4cm !)... en tout cas les prix s'envolent vite.
 
Après mes questions sont plus sur l'aspect virtualisation, je pense à proxmox par exemple :
- est-ce que je peux imaginer une VM Windows et conserver un disque dur NTFS complet, protégé par bitlocker et attribué à cette VM ?
En gros actuellement j'ai un simple disque de 8To en guise de NAS, j'aimerai ne pas toucher à son contenu et pouvoir le donner à la VM à manger tel quel, c'est possible ? Mon idée derrière c'est que ce disque, en cas de pépin quelconque j'ai son jumeau dans un boitier USB et je fais une synchro de temps en temps (le raid 1/sauvegarde du pauvre). J'aimerai bien garder ce principe, histoire de pouvoir soit monter le disque dans n'importe quel PC en cas de crash du serveur et à l'envers, monter le disque USB direct dans le serveur en cas de crash du disque qui est dans le serveur.
- pour les VM, je pensais tout mettre sur un SSD que j'ai déjà (500go) on peut créer des vm sur des bouts de SSD ? il faut le partitionner physiquement où alors il est attribué à proxmox et on dit juste combien on donne à la VM, avec la possibilité de faire évoluer ça ?

NTFS a la VM Windows > oui
SSD pour les vms pas besoin de faire x partition, tu laisses le SSD complet a proxmox ensuite tu attribues ce dont tu as besoin. Tu peux bien entendu agrandir ce dont tu attribue plus tard a ta vm

Il y a un topic proxmox sinon

ok, super, merci.
 
- Sinon en terme de carte réseaux, une seule est suffisante où ça devient vite risqué si on veut par exemple utiliser pas mal de services sur les mêmes ports (genre 4 vm ayant chaque un serveur web sur le 80/443) ?
 
- Pour les périphériques USB, le concept global c'est plutôt que ça se partage sans souci ou plutôt qu'on attribue 1 périph à 1 vm ?
 
- Si je fais un raid 1 de ssd pour les VM, c'est proxmox qui le gère ou alors il faut que je file 2 "partitions" à la VM et que je fasse le raid dans la VM ? (hum je sens qu'en fait c'est le topic proxmox qu'il faut que je vise avec toutes mes questions )
 
Bon alors plus terre à terre, vous choisiriez quoi comme carte mère mini-itx pour un i5-8400 (ou truc du genre type i5 4 ou 6 coeurs) sachant que je n'ai pas de gros besoins en terme de sata (idéalement 4), idéalement 2 nvme M.2 (mais 1 serait déjà pas mal) et un ou deux pcie pour le futur (carte réseau 10gb, carte graphique si un jour l'engin est réutilisé dans un autre contexte...
un processeur du type i7-8550u aussi ça serait pas mal... mais j'ai du mal à trouver le combo carte mini-itx et processeur. Ca existe en NUC, mais le boitier ne m'arrange pas (pas prévu pour intégrer un disque 3.5" sata... et je ne me vois pas trop le mettre en externe en usb (perfs pourries)).

C'est clairement dans le topic Proxmox que tu peux aller
 
Par contre t'es même pas obligé de viser très haut pour le CPU, on fait tourner facilement quelques VMs même avec un Pentium ou un i3.
Carte réseau c'est pas vraiment utile de doubler (sur la prod au boulot, on doit avoir une dizaine de VMs par NIC d'1Go (et on fait tourner des usines ..)
 
Les CM en mini-itx pour du Intel, il faut surtout faire gaffe à ce que tu veux comme porte (les moins cher ont que 2x SATA par exemple) et la compatibilité avec le processeur que tu vises (certains chipset pour 8e génération n'accepte pas les CPU de 7e génération)
 
Après je dis ça pour du homelab, mais finalement ça dépend de ce que tu héberges pour tes clients, si il sont plusieurs centaines c'est pas la même tambouille

1)  Je dirais que ça dépend des services que tu héberges sur ton proxmox, si c'est que des serveurs web, tu va avoir du mal à saturer le gb/s de la carte réseau, si tu héberges des serveurs de fichier pour du local par exemple, tu va vite être à la ramasse niveau débit. Chez moi j'ai 4 cartes réseau sur mon serveur, 1 pour proxmox-LAMP-zoneminder, 1 pour plex, 1 pour omv, et la dernière pour tout le reste (ntp, pi-hole, asterisk, w7..)

2) Il vaut mieux un périphérique usb pour une seule vm. Je suis même pas sur que proxmox autorise l'ajout d'un périph à plusieurs vms..
edit : proxmox refuse de l'ajouter à plusieurs vms.

3) soit tu gère ton raid via proxmox, ou alors tu fais un passthrough des hdd à la vm et tu gères ton raid dans celle-ci (l'avantage de la deuxième solution, c'est que si un jour tu veux mettre le système de la vm sur un vrai pc tu peux sans soucis, les hdd et le raid seront reconnus de suite par ton système)

edit : le topic proxmox : https://forum.hardware.fr/forum2.ph [...] w=0&nojs=0

Merci de ces retours, c'est surtout pour avoir des avis d'utilisation "réelle" plus que pour savoir exactement comment configurer (d'où mes questions ici) mais c'est vrai que ça a globalement + sa place sur le topic proxmox
 
Je prends note pour les NIC. Donc en partant du principe 1 carte pour la VM "NAS" (probablement 10GBe si non intégré à la CM) et 1 pour tout le reste c'est pas délirant.
 
Pour la CM, je visais du 8è gen pour l'aspect conso et pérennité. Le i5-8400 me fait de l'oeil pour l'aspect 6 cores, mais un i3-8100 (4 coeurs) ça doit être très bien aussi pour quasi moitié prix... et avec plus de 8000 de score passmark c'est déjà 4 fois mieux que mon atom actuel.

Par contre ton nouveau server Proxmox ne va pas résoudre ton problème de différence entre le dev et la prod.  
Tu devrais regarder l'intégration continu, un petit gitlab avec un gitlab runner et des containers docker ça sera un bon début.  

Moi j'ai mis en place Syncthing coté NAS et coté machine (PC fixe avec tout le dossier, PC portable avec qu'une partie du contenu). Ca me permet d'être toujours synchro dans les 2 sens et de gérer les conflits.

Le volume sera 4*3To comme précisé plus tôt, du coup 16Go suffiront pour démarrer.
 
Et j'ai choisi 1*16 et non 2*8 pour justement pouvoir passer à 2*16, en ajoutant simplement une barrette plus tard, sans me retrouver avec 2*8 sur les bras...

C'est pas idiot mais à voir le terme auquel tu comptes ajouter la 2e et le niveau de dispo dont tu as besoin parce qu'une seule barrette si elle crame t'es baisé

C'est pas tous les jours que tu crames une barrette, au pire en 2-3 jours t'es livré à domicile et c'est reparti, c'est pas un système bancaire, ça peut se permettre un peu de downtime

Ah ben ça dépend de ce qu'il fait avec si il bosse sur des photos ou vidéos en masse par exemple 2-3j de down ça doit être galère... si c'est des films de vacances on est bien d'accord

Édit : j'avais rate le message d'origine du coup y'a que pour les synchrone des PC où ça fait un peu chier mais quelques jours ça doit pas être critique en effet

C'est juste, il dit "J'ai en production un NAS depuis 9 ans" donc ça peut être pour un usage pro

EDIT : ah non c'est pour la maison le nouveau Bref, l'idée est là, à lui de faire le choix 1x16, 2x8, ou direct 2x16

Certes

Et les RAM DDR3/4 sont plus fiables que ne l'étaient les DDR2

 
Déjà si en dev j'ai une VM ubuntu ou debian comme ma prod ça serait une belle avancée. Là je me tape systématiquement la double peine : galères pour faire marcher certains trucs sous windows (genre les extensions exotiques PHP)... et après rebelote en prod sous linux... sans compter les trucs qui marchent différemment entre les 2 (dossiers, droits d'accès des fichiers, serveur de mail...).

 
Si tu es dev, regarde Ansible c'est assez abordable, tu aura un playbook avec la configuration nécessaire à ton application, quand tu fais un test, tu installe une VM "vide" puis ansible pour la conf. Tu sera certains que ça fonctionne à chaque fois à partir d'une VM "vide". Pratique si un jour tu veux mettre en production ton application dans le cloud ou chez un client.

Si ce que tu développe c'est principalement du web ou des applis qui tourneront sur un serveur linux pourquoi tu ne passerais tout simplement pas sous linux sur ta machine de dev ?

parce que j'ai besoin (un vrai) de Windows pour d'autres applis (tout ce qui touche à la photo/design).
 
L'autre approche c'est que je laisse mon serveur en l'état et que je complète par une autre petite machine (plus basique, genre un nuc ou nuc like chinois) que je passe sous linux pour en faire un serveur web.
 
Ce qui me dérange un peu dans cette approche c'est que ça rajoute encore des points de risques de pannes, des trucs à mettre à jour, ...

Pourquoi ne pas passer sur un serveur dans le cloud, style AWS ?

Un hyperviseur a du sens, une vm Windows, une vm buntu.

 
Si tu as pleins de petites machines, un cluster k8s  tu sera au top niveau résilience. Mettre tous ses œufs dans le même panier c’est pas top. Comme c’est du pro, que fera tu si ton nouveau serveur est planté.
 
Sinon j’ai pas l’impression que tu as beaucoup de besoin, ta machine Windows pour bosser avec une VM virtual box en local pour le dev. Et une VM dans le cloud pour la prod.

Clairement.

Merci pour vos remarques, j'ai beaucoup de mal justement à trouver l'équilibre dans tout ça.
 
Avoir pas mal de choses en local c'est pratique, genre éditer ses fichiers php directement sur son ordi via un partage samba (ou équiv) tout bête c'est pratique.
Avoir un serveur web qui tourne h24 pour de la domotique et divers trucs auto hébergés... mais qui sert aussi pour le développement.
 
J'ai déjà quelques dédiés chez ovh pour la prod + 1 pour le "backup" de la prod et diverses bricoles (nextcloud, seafile, ...) donc j'ai déjà de quoi faire "à distance". Ce même serveur sert parfois pour du dev si besoin... mais ça reste moins pratique/confortable pour travailler (envoyer par ftp ou git push/pull chaque modif pour tester c'est hyper pénible).
 
Sur la multiplication des machines locales et 1 serveur de VM je suis totalement d'accord :  
- plein de machines = pénible à maintenir à jour et on multiplie les risques de panne même si les conséquences sont moindres
- 1 seule machine pleine de VM : tous les œufs dans le même panier, t'as l'alim ou le ssd principal qui pète, tout est par terre pendant plusieurs jours (je dépend de la VPC pour le ravitaillement)
Comme on est avant tout sur du homemade/perso, ça n'a pas de sens d'avoir un cluster et de la redondance à tous les étages. Comme je le disais au départ, je préfère avoir 2 disques de 8To séparés avec un mirror de l'un vers l'autre régulièrement (qui m'apporte une sauvegarde au passage) plutôt qu'un raid 1 où la moindre bêtise sur un disque est appliquée sur l'autre.
 
C'est vraiment pas évident. D'un côté j'ai l'impression déjà qu'avec ma machine à tout faire (nas sous windows en gros) je fais des petits bouts de trucs n'importe comment, et de l'autre je ne me vois pas investir 3k€ pour installer une archi "propre idéale" avec un nas d'un côté, un cluster de serveur de VM...

Bon, après 82433 heures (presque 10 ans) de fonctionnement, un de mes 3 disques de 1 To WD Green de ma grappe raidz a des secteurs défectueux (repérés lors du scrub mensuel).
Upgrade en cours vers 3*3 To WD Red, on va voir si ça tient aussi longtemps...
 
Par ailleurs, c'est assez pénible à upgrader avec seulement 4 ports SATA dispos (j'en ai profité pour refaire un pool avec ashift=12)

Pas mal 10 ans !

 pfff ya quedale en boitier nas en ce moment pas trop cher
capable d’accueillir de 2 a 4 disques avec une ptite alim intégré

 
 
https://www.amazon.fr/Eolize-SVD-NC [...] B005EHRNX6

[Cross Topic Open Media Vault, le topic des utilisateurs]
 
Je viens partager ma peine ici parmi vous, sait-on jamais si l'un d'entre vous a une idée :
 
B'soir tout l'monde, je reviens sur mon problème de débit vers mon OMV4.
Je n'arrive toujours pas à décoller, j'sais vraiment pas pourquoi...
 
Mon install est faite avec une CM ASRock J4105 qui gère le Gbps, et j'ai 4 HDD sous snapraid.
 
Via FTP :

• Quand j'uploade un fichier vers OMV, je tourne péniblement aux alentours de 28 Mo/sec
• Quand je downloade ce même fichier depuis OMV, je monte en pointe à 100 Mo/sec, en moyenne à 80 Mo/sec.

Via partage Samba :

• Quand j'uploade un fichier vers OMV, ~70 Mo/sec stabes
• Quand je downloade depuis OMV, ~50 Mo/sec avec de très fortes variations

Via iperf :

• Dans un sens comme dans l'autre, je sature le lien Gbps, ce qui démontre que la partie LAN est OK de bout en bout

Tests disque dur en local OMV :

• ~150 Mo/sec en lecture
• ~130 Mo/sec en écriture

 
Le kernel et OMV sont à jour.
Vers quelle piste pourrais-je me tourner pour améliorer la situation ?

Fine-tuning samba, fine-tuning FTP  
J'avais eu besoin de régler un truc sur OMV2 pour que les transferts SMB se mettent à avancer correctement, une taille de bloc ou je sais plus quoi.  
 
Et vérifie que pendant que tu fais un transfert qui rame, il n'y a pas un core de ton CPU qui est à 100%. J'ai eu le cas avec un rsync via SSH qui plafonnait à quelques Mo/s à cause du chiffrement. Le même rsync sans chiffrement, en montant le dossier distant localement via NFS, et je tapais les 110Mo/s constants.  
 

Dans tous les cas de figure, j'ai un coeur sur les 4 qui est à 100%
Aucun transfert n'est crypté.

Essaie d'augmenter la taille des paquets, ou le nombre de paquets envoyés par "transaction", pour augmenter le débit en réduisant l'interaction avec le CPU ?

J'ai activé le jumbo frames à 9014 sur la carte réseau de mon PC Windows, j'ai augmenté la MTU à 9014 sous OMV.
=> aucun changement flagrant
 
J'ai fait un peu de tuning côté Samba et Proftpd en suivant qq tuto => idem pas de révolution...
 
C'est relou, sous freenas j'avais pas ces soucis