Reprise du message précédent :
Un Raspi peut assurer le rôle de "quorum", pas forcement besoin d'un 3ème hosts Proxmox pour de la HA

Moi j'ai même pas voulu séparer la partie NAS de la partie serveur "demandant de la puissance' car j'ai fait mon radin.
Un seul serveur qui fait tout et pis c'est tout. Tant pis pour le SPOF.
Rien que le prix de la RAM et des disques durs, ça fait déjà exploser le budget.
J'ai pris une carte mère industrielle (supermicro), un bon SSD et allumé un cierge à l'église.
Pour l'instant tout va bien...

 
par contre si tu as des dongles zigbee/zwave/autre sur ta machine, soit faut avoir des clones, soit faut les brancher manuellement sur la bécane de backup

D'où l'utilité de coordinateur sur IP

C'était mon scénario à un moment donné, vers le mois de mai l'année dernière
Mais ça veut dire que tu es en ZFS avec réplication asynchrone, donc pas du vrai HA avec réplication synchrone.
Il n'y a que CEPH qui permet ça, et là c'est 3 nœuds mini.
Après on peut toujours faire tourner CEPH sur 2 noeuds en modifiant les replicats, mais investir pour monter un truc bancale c'était pas mon projet.

Je considère que CEPH est beaucoup trop "contraignant" pour un usage domestique ...  
Et faut vraiment une infra spécialisé pour en profiter !

 
Moi je t'encourage dans ta démarche.
Je dépanne beaucoup de monde dans mon entourage, mais je limite, car c'est très chronophage.
Aujourd'hui tout le monde accepter de payer 1000€ pour une matinée de main d'oeuvre du plombier, mais 600 pour 1 journée de travail d'un informaticien, c'est insuportable.

Evidemment difficile de dire si le marché existe mais ça tu seras le seul à le découvrir.
Si je peux suggérer une autre idée de business, c'est la configuration de home cinema.
Le forum hcfr est blindé de mecs qui revendent des appareils à 25k€ car ils n'arrivent pas à activer le dolby vision
^^

Bon j'ai de nouveau une idée a la con, je m'interesse aux voitures electriques
Je me pose donc la question d'une borne mais qui pourrait s'interfacer avec HA et surtout pouvoir profiter de mes panneaux solaires, y'a de l'experience ici ?    

J'ai codé un bot sur un Raspi qui interroge ma borne Häger Witty one via le bluetooth et poste les data dans mon broker Mosquitto, c'est assez facile si on aime mettre les mains dans le cambouis    
 
Je me suis inspiré de cette intégration HA.

Interessant, mais j'avoue que j'étais plutôt parti sur une intégration plus directe via une API par exemple
Mais je note

Justement, le lien que je propose à priori c'est du plug&play, je l'ai pas testé parce que je suis sous Domoticz  

 
J'ai 3 nodes aussi.  
Avec 3 dockers / pi-hole / tailscale.
Au cas où  

Par contre effectivement mon contrôleur zigbee est USB. Donc si le node sur lequel est branché foire c'est mort

Pas faux, bon par contre visiblement pas possible de passer par le dongle bluetooth connecté déjà sur HA mais par un proxy avec esphome... donc plutôt une borne connectée en RJ45 ou au pire au wifi

J'ai pas installé une Hager aussi à cause des bidouilles nécessaires pour récupérer de la donnée dans HA.
 
J'ai installé une V2C trydan, interfacée direct dans HA, wifi (y'a 2 intégrations, une classique et une dans HACS qui donne un peu plus d'entités, j'ai mis la plus simple).

Là c'est la partie que je ne maîtrise pas puisque je ne réutilise pas vraiment son code, mais de mon côté j'utilise directement l'antenne Bluetooth de mon Raspi sans passer par un esphome et ça fonctionne très bien  

L'avantage d'un appareil accessible en IP comme ESPHome ou un coordinateur ethernet, c'est que changer de machine ne nécessite aucune reconf particulière: la ressource est toujours au même endroit.

Vous aussi vous voulez devenir VIP chez Shelly ? https://www.shelly.com/fr/pages/30m-devices
 

Clairement c'est un double oui.
Car on se retrouve avec 3 machines et des SSD pro si on veut que ça fonctionne, comme la configuration que je monte.
Donc plein d'euros et de watts.
 
Je le fais, c'est cool, mais ce n'est pas du tout ce que je recommanderais.
 

J'ai la borne anglaise OpenEVSE / EmonEVSE qui est top pour absorber le surplus solaire via MQTT, mais on se tape les taxes à l'import depuis le Brexit, c'est nul... sauf que quand je l'avais acheté, c'était la seule du marché qui permettait de la piloter en fonction du surplus solaire.
 
Aujourd'hui presque tous les fabricants d'onduleurs PV proposent leur propre borne.
 
Quand j'achèterai ma seconde borne, je prendrai la Victron, car ça s'intègrera alors nativement dans mon système.
Et le prix est plutôt compétitif.
 

   
 
Cloudflare/tailscale c'est pour l'étape d'après quand j'en serai à la config.
 
Je viens de recevoir ce midi mon second boitier, je vais pouvoir monter le 2nd noeud, qui sera alimenté en DC directement par ma batterie solaire Pylontech Sans passer par la double conversion d'une alimentation AC qui ferait perdre des watts.
 
Car dans mon délire de redondance ultime, chacun des 3 noeuds aura une source d'alimentation différente :
- le plus gros noeud, qui aura la VM TrueNAS et tous les HDD avec une alim ATX sur mon onduleur Eaton
- le second noeud avec une alim ATX en direct sur le secteur 230V (lui-même secouru par l'onduleur Victron et sa batterie)
- le troisième noeud directement en DC avec un convertisseur 48/12V depuis la batterie.
 
Puisqu'on parlait de CEPH, je serai en architecture réseau Full-Mesh pour la réplication entre les noeuds, donc chaque câble DAC 10G partira d'un noeud pour aller au suivant directement sans passer par un switch, ça élimine un SPOF, et économise des brousoufs au passage, et un peu de consommation électrique.
 
Pour ceux qui se souviennent de mon méga pavé il y a quelques mois sur mes projets bricolage/geek/énergétique, ça se met progressivement en place
Extrait :

Je serais curieux d'avoir une photo de ton rack

Merci, je regarde
 

Ah ouai t'essaies même pas de faire semblant en fait  
Après en vrai DAC 10G pour la réplication c'est un peu too much pour 1 2 3 4 5 VMs

Pour l'instant le rack n'existe pas
C'est le dernier truc que j'achèterai, car il me faudra faire quelques travaux pour l'installer à la cave, pas loin du rack déjà existant pour la batterie solaire (on ne mélange pas le DC et l'AC dans le même rack, question d'isolation galvanique)
 
ça sera un Socamont mural 18U, largement surdimensionné mais autant prévoir loin.
J'estime la durée de vie de mon cluster Proxmox à 15 ans (j'aurais plus de 60 ans d'ici là....) ce qui me parait réaliste étant donné que j'ai tenu 12 ans avec les Microserver HP G7 puis G8.
Et d'ici là, il est probable que j'aurai de nouveaux équipements à y installer donc autant avoir de la réserve de place.... au hasard, un UPS Unifi quand ils sortiront leur gamme pro avec batterie Li-Ion, peut être un NVR de chez Unifi aussi si je décide de basculer toutes mes caméras Hikvision vers du Unifi, et d'autres trucs que je ne sais pas encore prévoir aujourd'hui. Ah si je rêve d'avoir un lecteur LTO aussi, mais pour l'instant pas moyen d'en trouver un à vil prix ou tombé du camion...
 
A noter que dans le rack, il n'y aura que 2 noeuds (châssis Silverstone 4U et 2U).
Le 3ème noeud, celui qui sera alimenté en DC, sera en boitier Mini ITX dans le placard du RDC, juste au dessus de la cave (ça passe en longueur de câble DAC passif de 3m), ce qui lui permettra d'y brancher une clé USB Z-Wave/Zigbee/Thread/Whatever en vue d'y faire tourner une VM HA plus tard. Sauf si je passe par un coordinateur Ethernet...
 

Bah en fait le câble DAC c'est la solution la plus économique, la plus simple, et la plus efficace en énergie quand on creuse le sujet.
Le 10G en RJ45 est une plaie (consommation de fou), et la fibre c'est plus couteux pour aucun bénéfice (pas de problématique de longue distance dans mon projet)
 
Sinon faire tourner du CEPH avec du 1G en RJ45, non merci, j'ai pas choisi des SSD pro pour me faire brider par du giga. Je précise que le problème n'est pas tellement le débit pour un usage @ home, mais plutôt la latence, la réplication synchrone des I/O d’écriture ça ne pardonne pas. J'ai même hésité à un moment à partir sur du 25G pour le réseau mesh CEPH, mais pas trouvé de carte à vil prix.
J'ai choisi des Intel X710 car ce sont les plus économes en énergie, et j'ai trouvé des clones chinois sur Aliexpress à pas cher, rien à voir avec les tarifs des officielles Intel. C'est le même chipset, juste le PCB qui est un clone.
Alors certes ça me coute un peu plus cher que les vieilles Mellanox plébiscités pour du 10G @home, mais j'étais pas près à gaspiller des watts perdus par ces vieilles générations de cartes.

Un rack mural tu vas être très limité en profondeur ...  
Ça va être compliqué d'y installer des boîtiers rack-ables !
 
Sans parler du poids    
 
mon rack était configuré avec une profondeur de 24", quand j'ai acheté le boîtier de mon "NAS", j'ai été obligé de le passer en 29"
(et j'ai été obligé d'acheter des extensions pour les rails de certains équipements en place)

T'inquiètes en 10G ça va bien se passer, j'ai pas de 25G au boulot pour répliquer mes baies de stockage et ça marche bien

Oui... d'où la nécessité de passer par la case bricolage que j'évoquais. Je ferai ça au printemps, l'hiver je ne suis pas motivé par ce temps pourri pour sortir les outils
 
Je ne veux pas le poser au sol pour ne pas trop empiéter d'espace dans la cave qui n'est pas immense (en plus il y a déjà le rack batterie qui est posé au sol et bouffe tout l'espace).
 
En gros : il sera installé au dessus de casiers, et je prévois d'une part de renforcer la fixation au mur (scellement chimique + tiges filetés, c'est ce que j'ai utilisé pour mon onduleur solaire et ça ne bouge pas), plus pieds supports (coupés à bonne dimension) qui s'avanceront devant les casier pour apporter un support stable par dessous afin de soutenir le poids en porte à faux.
De toute façon les pieds supports c'est du bonus pour les équipements plus tard, j'ai calculé les poids de ce que je vais installer à court terme (disons 2 ans) et ça passe selon les spécifications Socamont pour la Ligne 100 : https://www.socamont.com/coffret-mu [...] e-100.html
 
La profondeur de 600mm est clairement l’élément le plus limitant.
Chez Silverstone j'ai trouvé mon bonheur avec le châssis RM41-H08 de 4U qui passe (j'ai bien vérifié les mesures par rapport aux montant verticaux) : https://www.silverstonetek.com/fr/p [...] /RM41-H08/
Mais je ne pourrai pas installer plus profond plus tard, c'est certain.
 
Je ne pourrai pas non plus utiliser les rails à coulisses, je vais utiliser des équerres (les mêmes que pour mes batteries, ça coute pas cher et c'est ultra costaud) : https://www.socamont.com/rail-l-typ [...] 600mm.html
 
Le 2nd boitier, un Silverstone RM23-502-MINI en 2U passe large car moins profond : https://www.silverstonetek.com/fr/p [...] -502-MINI/
 
Le switch UniFi Pro HD 24 PoE, un gros bébé, passe aussi : https://eu.store.ui.com/eu/en/categ [...] -hd-24-poe
 
Panneau de brassage sans souci, tablette/étagère pour poser des bricoles etc...
 
Photo en live du lab en cours de montage à coté de mon bureau
 

 
Le petit Jonsbo NV10 en MiniITX que je viens de recevoir, tout en haut de la pile, est tout mignon   https://www.jonsbo.com/en/products/NV10Black.html
 
La Shelly powerstrip qu'on aperçoit en premier plan, sera montée avec une copine à elle dans le rack pour faire office de PDU programmable avec remonté de consommation de chaque équipement, comme ça j'aurais au moins une fois parlé de domotique pour limiter le HS https://www.shelly.com/fr/products/ [...] rip-4-gen4
 
 
Pour le 10/25G, le souci c'est que je suis déformé professionnellement.
En matière de stockage, je ne fais que du SAN, ce matin j'étais chez un client qui vient de passer au 32G et c'était le minimum pour résoudre ses problèmes de saturation des liens qu'on avait observé... sachant que la norme aujourd’hui c'est le 64G, et le 128G est déjà dispo chez Brocade... déformation professionnelle, j'ai du mal à me remettre sur des débits normaux pour du homelab
Mais oui, 10G sera certainement plus que largement suffisant pour commencer mon petit cluster Proxmox, et puis rien n'interdit de remplacer les cartes PCI dans quelques années.
 
 
 
PS : le Gen8 sur la photo n'est pas mon Gen8 de prod, c'est un serveur que j'ai récupéré pour 0€ et qui me sert pour tester Proxmox Backup en attendant.

Sacré client pour saturer du < 32G quand même
Perso au boulot le 10G c'est bien suffisant surtout en réplication entre 2 datacenter, après j'avoue qu'une fois a la maison j'ai plus envie de me faire chier avec tout ça
Mon PVE tourne sur un optiplex SFF 3080 (avec snap toutes les heures et backup tout les jours sur mon NAS qui est répliqué ailleurs) ça me suffit bien (ah j'oubliais aussi le backup HA sur un VPS en plus au cas ou )
J'ai même dégagé mes AP Ubiquiti pour ne me servir que du Wifi 6E de ma box qui en vrai suffit largement a la maison

On faisait un comité de performances ce matin, donc sujet plus que d'actualité
Si tu veux du détail, on saturait les 4 liens à 16Gbit/s en frontend entre les serveurs et le stockage, soit 64 Gbit/s total, ou encore 8 Go/s.
La nuit lors des sauvegardes de données IBM i (ex AS/400) depuis un cluster IBM SVC avec 3 baies FlashSystem en backend (full flash NVMe, ça va de soit ), vers une grosse DataDomain.
Ils ont remplacé les switchs SAN Brocade 16Gbps par du Cisco 32Gbps (les SFP sont en 32, mais le backplane est prêt pour le 64G) et ça va mieux, ils arrivent à dépasser les 8 Go/s pendant les sauvegardes.
Réplication vers un second datacenter distant, naturellement.
Les alertes remontent dès que la latence dépasse la milliseconde ou que la réplication prend quelques minutes de retard (on est en asynchrone sur cette infrastructure là, c'est pas encore du très critique, souvent je travaille sur des infras avec répli synchrone entre 2 DC puis asynchrone vers un 3ème DC distant de 500km)
Le client, une grosse banque française.... c'est mon quotidien, j'en ai quelques unes des comme ça
 
Du coup, faire un cluster CEPH en 10G à la maison, j'ai pas l'impression de ramener du boulot, limite ça me détend
 
A une époque j'avais récupéré du matos pro, mais j'ai tout viré, trop gros, trop bruyant, trop .... tout quoi. Tu démarre le machin tu prend 1kW dans la tronche. Pas du tout utilisable pour un homelab de quelques films de vacances à mater sur le homecinéma le soir
 
Par contre, quand je disais hier de monter en compétence, le CEPH est utilisé en stockage massif avec des Po de données, pas du tout dans le milieu bancaire mais plutôt dans la recherche, scientifique & co, ça me plairait bien de bosser sur des dossiers comme ça.

Ah oui, donc gros client

 
 
 
J'en ai 2 comme ça (en raid1 évidemment )
Solide les WD Red 2To mais va falloir que je pense à les changer

Je ne connaissais pas les câbles DAC. Si je comprends bien, ce n'est pas un standard de fiche mais un standard de fabrication ? C'est du SFP aux extrémités c'est ça ? Tu parles de certains avantages, tu peux détailler stp ? J'imagine que c'est pour interconnecter des éléments du réseau qui sont gros consommateurs de bande passante, pas pour monter un réseau local jusqu'aux prises qui restent en RJ45 ? J'ai bon ?

Un câble DAC permet d'utiliser des ports "SFP" à moindre cout (sur de courtes distances), vu qu'il n'y a pratiquement pas d'électronique dedans ... Comparé à des modules Ethernet ou Fibre ...

Yep bien entendu, c’est le seul hic du bouzin quand on a des clés branchées en USB.  

Putain si c’était à refaire j’aurai directement opté pour une smlight RJ45
 
C’est un peu ça qu’il manque au système Zigbee, pouvoir changer, en cas de panne, un coordinateur pour un autre facilement et avec une bonne fiabilité sans avoir à bidouiller / cloner l’IEEE

En complément de la réponse de katkar
 
Un câble DAC c'est un câble avec les 2 SFP soudés au bout, qu'on insère donc directement dans la cage/slot SFP coté serveur, et coté switch (ou bien directement entre 2 serveurs comme ça sera mon cas, ce qui évite de passer par le switch)
Il y a des version 10G et même 25Gbit/s. Il existe des débits supérieurs, mais le format change, ce n'est plus du SFP/SFP+/SFP28 classique.
C'est plutôt utilisé dans les datacenters, au sein d'un même rack, pour de la courte distance.
En effet, en dessous de 3m, on parle de câble passif car c'est un simple câble en cuivre Twinax.
Au dessus de 3m, on passe normalement en câble actif, avec amplification/conversion, et alors c'est plutôt de la fibre optique dedans... du coup l'intérêt est limité et généralement on utilise directement de la fibre optique avec des SFP optiques.
 
Comme tu le constates, ce n'est pas conçu pour les prises murales (qui restent en RJ45 jusqu'au panneau de brassage)
 
Les avantages du câble DAC, pour des vitesses de 10 et 25G (car ça n'a pas d'intérêt en 1G) :
- faible cout (comparé à la fibre ou à des ports RJ45... certes le câble DAC est plus cher que le câble RJ45 Cat 6a, mais l'économie se fait sur les ports, coté serveur et coté switch, car le prix d'une cage/slot SFP est très faible en comparaison du port RJ45 10G.
- faible consommation : j'ai mesuré 0.5W par port, là où un port RJ45 peut consommer jusqu'à 5W par port, c'est énorme (CMB), même si la toute dernière génération de carte Intel parvient à baisser considérablement cette consommation, mais v'là le prix... et coté switch on a toujours le même problème. Il faut beaucoup de puissance électrique pour transmettre du 10G sur les 100m max d'un câble à 4 paires torsadées.
 
Le 10G sur RJ45 est tellement problématique que ça ne prend pas vraiment, commercialement et techniquement parlant.
En datacenter qui est en 10G depuis longtemps, c'est majoritairement de la fibre, et du DAC. Jamais vu de RJ45 10G perso.
En résidentiel, c'est le 2.5G, voire le 5G, qui l'emporte, pour l'instant.
 
J'imagine qu'avec les prochaines générations de chip 10G, le prix et la consommation baisseront, et ça permettra de démocratiser le 10G RJ45, car pour l'instant ça reste confidentiel. Mais c'est pas encore pour tout de suite.

Merci à vous deux c'est très clair maintenant pour moi  

Pour continuer dans le HS, cela fait une semaine que je me coltine "Packet Tracer", le top du top de l'interface c'est le SFP+ 10 Gb

Pour ceux qui font du 5-10G à la maison : câbles de catégorie 6 ? 6A ? 7 ? 8 ?

J'ai un dongle USB et je demandai (plus haut) l'intérêt d'une version Ethernet.

L'intérêt est évidemment de pouvoir déplacer la VM sans se soucier du contrôleur ZigBee, mais hormis ça ?

Wifi 7

Ben c'est quand même super intéressant non? Pas de passtrough non plus

C’est déjà pas mal    
Et pas de passthrough à gérer.
 
Dans un cluster t’as pas à gérer la bécane et le passthrough de ton coordinateur USB si celle ci tombe en panne.
 
Et accessoirement tu mets le coordinateur où tu veux sur le réseau et non forcément au cul de ton serveur.

C'est quoi un passthrough ?

Je suis pas expert proxmox mais dans le cas présent ça permet d’utiliser un périphérique USB dans une VM (et un LXC ?)

J'aimerai pour un test faire le truc suivant :
- vieux smartphone relié en wifi au réseau qui sert de caméra de surveillance (branchée sur un chargeur).
- qu'il balance un stream vers un serveur (un lxc proxmox) qui enregistre genre 1 fichier mp4 par jour avec une rotation sur une semaine
je me fous de la reconnaissance de quoi que ce soit (visage, ...). Eventuellement si ça peut économiser de la place en n'enregistrant pas quand il n'y a pas de mouvement why not. Je n'ai ni GPU dédié ni TPU Coral ou truc du genre. Juste un Core i3 8X00
 
vous conseillez quoi comme couple appli smartphone/conteneur proxmox ?