Reprise du message précédent :

 
C'est le cas ici. Il n'y a pas grand chose dans la page ni dans les paramètres mais je vais revérifier tout des fois que j'ai loupé quelque chose.
Et si ça ne fonctionne pas, config à la poubelle: j'avoue que j'en ai un peu marre d'être dans une impasse avec une fonctionnalité pas fiable sachant que le Microserver d'à côté à 99.9% identique (matos, OS PVE et OS VM) fonctionne parfaitement.

Bonjour,
 
Je me suis monté un petit serveur à la maison dans le but d'en faire un NAS mais pas que.
Du coup j'ai installé proxmox histoire de facilement lancer des containers/VM en plus pour quelques services.
 
Là où je coince un peu c'est pour la partie NAS. Pour le moment je veux juste un partage sambsa. J'hésite encore entre un openmediavault ou une debian mais ce n'est pas le sujet.
Ma question c'est surtout sur le stockage des données NAS. Vu qu'il y aura du monde qui pourra écrire (et supprimer) dessus, j'aimerai mettre en place un système de snapshots.
Du coup je suis bien intéressé par BTRFS qui propose ça nativement. Mais c'est ça que ça coince.
 
J'ai tenté 2 approches:

• Container Debian avec un second disque pour le stockage (via stockage LVM sur raid). Le soucis c'est qu'avec le template debian de base j'ai pas accès à la commande mkfs.btrfs et j'ai pas réussi à l'installé avec apt.
• Mise en place de stockage type BTRFS au niveau du node. Et création du second disque pour le stockage là dessus. Le truc c'est que à l'intérieur du container c'est en ext4.

J'ai en tête une autre approche en virtualisation tout mais je me dit que c'est un peu dommage de passer par la full virtualisation pour ça.
 
Dans l'idée ça serait d'avoir un container avec un second disque que je puisse formter en btrfs pour pouvoir y faire des snapshots.
 
Vous avez une idée de comment faire ça? ou alors je m'y prend mal?
 
Merci  

Bonjour,
 
Juste pour dire que mon pb de cluster est résolu après une séparation avec le reste du réseau. Un peu bizarre tout de même; mais ça marche. Merci à ceux qui m'ont répondu.

query32 : pour un besoin similaire j'ai installé nextcloud sur un docker dont le stockage pointe sur le nas qui est sauvegardé par duplicati

Perso j’ai un lxc alpine sur Proxmox qui fait tourner un serveur nfs et samba et le stockage est un volume zfs monté en bind  
 
Alors oui c’est un container en mode privilégié par contre

/Limite HS
 
C'est bien nextcloud ? Je me passerai bien de l'interface QTS de m...

Bonjour à tous,
Depuis quelques jours j’ai des soucis. En me reconnectant à l’interfaces je me retrouve avec des ? Sur l’ensemble de mes conteneurs/VM ainsi que le nœud PVE. Savez-vous comment devermineri le souci. Quels logs consulter ?.
Merci d’avance !

Oui c'est bien et facile à gérer / configurer / utiliser. Perso je n'utilise quasi pas l'ui, je me sers de l'app Android pour synchroniser mes photos et fichiers dans des dossiers bien triés par date sur le serveur. Et j'y stocke aussi mon gestionnaire de mdp, j'utilise l'app Android nextcloud passwords et sur firefox idem le plugin.

Madame l'utilise à sa façon, elle a son répertoire de travail du pc perso synchronisé et elle le consulte depuis plusieurs machines dont son ipad.

Ma gamine aussi mais pour ses besoins.

En gros chacun y trouve son compte à sa façon. L'avantage c'est que pour les utilisateurs Windows je mappe directement leur répertoire de nextcloud comme un lecteur réseau, donc sous Windows c'est transparent pour eux. Et ils y accèdent avec leurs appareils mobiles depuis les app nextcloud.

Seul regret, la gestion des photos est très limitée, à la base je voulais un concurrent / remplaçant à google photos. Tout est là pour que ça soit le cas, mais ils n'ont pas mis leurs efforts dans cette direction, et ça ne bouge pas au fil du temps. Ils ajoutent des tonnes d'intégrations et de plugins, et optimisent l'application en revanche. Ça bouge sur d'autres sujets.

Auto réponse. Je viens de voir que mon pool ZFS systeme en miroir est dégradé.  
pool: rpool
 state: DEGRADED
status: One or more devices has experienced an unrecoverable error.  An
        attempt was made to correct the error.  Applications are unaffected.
action: Determine if the device needs to be replaced, and clear the errors
        using 'zpool clear' or replace the device with 'zpool replace'.
   see: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-9P
  scan: resilvered 4.10G in 213503982334601 days 05:03:51 with 0 errors on Tue Jun 28 13:56:42 2022
config:
 
        NAME                                                 STATE     READ WRITE CKSUM
        rpool                                                DEGRADED     0     0     0
          mirror-0                                           DEGRADED     0     0     0
            nvme-eui.00000000000000000026b7684b220085-part3  ONLINE       0     0     0
            ata-SanDisk_SSD_PLUS_480GB_190962483603-part3    DEGRADED    10     3    43  too many errors
 
il y a surement un lien!
 
est-il prudent selon vous de faire un pool clear et d'attendre l'évolution?

Oui tu peux faire un 'zpool clear rpool'
 
si ça revient ton disque SSD à un soucis (ou le câble, contrôleur, alim, enfin y une merde qq part dans la chaine).

 
merci
 
ce qui me choque c'est que je n'ai reçu aucune notification du passage en degraded. est-ce que certains ont déjà reçus ce type de notification?
 
il ya apparemment un bug : https://forum.proxmox.com/threads/n [...] ded.87629/

Tout pareil et j'ajouterais que c'est pratique pour backup les pc des parents / beau parents: un compte, l'agent Windows et ça synchronise ce que tu veux de manière transparente

Merci, je voulais justement me passer de Google Drive, du coup je vais viser la sécurité et prendre l'offre SaaS de Hetzner (moins de 5 euros par mois pour 1 To sécurisés en raid, externalisé, sauvegardé, etc., ce qui ne m'empêchera pas de backuper périodiquement en cold type S3 Glacier, ou mieux, sur bandes LTO à la maison - mais je dois racheter un drive )...

IL faudrait que j'essaie nextcloud, j'utilise seafile qui fonctionne vraiment parfaitement pour la synchro de fichier, mais j'avoue qu'il manque un peu tout ce qui est à côté au niveau de nextcloud.

L'application android n'est pas tip top par exemple (la synchro ne se fait pas parfois faut aller dans l'application et faire un raffraichissement manuel pour que ça se fasse).

A une époque nextcloud n'était pas parfait sur la synchro des dossiers, c'est réglé maintenant?
(sous linux j'entends )

Seafile en dehors du client android, tout le reste est vraiment au poil et parfaitement généré. C'est ultra performant et fiable.

J'utilise la même install nextcloud depuis Owncloud 5 ou 6 puis Nextcloud quand ça a forké...
C'est dire la rock-solidité du truc...
Et sinon clairement les applis clientes se sont toutes bien améliorées, sur Android ça marche vriament bien par rapport à y a 2-3 ans où j'avais encore quelques couacs (parfois il voulait aps uplaoder mes photos).
Le client windows marche très bien aussi et sous Linux j'utilise Nextcloud au travers de l'intégration native de l'explorateur de Gnome sur ma Debian et ça fonctionne bien aussi

Merci pour l'information, je vais regarder du coup.
 
Par contre j'avoue qu'il y a un point fort de seafile qu'il me semble que nextcloud ne fait pas, c'est l'historisation des modifications, genre quand tu uploades un fichier modifié, les X précédents sont conservés, donc tu peux revenir facilement sans sauvegarde sur une modification.

nextcloud garde les versions des fichiers
ex chez moi
 

Merci pour l'info.
Bon y a plus qu'à tester!

Merci
 
Testé, et je coince sur le montage du stockage distant mais je n'y ai pas passé plus de temps que ça pour le moment. J'avais fait un montage sshfs (souci de droits...), je vais me tourner vers du NFS, on verra si y'a du mieux... Ou alors il faut démarrer avec un stockage local et une fois dans nextcloud monter le stockage distant ?

Non, il faut que nextcloud démarre sur le stockage distant. C'est justement là dessus que ça buggue parfois lors des rares redémarrages de la machine, quand le service nextcloud démarre avant le partage NFS.

Bonjour,
 
Quelqu'un a déjà monté un cluster avec une connexion domestique et un serveur en DC.
 
J'ai installé un serveur proxmox à la maison et j'en ai un en DC.
A la maison c'est routeur OpenWRT en DMZ avec forward des port UDP 5404 et 5405 pour dialogue corosync.
Mais j'ai une erreur 595 sur le serveur en DC et une autre erreur sur le serveur en local. Donc il ne communique pas.
A noter que j'ai modifié l'ip (pour ip public livebox) du proxmox local dans le serveur distant, car de base il prenait l'IP local (192.168.0.128)
 
Bon je sais que c'est pas la meilleur idée du monde de faire du NAT sur ce genre d'infra, mais je voudrais tester.
Ce que je ne comprends pas c'est que les ports UDP 5404 et 5405 sont fermé en local sur la machine concerné.
 
FW côté proxmox local à configuré?

Dans ce genre de config je ferais un tunnel entre les 2 sites deja.

Par defaut le firewall sur les hôtes est désactivé. Donc sauf si tu as toi meme changé l'action par défaut de Accept à DROP, pas de raison que ce soit bloqué sur tes noeuds.

Y'a longtemps, proxmox faisait du multicast entre les nœuds d'un cluster. Si c'est encore le cas, ça va être compliqué.

mcast c'était pas juste pour le protocole de communication de conf proxmox (ou un truc du genre) ?

C'était pour la réplication des confs des vms et du cluster me semble oui.

drapal

 
Sous proxmox, c'est du ZFS plutot qui est à privilégier pour moi. BTRFS j'adore, mais pour mon desktop. Pourquoi partir sur du btrfs alors que l'ui est clairement orientée zfs ? de mémoire l'install sur btrfs n'était pas dispo sur la version 7...C'est dire. Ca fait longtemps que zfs est proposé sous proxmox donc vers ça qu'il faut se tourner en multi disque à mon sens, et si on veut faire différent, regarde du côté de CEPH, mais faut pas mal, de ressources pour certaines taches.
 
A mon sens nextcloud est vraiment la meilleure solution actuellement. Dans mon cas c'est un container LXC qui fait rouler docker.

J'ai décidé de benner (enfin revendre) mes 3 NUC Celeron avec lesquels je m'étais amusé à tester les clusters et la haute disponibilité parce qu'ils sont trop instables et trop peu puissant.
J'ai récupéré une config d'occase pas trop mal :
- CPU: AMD Ryzen 5 3600
- MB: B450M
- GTX 1650
- 64Go DDR4
- 1 carte ethernet 1Gbps pcie
- 3 SSD 250Go
- 1 SSD 500Go
- 1 HDD 2TB
(je suis au maximum des ports SATA/NVMe de la carte mère).
J'ai aussi un NAS Synology à côté (DS413j il n'est pas très véloce...).

Mon objectif c'est :
- Plex/Jellyfin en priorité
- Coupeur de pub (pihole ou peut etre Opnsense)
- Sonarr
- Owncloud ou équivalent
- Servir des sites webs perso
- surement un peu de monitoring, grafana,...
- idéalement une VM windows avec le GPU passthrough qui me permettrait de faire du CAD (parce que je n'ai plus que des laptops Linux en dehors de ça, et les SolidWorks, Creo ou Fusion ne sont pas trop compatibles)
- une VM linux aussi avec le GPU (pas en même temps que l'autre évidemment) pour faire du calcul scientifique (avec ma femme on fait un peu de OpenFOAM et on aimerait développer un peu notre compétence, éventuellement expérimenter le machine learning)
Bon, j'ai pas tant de but que ça mais pour je ne sais quelle raison ça m'a toujours attiré et amusé de gérer des systèmes comme ça (mais comme je n'ai plus beaucoup de temps libre faut quand même que ça marche facilement et ça auto-entretienne un minimum).

Bref, j'ai plein de questions de gros noob :

• ma dernière expérience avec pihole (sur les NUC) a été catastrophique, parce que quand ça plante y a plus rien qui marche à la maison (wifi, tv, etc...) et ma femme devient pas contente

Je serais bien tenté pour faire un routeur opnsense, qui fait stop pub, DHCP, DNS, VPN et tout mais j'aimerais bien que ça soit assez "fail-safe" (en tout cas pour le téléphone de ma femme). Du coup je ne sais pas trop comment gérer ça.

• comment tirer au mieux parti des deux ports ethernet gigabit ? (un peu en lien avec la question du dessus je pense)
• lors de ma dernière expérimentation, j'avais fait un conteneur par service, en fait c'était méga-chiant à gérer, mettre à jour, etc. Là je partirais plus sur une vm ubuntu-server qui fait tourner docker et le plus de chose possible en container (Jellyfin, Sonarr, mes sites webs, ....)
• pour l'instant j'ai mis les 3 ssd de 250Go en un pool ZFS Raidz1, le ssd de 500Go tout seul pour y mettre la VM windows et le hdd de 2To où j'aimerais bien stocker mes médias (va falloir que je le transmette au container Jellyfin dans le docker-host du coup, je ne sais pas si ça va être la galère ou pas)

Voilà, j'accueille tout commentaire ou suggestion.

(note : j'ai déjà fait une tentative de GPU passthrough avec le guide de Proxmox et celui de Mathias Hueber et ça a été un échec).

Ta config c'est 90% ma config qui tourne depuis deux ou trois ans.
 
- CPU: AMD Ryzen 5 2600
- MB: B450M
- Pas de GPU
- 32Go DDR4 depuis ce week-end, auparavant 16
- Carte intel 4xNIC 1Gbps pour abriter le routeur/firewall SOPHOS XG
- 2 SSD, 1 pour le host et 1 pour les VM
- 2 HDD 4TB + 8TB pour faire NAS et backup des VM entre autres
 
En terme d'applicatif :
 
- PAS DE Plex/Jellyfin  
- pihole sur un conteneur LXC avec 256mo de mémoire qui tourne depuis day one  
- duplicati installé directement sur le host Proxmox pour les backups incrémentaux de nextcloud et de tout le NAS.
 
* VM Debian avec Docker :
  - Nextcloud dont le stockage pointe sur le host NAS
  - Serveur LAMP  
  - Grafana + infludb
  - Home assistant et autre domotique (zigbee2mqtt etc)
   
- Machine virtuelle Windows avec un tas de services.
 
 
En terme de réactivité les services sont ultra rapides à charger.
Maintenance et taux de panne quasi nuls sur sophos et pihole. Pihole sert également de DHCP, j'aurais pu mettre ça ailleurs mais j'apprécie la stabilité et simplicité de pihole.
J'ai juste un service CRON qui redémarre la VM windows quand les services domotiques qui sont dessus ne répondent plus, mais c'est pas représentatif de la stabilité de l'ensemble.
 
Et pour finir, le CPU est à 8% de moyenne, dont 4% consommé par windows. Avec des pics à 25% pendant 1 seconde par jour.

Vu ce que tu as, je dirais de te faire un labo virtuel, t'as de quoi avec cette machine, tu pourras même tester les pathroug avec virt-manager.
C'est un peu normal que ça merde si le pi-hole s'occupe de tout le trafique, dès qu'il tombe, plus rien ne marche, enfin si, mais plus d'accès internet.

Tu veux pouvoir taper dans le disque dur 2To avec windows et les autres vm en même temps ?

A mon avis tu devrais t'interesser à Nextcloud, il clairement leader par rapport au projet d'origine.

Pourquoi pas docker dans un lxc ?

Pour ce que tu en fais c'est overkill ta config, ma machine de test fait tourner plus de trucs avec vieux coucou

D'ailleurs j'ai deux un dell T610 qui attend, mais c'est super bruyant, je sais pas si ça suffirait de les mettre dans le garage

Je me demandais si sur ce thread il y avait des bidouilleurs qui se sont amusé à rendre des serveurs prévus pour les datacenter (donc ventilo aspirateur) ? Vu l'environnement, ils ont pas besoin de temps de flux d'air.

Docker dans un LXC je n'ai pas su le faire.  
 
Bah je sais que c'est overkill, c'est pour ça que je fais de la prévention auprès de ceux qui débarquent ici en voulant du bi-xeon ou du ryzen 65W ou whatelse pour un serveur @home.  
 
Perso mon ryzen underclocké consomme 20w en régime de croisière, je n'ai pas de GPU, donc je laisse comme ça, je dois être à 55w au total avec les HDD et tout ça, et pas d'autre machine H24 puisque tout est intégré (routeur/nas/domotique etc).

Question de noob :
 
Pourquoi mettre Docker dans LXC et pas directement installer Docker sur l'hôte en tant que service ?

Perso c'est pour une raison simple, maîtriser la conso en CPU et RAM, et pouvoir faire un restore de la VM en deux clics car ça m'arrive de casser des choses en bricolant les conteneurs.

 
Oui je me demandais s'il y aurait un moyen pour que le modem (en ce moment j'ai le modem tout pourri de mon FAI mais je peux changer si c'est justifié) détecte que le DHCP/DNS est down et bascule sur les DNS par défaut.
 

 
Non, je ne pense ne donner l'accès au hdd que aux containers Jellyfin et Sonarr.

Salut tout le monde
 
Je vais essayer de répondre avec mes connaissances, mais c'est ouvert aux commentaires/amélioration.
 

 
Pour le LXC et docker, qu'est ce qui t'a posé soucis ? j'ai aidé des youtubers ricains à le faire, peut etre que je pourrais t'aider.
 

 
Parce que Proxmox à la base n'est pas orienté docker et ne propose pas d'outils pour. Donc comme l'a dit dafunky, c'est bien plus simple de gérer des LXC ou des VM que des dockers à partir de proxmox. D'autres solutions ont docker directement, comme open media vault, c'est juste moins "pro" (pour info OMV utilisait longtemps un kernel proxmox pour avoir accès au ZFS), mais c'est plus simple.
 

 
Pour le DNS c'est assez simple : tu mets un dns en secondaire sur toutes tes machines clientes. Ca peut etre un dns de ta box ou un DNS genre 1.1.1.1 (cloudflare) ou 9.9.9.9 (associatif, visé vie privée).
 
Pour le DHCP c'est pas si simple, en gros il faut faire un second serveur DHCP qui ferai un redondance ou failover. Tu trouveras des tutos sur le net pour le faire.
 
Pour le HDD c'est tout à fait possible de dockeriser ça, soit en donnant le disque au container, soit en faisant un volume docker.
 
Bon courage !
 

 
C'est sympa de proposer, maintenant que c'est en place je ne vais pas migrer.
ça date et c'était mes premiers pas, de mémoire je n'avais simplement pas trouvé de modèle de conteneur bien à jour et assez équipé pour installer docker, avec ceux que j'avais sous la main il y avait un milliard de dépendances à compléter et ça n'allait pas.  
Au final j'ai mis une debian sur une VM, j'ai constaté que c'était économe en ressources du coup je suis resté sur ça. De mémoire j'avais retenu que mettre le même noyau sur la VM et sur le host permettait d'optimiser le tout, mais c'est un peu confus maintenant dans ma tête.

Docker dans lxc n’empêche pas d’utiliser zfs au maximum de ses fonctionnalités ?
 
Souvent dans ce que j’ai lu ils utilisent overlay ou un truc du genre.
 
C’est pour ça que j’ai choisi de faire sale en installant docker sur le host Proxmox directement. J’ai un meilleur contrôle de docker+zfs, chaque containers peut avoir ses snapshots sur les volumes persistants indépendamment des autres  
 
Mais il est vrai que je n’ai pas creusé zfs dans un lxs que si zfs, mais rien que de l’écrire ça ne me tente pas
 
J’avais testez zfs dans des jails bsd sur du zfs et c’était bancal

petite question :
j'ai un conteneur (lxc) avec 60 go de disque.
il y a environ 21 go de donnée dessus (et ça n'a pas vocation à grossir beaucoup)
J'ai fait un backup (.tar.zst) qui fait 19 go
 
J'aimerai le restaurer dans un nouveau conteneur (sur une autre machine) en passant le disque à 30 ou 40 go (bref moins que 60).
 
Quand on restore on peut définir 2/3 paramètres genre la ram, les cpu cores... mais pas toucher à la taille de la partition.
 
C'est du lvm (pas zfs)
 
Il y a une astuce ?

 
Ok, en gros le problème beaucoup de gens avaient c'est que l'install de docker était foireuse en partant des dépots debian. La solution toute bête était d'installer docker depuis le repo officiel. Encore fallait-il penser à le faire... Sur le coup j'ai cherché dans les mauvaises directions (j'ai cherché du côté d'overlay2 qui posait soucis dans les logs, mais c'était pas le soucis pricipal).
 
Par contre je comprend pas ce que tu veux dires avec le kernel pareil que la vm...
 

 
Overlay c'est comme son nom l'indique une surcouche
 
C'est un fs type union, c'est utile à ce que je sache pour le cas de docker : une version qui est l'image docker, et une version qui est l'état des données à un instant T. C'est utile pour le container, mais le volume a pas besoin d'être sur le même fs.
 
Après j'avoue que je comprend pas trop, je vois pas pourquoi utiliser overlay2 pour du data... il y a des drivers ZFS, BTRFS, NFS etc pour docker, donc si vous voulez que docker manage ça, c'est possible. Je ne pense pas qu'il y ait de driver pour ceph, mais on s'en fiche un peu, vu qu'on met des pools de block.
 
Mais mettre docker sur le pve, c'est étrange, et pas recommandé.
 
Il y a une foule de solution permettant d'utiliser docker sur un pve, mais la plus économique en ressources est un LXC qui roule docker.
 
 

Je sais ce que sont overlay et aufs.
 
Je dis juste que je veux pouvoir avoir le contrôle total de ce que fait docker avec zfs, je veux les snapshots et autre et dans ce cas il n’y a que deux choix
 
1. Docker dans une vm
2. Docker sur proxmox  
 
Utiliser docker dans un lxc sous proxmox fonctionne mais il y a des compromis à faire qui ne me vont pas.
 
Même si ce n’est pas recommandé, je sais ce que je fais et j’ai choisi la solution 2 car elle me convient parfaitement.
 
Je peux gérer les volumes persistants de docker depuis le host comme n’importe quel dataset zfs et ils sont indépendants d’une VM ou autre lxc
 
Un portainer pour ne pas me faire suer, un docker traefik devant les autres (https et tcp/udp) et ça roule
 
Je ne dis pas que mon choix est le meilleur, je partage juste un retour d’expérience