Reprise du message précédent :

Qui utilise encore pfsense ?    
 
Joke. Je l'ai utilisé pendant 2 ans avant de switcher sur openwrt.

Je débarque, si quelqu'un a du temps pour répondre à mes questions de newbie.
J'ai envie de me lancer sous proxmox
la plupart des tutos utilisent un simple ssd pour le disque d'installe de proxmox.
Est ce possible simplement d'avoir un miroir logiciel?
Si je veux me faire un nas virtuel, possible de monter les disques directement dans la VM pour que l'os gère le smart et son raid logiciel?
Quelqu'un ici  a t'il déjà virtualisé sous proxmox une machine baremetal existante?
merki

Hello
 
Aucune idée pour l'installation sur 2 disques en miroring, je dirais très certainement.
Mais je crois qu'il faut du coup installer une debian, faire ton raid, et ensuite installer proxmox dessus, mais je dit peut être des conn**** je laisse les pros (ou google) répondre
Perso j'ai fait mes install de l'iso proxmox sur SSD
 
Tu peux faire du passtrough de HDD directement à une VM, donc oui pas de souci par rapport à ton MAS, tu peux créer une VM OMV par exemple et lui attribuer des disques directement, plusieurs l'ont fait sur ce topic d'ailleurs.
 
Pas sur de comprendre ce que tu veux dire sur ton dernier point, mais de ma toute petite expérience et des articles/exemples que j'ai pu lire sur proxmox, tu peux pratiquement tout virtualiser
 

Effectivement car Proxmox ne s'installe pas nativement sur un raid soft donc il faut le créer ton raid-1 avant.

Sur quoi comme matériel ?

Ça fait plusieurs années que je n'utilise plus que opnsense, c'est top. Un peu d'ipfire aussi pour la nostalgie

Non surtout la question c'est qui utilise réellement wireguard dans la vraie vie, avec des utilisateurs, des IP dynamiques etc

Ou installer Debian avant puis promxox.

J’ai fait l’installation depuis l’iso et j’avais l’option de faire un miroir zfs et de l’utiliser pour l’installation

Mea culpa, c'est ESXi qui refuse de s'installer sur un raid soft (enfin c'est surtout qu'on ne peut pas créer un raid soft puisque l'OS est aussi l'hyperviseur, un vrai type 1)...

Quel est le rapport en fait ?

 
Oki, donc si il y a une problématique disque ça boote sur le disque restant?
Quand tu parles d'iso, tu parles de l'iso proxmox?
A votre avis c'est possible de virtualiser un windows en branchant le disque où le-dit windows est installé?

Proxmox gère très bien plusieurs disque de boot avec un miroir ZFS.
Je peux témoigner puisque j'ai une machine sur laquelle j'ai déjà deux passer par 3 changements.

Donc, tu dis qu'en faisant l'install depuis l'iso, il le propose direct?

Oui et c'est documenté
https://pve.proxmox.com/wiki/ZFS_on [...] ile_system
 
et pour le fait que les 2 disques soit bien bootable chacun, le processus est aussi décrit là https://pve.proxmox.com/wiki/Host_Bootloader

Que veux-tu dire ?

Que y'a pleins de "vrai" hyperviseurs capable de faire du raid soft. Pas pouvoir s'installer dessus, c'est souvent lié à une autre limitation.
Vmware fait du vsan.
HyperV fait du storage space direct.
...

On parle de l'espace de stockage de l'hyperviseur, pas de l'espace de stockage du datastore. Quand je dis vrai hyperviseur de type 1 (je n'ai pas simplement dit "vrai hyperviseur" !) je veux dire que tu n'as pas accès à l'OS sous-jacent. Je suppose que ce que tu veux dire c'est que c'est un choix de l'éditeur de ne pas permettre une installation sur un raid logiciel directement depuis l'installeur, comme le permet Proxmox...

Comment ça t'a pas accès à l'os sous jacent ? Tu n'a jamais fait un ssh vers un esx ?

Il y a toujours un os sous jacent, quelque soit l'hyperviseur. Avec un accès plus ou moins limité à la configuration.

Bien sûr que si (même si ma spé c'est VIOserver@AIX). Ce que je veux dire c'est que tu ne peux pas installer une Redhat et installer ESXi derrière comme c'est possible avec Proxmox.

Parceque tu mélange proxmox et l'hyperviseur.
Proxmox, c'est juste une interface web et 2/3 services pour te simplifier la vie.
Alors que l'hyperviseur, c'est kvm, qui est, comme son nom l'indique de "kernel virtual machine", embarqué dans le noyaux. Tu ne peux pas "l'installer derrière".
Mais ton raisonnement est faux quand même. Regarde hyperV : c'est un Windows classique sur lequel tu actives le rôle. Ça ressemble beaucoup à installer proxmox sur un debian (même si en vérité, quand on creuse, c'est très différent).

Mais je suis totalement d'accord avec ça, sauf que Proxmox est vendu comme étant un hyperviseur bare-metal ce qu'il n'est pas fondamentalement.

Bah si. L'hyperviseur c'est kvm. Et kvm c'est bare-metal.
C'est comme dire "vcenter c'est pas bare métal, c'est une appli java". Ouai, normal, l'hyperviseur c'est esx, et il est bien bare-metal.
Tiens, va lire la doc de redhat : https://www.redhat.com/en/topics/vi [...] run%20VMs.

Dans ce cas cite nous selon toi un vrai hyperviseur bare-métal.

ESXi, IBM Virtual I/O Server, Oracle VM, XenServer : des hyperviseurs dont l'OS ne peut pas être utilisé pour autre chose que de gérer des VMs, où tu ne peux pas y installer (ou y compiler) une application. Ou également selon la définition de VMware : "The term bare metal refers to the fact that there is no operating system between the virtualization software and the hardware".

Mais ok, la définition que j'en avais était mauvaise (et mon erreur n'était pas qu'une question de sémantique), pas de souci à reconnaître que je me suis trompé

Je ne vois pas forcément ce que tu veux dire mais on peut installer ou compiler des applis sur tous les OS, même s'il est livré dans un but différent et avec plus ou moins d'applis de base.

C'est un peu optimiste, si t'a pas de compilo/spec/sources, ça va être plus compliqué
Et y'a des mécanismes chelou genre Xen avec son domU/dom0 où la notion d'os est un peu particulière.

C'était le fond de ma pensée pour la compilation (même si tu dois pouvoir transférer des binaires sur les hosts encore faut-il disposer des libs nécessaires sous-jacentes !)

Merci à vous en tout cas pour m'avoir éclairé, ça m'évitera de continuer à me méprendre sur des mécanismes et/ou terminologies, et de dire des conneries

Je vais finalement ajouter un 3e node à mon cluster "multi hébergeurs" et il y a un point qui n'est pas très clair :
ils disent qu'il faut un tunnel ssh sur le port 22, sans détailler.
En gros il faut juste que les serveurs "puissent" se connecter via le port 22 (ports ouverts et service sshd dispo) ou alors il faut faire en sorte d'activer le tunnel et de vérifier qu'on peut bien se loguer de l'un à l'autre serveur sans mot de passe, en ayant transféré les clés publiques dans authorized_keys & co AVANT de tenter l'ajout du node ?

Il suffit juste que les nodes puissent se ssh entre eux. Que ce soit via reseau public ou via tunnel VPN peu importe meme si c'est quand meme plus safe

C'est plus compliqué que ça :
Il faut que le node depuis lequel on veut procéder a l'ajout puisse accéder en root en ssh sur le port 22 via le mot de passe root au node à ajouter.

Je viens donc de tester, et au moment la gui ne permet pas l'ajout de clé.

Apres peut-être que si on fait l'échange de clé manuellement avant ca peut passer ...

Salut , y'en a t'il qui utilise Pimox ici ?
 
Pimox = portage de proxmox sur Pi.
 
J"ai cru lire qu'a une epoque il etait pas possible de monter une cle USB via passthrough dans une VM pimox  mais ca a peut être changé.
 
Je demande avant d'essayer
 
Merci

Nope, désolé. J'en suis resté à simplement corosync sur mon pi pour avoir un 3e node dans mon cluster @home.

J'utilise mais que pour des CT / du docker. Le problème est cité dans les issues du github du projet ?

 
Dans le cadre de ma migration Synology vers une VM OMV sous Proxmox, j'ai voulu tester ZFS, afin de profiter des options telles que le thin provisionning ou la compression. Mais je m'interroge sur la façon de le faire...
 
Dans un premier temps, sous Proxmox, j'ai :
* créé un pool ZFS (environ 10 Tio) : hdd-pool
* créé un dataset : hdd-pool/toto (via la ligne de commande, pas trouvé comment faire dans la GUI)
* créé un directory "toto" avec comme chemin : /hdd-pool/toto
* utilisé ce directory pour ajouter un Hard disk à ma VM OMV de 1 Tio
 
Ensuite, sous ma VM OMV, j'ai :
* formaté (ext4) le nouveau disque et monté le file system
* utilisé ce nouveau file system pour créer le Shared Folders "toto"
* rendu accessible "toto" via NFS
 
Tout fonctionne : dans ma VM OMV, je dépose des fichiers dans /export/toto, qui sont disponibles via NFS sur mes autres machines.
 
Mais je m'interroge sur la pertinence de cette manière de faire : en effet, comme prévu, un disque virtuel (qcow2) de 1 Tio apparait sous Proxmox dans le pool ZFS à l'endroit prévu (/hdd-pool/toto/images/<vm-id>/vm-<vm-id>-disk-0.qcow2). Mais du coup, l'option compression de ZFS ne sert à rien, car (sauf erreur de ma part ), le fichier qcow2 est un binaire ? Le thin provisionning est-il bien fonctionnel ? Un ls du qcow2 me sort une taille de 1 Tio, mais un du -hs me sort que quelques Gio ? Si je veux faire un snapshot ou un backup, est-ce que tout le fichier de 1 Tio sera copié ?
 
Ne faudrait-il pas procéder autrement qu'avec un directory ? Genre un zvol avec iSCSI ? Ne faudrait-il pas que les fichiers soient lisibles depuis le Proxmox pour que tous les avantages de ZFS puissent s'exprimer ? (Genre compression...)
 
Plus clairement : comment faut-il utiliser le pool ZFS vis-à-vis des VM ? L'idée serait de pouvoir présenter directement un morceau de file system ZFS à la VM...
 

Je pense que tu aurais du faire un zvol dans ton cas

Moi aussi j'ai de la question technique
 
Est-ce qu'il y a un moyen de rendre plus efficace les backups ?
Que ce soit en local ou sur un serveur PBS à chaque fois il se passe le truc suivant :
1/ ça créé un snapshot local from scratch, sur un lxc ça veut dire duplication de l'intégralité des fichiers du conteneur, ce qui fait beaucoup de fichiers et prend beauuuuuucoup de temps.
2/ ça synchro avec les serveur PBS (dans le cas d'un serveur déporté)
3/ ça efface le snapshot local
 
Sur les systèmes qui ne gèrent pas les snapshots et font le rsync en 2 passes : 1 pour créer le snapshot en mode "conteneur qui tourne", puis ensuite arrêt du conteneur, re-rsync pour mettre à jour les différences depuis le 1er passage. Quand on voit le temps super court du 2nd passage, j'aimerai bien pouvoir avoir ça directement. Genre que ça conserve le snapshot de la fois précédente et s'en servir comme base pour le suivant, et ainsi passer de genre 2h de backup à 5 minutes !
 
Là je suis en train de backuper un serveur web/seafile avec une dizaine de sites web, des dizaines de milliers de photos, ... ça fait une heure que ça tourne, ça n'a toujours pas transféré un octet vers mon PBS !

J'ai pas de PBS mais les snap pour les backup prennent genre 10s max par conteneur chez moi  

édit : j'ai aussi un problème de performances : pour les I/O disque, les perfs sont divisées par 3...
 
Pour les débits en écriture, je ne perds "que" 30 % (sur un fichier /dev/random) : 280 Mio/s sous Proxmox (au même endroit que le disque de la VM bien sûr), contre 200 Mio/s dans la VM.
 
édit 2 : Sous Proxmox, avec un fichier à base de /dev/zero, évidemment, la compression ZFS fait des merveilles (3,5 Gio/s). Sous la VM (ext4 donc), on est autour des 80 Mio/s.
 
Bizarrement, sous la VM, les perfs avec /dev/random sont nettement meilleures qu'avec /dev/zero ? (200 Mio/s contre seulement 80 Mio/s )

Les backups que tu fais par exemple dans le menu backup -> bouton "backup now" d'un conteneur ?
 
Là j'ai un conteneur avec un disque qui doit avoir autour de 400 Go de données... ça va finir par me faire un .tar.zst de cette taille là avec l'intégralité des fichiers. Je ne vois pas bien comment ça pourrait mettre 10 secondes en partant de rien.
 
Après si c'est un conteneur de 4Go sur un SSD NVME je veux bien, mais dès qu'il commence à y avoir un peu de données, ça devient trèèèès long.

ah oui non, j'ai aucune data dans mes conteneur, ils font entre 128Mo et 1Go max.
 
C'est ptet de ce côté là qu'il faudrait optimiser non ?

L'idée c'est d'avoir sur mon PBS (à la maison) un conteneur prêt à l'emploi à retransférer sur un serveur type kimsufi sous proxmox pour restaurer l'intégralité des services web que j'héberge (seafile, sites perso et pro dont certains avec des dizaines de Go de photos et vidéos, serveur mail ...).
 
PBS gère tout bien (historique, déduplication, pruning...) donc par exemple en cas de crash du kimsufi (ah ben tiens comme la semaine dernière par exemple) j'aime bien l'idée d'avoir à réinstaller proxmox, d'ajouter le lien vers mon PBS@home et de pouvoir restaurer l'intégralité des services en 1 clic (ayé yalafibreàlamaison).
 
Si je sors les données du conteneur principal, déjà ça complique le montage (me faut par exemple un second point de montage pour /home du serveur web) et faut que je me tape du rsync ou équivalent pour les données, avec le risque d'avoir des incohérences entre les fichiers et les bases de données mysql du serveur web par exemple. Par exemple si un fichier est ajouté dans un Wordpress, il pourrait être dans la base mysql mais pas dans le backup rsync effectué à une heure différente du backup PBS incluant la bdd.
 
Après en terme de quantité de données, ben là je ne vois pas trop comment réduire, il y a un paquet de fichiers et il faut faire avec.
 
Edit : ça tourne depuis 2h, la 1e passe de rsync n'est toujours pas terminée...

Bon ben voilà, mon backup s'est bien déroulé, hum hum
 

Comment dire... ça ne va pas trop être possible au quotidien je pense
Plus de 16h de moulinage, dont une dizaine pour faire le dump initial (donc à chaque fois, avec le serveur en quasi PLS pendant une bonne partie du temps), va falloir envisager autre chose
 
A priori il y a moyen de rajouter un ou des fichiers .pxarexclude dans le conteneur pour demander l'exclusion du backup via PBS... mais à mon avis ça ne va rien changer dans la mesure où c'est le dump initial qui est long, pas le transfert via PBS.
 
Me reste donc le déplacement de /home (c'est là que j'ai 260Go sur les 280 en gros) dans un point de montage/stockage séparé.
Je le sens moyen, notamment parce que dans /home j'ai aussi le dossier d'accueil (avec .ssh/authorized_keys) de mon user qui gère le serveur. Donc si je restaure un backup du conteneur sans le point de montage de /home, je ne peux plus me loguer...
 
Des suggestions ?