Reprise du message précédent :
Pour ma part aujourd'hui je suis passé d'un ryzen 2600 à un 5600g, c'est passé par un saut de 20 versions de bios
 
Et paf, ça n'a pas râté, les IOMMU me donnent du fil à retordre, là où j'avais passthrough le son en trois clics dans la version précédente, là j'ai carrément le host qui crashe au lancment de la VM, va falloir creuser.

Quand je vois comment j'ai pinaillé pour passtrough l'intel UHD de mon i5 8500t à mon Plex, force à toi camarade

Tu as un soucis de IOMMu partages ? J’ai eu ça avec une carte réseau qui était sur le même groupe qu’une carte sas hba. Je te retrouve les paramètres grub que j’ai ajouter pour forcer la séparation iommu

 
 
Par contre j'y comprends pas grand chose à grub, je ne sais même pas ce que c'est

alors dans le fichier /etc/default/grub
j'ai commenté l'ancienne ligne et mis celle ci a la place:  
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream"
 
Ensuite tu fais un update-initramfs -u pour mettre a jour avec les nouveaux paramètres et tu reboot proxmox

bonjour
 
 
Je cherche à faire comme la video de jim's garage mais avec une carte nvidia (quadro p2000 et p1000) :  
https://www.youtube.com/watch?v=0ZDr5h52OOE&t=950s
 
j'y suis depuis 2 semaines mais sans succès . Je dois en être au moins à 25 tutos (certains obsolètes ...., d'autres avec des variantes) et ainsi suite.
J'en ai compris le principe mais je suis une quiche car à chaque fois ça ne passe pas. Il doit y avoir des subtilités que je ne dois pas saisir (des droits, des groupes, ...)
 
 
Bref, qq un a t il réussi à le faire sous proxmox 8.1.4 avec jellyfin et une carte nvidia?
 
Je vais essayer avec plex.
 
un peu d'aide serait la bienvenue.  
 
j'avoue , je craque.
 
En vous remerciant

 
Hello,
 
J’ai une nvidia T400 sur une VM ubuntu, jellyfin est sous docker sur la VM.
Ca tourne nickel. C’est ce que tu cherches a faire?

hello
 
merci pour cette reponse
 
Sur la video , il utilise lxc unprivilege plus docker. Donc pas une VM plus docker
 
Mais je crois que je vais me résoudre à faire une vm avec jellyfin et plex (par exemple)
 
 
Je résume en gros de ce j'ai trouvé sur le net et qq liens ( j'en ai balancé pas mal dans la poubelle ....mais en mettant gpu passthrough proxmox lxc, gpu nvidia passthrough proxmox lxc : j'ai un peu fait le tour mais pas avec les connaissances suffisantes j'en ai peur)
 
jellyfin:
 
https://eliasramirezcarrillo.com/do [...] lxc-nvidia
https://clait.sh/posts/gpu-passthrough-proxmox/
https://theorangeone.net/posts/lxc- [...] ssthrough/ (trop vieux ?)
https://github.com/gma1n/LXC-JellyFin-GPU
https://blog.kye.dev/proxmox-gpu-passthrough
https://leo.leung.xyz/wiki/Proxmox
https://medium.com/@MARatsimbazafy/ [...] d0bc474957
 
plex :
https://www.derekseaman.com/2023/04 [...] oding.html
https://jocke.no/2022/02/23/plex-gp [...] n-proxmox/
https://gist.github.com/egg82/90164 [...] 056bbee2eb
 
general linux et autre
 
https://taoofmac.com/space/blog/2023/02/18/1845
https://asded.gitlab.io/post/2023-0 [...] roxmox-04/
 
pour la partie nvidia toolkit, cuda et autres  
 
https://theawesomegarage.com/blog/h [...] ker-on-lxc
 
RESUME: (j en oublie tellement j’ai fait d’essais)
 
- Pas besoin de modifier le grub comme pour une VM
- blacklister le driver : nouveau dans d'autres il faut aussi nvidia
- update  initramfs
 
- dans ceratins tutos,il faut installer vulkan plus drivers nvidia pour proxmox
- dans /etc/modules-load.d/nvidia.conf : le choix varie nvidia-drm,nvidia, nvidia.conf soit deux des fois les trois
 
dans les 70-nvidia.rules  deux declarations des fois trois :  
KERNEL=="nvidia", RUN+="/bin/bash -c '/usr/bin/nvidia-smi -L && /bin/chmod 666 /dev/nvidia*'"
KERNEL=="nvidia_modeset", RUN+="/bin/bash -c '/usr/bin/nvidia-modprobe -c0 -m && /bin/chmod 666 /dev/nvidia-modeset*'"
KERNEL=="nvidia_uvm", RUN+="/bin/bash -c '/usr/bin/nvidia-modprobe -c0 -u && /bin/chmod 666 /dev/nvidia-uvm*'"
 
pour ls -al /dev/nvidia*
tous les tutos ne declarent pas l ensemble des numeros
 
creation du lxc ubuntu ou debian
 
puis nano /etc/pve/lxc/100.conf (100 etant le lxc)
tous les tutos ne declarent pas l ensemble des numeros
 
a priori les lxc.mount.entry ne sont pas trop differents
# Pass through device files
lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-modeset dev/nvidia-modeset none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-uvm-tools dev/nvidia-uvm-tools none bind,optional,create=file
 
je ne parle meme pas des idmap de la facon de les obtenir et s ils sont nécessaires ou pas
 
 
DANS le lxc
 
installer vulkan ou pas
drivers nvidia moi j’ai essayé le 550.54.14
 
nvidia-smi montre bien la carte graphique
dans certains tutos : il faut activer le mode persistant de la carte ou du driver
 
installation nvidia-container toolkit plus celui du cuda (mais qui n’existe plus) selon les tutos
avec modification no-cgroups = true pour le nvidia toolkit
 
installation de docker, docker compose, portainer (optionnel)
 
creation de differents docker-compose contenant :  
deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]
environment:
     - NVIDIA_VISIBLE_DEVICES=all
     - NVIDIA_DRIVER_CAPABILITIES=all
 
resultat : soit j’ai un message d’erreur avec docker compose (il faudra que je refasse la manip) ou alors jellyfin ne permet pas l’encodage gpu. ou ne fonctionne pas
 
j'aurai du être plus organisé dans mes essais

Pas trop suivi mais tu veux passthrough un GPU Nvidia ?
C'était mon setup pendant 3 ans (il y a 3 ans). Tu as acheté un dummy plug ?

C est cela. Dans la vidéo, il met 4 jellyfin en parallèle.
 
Pour le plug, non. Dans les tutos , ils n en parlent pas

Plutôt que de regarder des tutos, tu as suivi la doc officielle ?
https://pve.proxmox.com/wiki/PCI(e)_Passthrough
https://pve.proxmox.com/wiki/PCI_Passthrough
 
Chez moi ça avait suffit

Oui sauf que cela parle de vm .
Ce que je cherche a faire est avec lxc , a priori ce ne sont  pas les mêmes paramètres.
 
Mais je crois qu effectivement je vais surement m orienter vers une VM et a mes heures perdues continuer sur les lxc

j'ai aussi un LXC avec passthrough de mon APU amd cette fois-ci. Ca marche aussi nickel
 
EDIT:
si ton nvidia-smi dans le lxc fonctionne c'est déjà bon signe.
 
la conf lxc m'avait pas parue très compliquée ensuite.
 
Le plus simple serait peut-être de faire une vm avec docker dessus. c'est en plus ce qui est recommandé pour docker (attention je ne lance pas un nième débat lxc/vm pour docker )

Ho je veux bien ta méthode s’il te plaît.
 

pour quoi LXC ou VM?

Pour le lxc avec cpu amd ryzen et donc igpu amd  

Alors voici le fichier de conf lxc:
 
lxc.cgroup2.devices.allow: c 226:0 rwm
lxc.cgroup2.devices.allow: c 226:128 rwm
lxc.cgroup2.devices.allow: c 29:0 rwm
lxc.apparmor.profile: unconfined
lxc.cgroup.devices.allow: a
lxc.mount.auto: cgroup:rw
lxc.cgroup2.devices.allow: c 226:129 rwm
lxc.mount.entry: /dev/dri/renderD128 dev/dri/renderD128 none bind,optional,create=file
lxc.hook.pre-start: sh -c "chown 0:989 /dev/dri/renderD128"
 
je me souviens que le 2 de cgroup2 était important
 
pour être honnête, je ne me souviens plus trop comment j'étais arrivé à cette conf. mais ca marche bien comme ça.
puis install des drivers comme d'habitude et déclaration dans le conteneur (frigate en l'occurence)

Je suis un peu dans le meme cas.
J'ai une nvidia 1030 et je voudrais l'utiliser pour l'accélération cuda dans mon lxc frigate
Pour l'instant je n'ai pas reussi a le faire.

Avec nvidia c'est assez compliqué apparemment a cause de cuda

Tu t’en es sorti ?

Je fais une petite pause dans les essais, mais j' ai trouvé des liens pour frigate me semble t il.
 
Par contre, il me faudra un peu de temps car il a fallu que je vide le cache et l historique de mon navigateur.
 
Des que je le trouve, je fais signe.  
Mais le plus simple est d effectivement passer par une VM et docker

 
Merci bro, je t'en dois une. Je suis passé de 4 groupes à 24 groupes    
Tu ne l'as pas précisé mais j'ai fait un "update-grub" avant le "update-initramfs -u -k all"
Maintenant l'audio est bien isolé, faut encore que je teste le passthrough mais je suis confiant.
Un jour quand je m’ennuierai je testerai le passthrough vidéo.
 
D'ailleurs je n'ai pas repris exactement ta ligne GRUB_CMDLINE, j'ai mis une que j'ai trouvée qui avait plus de paramètres (je suis joueur, j'ai eu la flemme de décortiquer la notice pour chaque paramètre).
 
GRUB_CMDLINE_LINUX_DEFAULT="quiet iommu=pt nofb nomodeset initcall_blacklist=sysfb_init"
 
En pratique, avec cette commande au chargement du initram juste après le menu grub ça a freezé, du coup j'ai redémarré, je me suis mis en recovery, j'ai viré le dernier paramètre et cette fois c'est passé crème.
Ensuite j'ai un peu réfléchi, et je me suis dit que puisque le dernier paramètre est là pour activer le passthrough du GPU, peut être que lors du premier essai le PC n'avait pas freezé mais seulement le GPU avait été dé-alloué de la sortie video standard. Vérifiable en me connectant via le web à l'UI proxmox (ou avec un ping).
Bref, le passthrough sera pour une autre fois, je n'ai pas de besoin immédiat, à part si le iGPU AMD peut servir pour frigate.
 

C'est dans la doc de proxmox
https://pve.proxmox.com/wiki/PCI_Pa [...] _isolation

Tout est dans la doc. J'avais lu cette page avant de me pointer ici. Je n'ai pas été capable pour autant d'en déduire la série de commandes de Flipper203. J'ai pas le QI nécessaire pour me contenter de la doc PROXMOX.

good

Aucune idée si je suis au bon endroit mais je rédige ma demande ici.

Je me suis mis en tête de containeriser et versionner l'intégralité des services et des déploiements que j'utilise. Pour le challenge et aussi pour pousser un peu mes connaissances.
J'ai donc un lab de 2 nodes pve pour mes tests, un node pve en "prod" qui me sert de nas  + 2/3 services at home et un node pve chez hetzner pour la prod.

Historiquement tous les services que j'utilise sont hébergés dans des conteneurs lxc : mail, monitoring (librenms), nextcloud, haproxy, mysql, influx etc mais j'ai également quelques kvm pour jouer avec docker principalement.

J'ai passé quelques soirées à "coder" l'intégralité de mon infra. Je peux maintenant déployer très rapidement une stack de 3 vm (terraform) basées sur un template (packer), sur ces 3 vm je peux déployer un cluster swarm ou k8s (multiples rôles ansible).
Pour l'instant j'ai mis en pause le projet k8s : le cluster fonctionne très bien avec cilium en ingress et ça ronronne parfaitement.

Comme j'ai quasi terminé la "dockerisation" de mes services, je commence à monitorer tout ça avec prometheus, influx, grafana et je me posais la question d'un manager au dessus de mon cluster swarm.

J'ai bien découvert portainer mais les limitations à 3 noeuds dans la version CE me freinent un peu, d'ou la question : avez vous connaissances d'outils d'admin / monitoring orienté client lourd ou web pour superviser et administrer un cluster swarm ? (de préférence open source)

Si tu as fais l'effort d'installer k8s, autant pousser le bouchon un peu plus et faire du gitops avec fleet ou argoCD

 
   
 
J'ai reçu mon nouveau jouet hier : T-BAO R3 PRO https://www.minimachines.net/actu/t [...] nas-119405
Il tourne sur un RYZEN 7 5700U.
 
proxmox dernière mouturure installé proprement. J'ai rappatrié plusieurs VM et LXC qui fonctionnent.
Je bute sur le dernier point : un frigate fonctionnel utilisant l'iGPU du Ryzen et le passthrough d'un Coral aussi.
 
Ce n'est pourtant pas mon premier host Proxmox, je n'ai jamais eu autant de problèmes. mais c'est aussi mon premier sous Ryzen.
J'ai testé en VM, puis avec 2 LXC différents (un sur base Debian puis un second sur base Ubuntu).
J'ai arrêté à 04h du mat' cette nuit après avoir tout retourné dans tous les sens, et toujours impossible de démarrer Frigate qui ne trouve pas de GPU... ca m'a rendu fou, j'ai tout tenté, installé plein de drivers et utils sur l'host et les LXC de partout, changer mes fichiers de conf LXC au moins 100 fois,....    
 
Je vais retenter ce soir en repartant de zéro : réinstaller un host propre et un LXC propre et tout reprendre à tête reposée.
Mais je suis preneur de tout 'tip'.    
 
Il ne me semble pas avoir mis les 'cgroup2' dans mon fichier de conf. Je vais regarde ce que ça change par rapport au 'cgroup'.
 
Quand tu dis 'install des drivers comme d'habitude' : te rappelles-tu exactement de quel drivers tu as installé stp ?
 
Merci  

As-tu regardé ce lien?
https://forum.proxmox.com/threads/h [...] x-7.95285/
https://forum.proxmox.com/threads/h [...] xc.136972/  voir les derniers posts
 
j'avais noté à l'époque cet article interessant:
https://domopi.eu/installation-de-f [...] c-proxmox/
 
Vérifie bien les valeurs que tu mets dans le LXC conf (cgroup et render)
 
Pour répondre à ta question, j'ai mixé avec nvidia, a priori pas besoin de drivers spécifiques.
 
Pour t'aider, est-ce que dans le lxc, tu détecte l'APU avec l'outil radeontop?

J'ai une petite question à propos de LXC, plus d'ordre théorique finalement que pratique : pourquoi ce n'est pas possible de monter un partage SAMBA,NFS dans un ct unprivileged ?

Je voulais monter un PLEX et un Nextcloud sur des LXC unprivileged qui accéderait à des partages SAMBA sur une VM "NAS" (tout ça est encore en phase lab/test), et en me renseignant j'ai vu que ce n'était pas possible. Il faut soit passer par du privileged - qui n'est pas conseillé pour des raisons de sécurités - soit faire un point de montage d'un partage monté depuis l'hyperviseur (pour ça j'ai trouvé des tutos), ou utiliser une VM évidemment

Et je me demandais pourquoi une telle restriction, d'autant qu'apparemment ça n'a pas été le cas dans un passé relativement lointain si j'en crois ce que j'ai lu ? Naïvement ça me semble être aller dans le sens contraire du principe de la virtualisation qui est d'isoler/mettre le moins possible sur l'hyperviseur ?

C'est juste une question par curiosité plus qu'autre chose

Ayant un 5600G et frigate dans une VM, je suis intéressé par la solution pour passer l'iGPU une fois que tu l'auras trouvée.

 
Ces 2 là oui, parmi au moins une centaine d'autres articles/page lues !    
 

 
Celui-ci ne me dit rien en revanche. Mais il balance pas mal de valeurs sans expliquer forcément d'où elle viennent.
 

 
Je l'ai fait. Mais le problème c'est que j'ai tout fait 10 fois et sans doute fait beaucoup trop choses, tout et son contraire.
Ayant compris les principaux points cruciaux, je mise sur le fait que ça tombe en marche du premier coup ce soir en repartant d'une conf vierge !    
 
 

 
Non, pas testé radeontop, mais c'est justement la première chose que je me suis noté à tester ce soir à partir de mes nouvelles lectures à tête reposée ce matin.    
Je testais essentiellement avec vainfo qui me sortait toujours une erreur et pas les même infos que celles retournées par la même commande sur l'host.
Je voyais bien la carte renderD128 dans /dev/dri/.
 
 
Merci de ton aide.    
Retour demain après une nouvelle soirée d'acharnement sans doute !  

 
Je pars plutôt sur la solution conteneur dans un premier temps qui me semble plus simple.
 
Si ça fonctionne je tenterai peut-être de passer à la solution VM qui était mon premier choix : une grosse VM Docker. Mais ça n'est pas gagné. Pour faire du passthrough GPU dans une VM j'ai regardé les iommu et j'ai beaucoup d'éléments sur le même 'groupe'. Il faudra appliquer un script qui redispatche les différents en espérant pouvoir isoler le GPU dans un groupe avec rien d'autre de partagé.... et sans certitude que ça aboutisse.
 
 

Ah bah bienvenue au club, tu n'as peut être pas vu mon parcours, j'ai upgradé mon ryzen 2600 au 5600G en début de mois, je suis retombé à trois groupes IOMMU, j'ai mis les bons paramètres dans le fichier de config machintruc, et maintenant je suis bien, j'en ai 24. J'ai mis le détail une ou deux pages avant.

 
Hello,
 
Tu peux, je l’ai fait et ca marche bien!
 
Utilise un profile apparmor specifique: « lxc-default-with-nfsd »
voici le tuto que j'avais suivi:https://forum.proxmox.com/threads/nfs-server-in-lxc.105073/
 
Cherche LXC NFS , il y a des tutos

 
Mon retour d’exp entre vm et lxc pour frigate est que le lxc est plus reactif (inference speed et interface)
Apres cela ne veut pas forcément dire que la solution vm est mauvaise, peut etre y’avait-il des optimisations a faire. Mais je n’ai pas creusé.

 
Sache pour info, qu’actuellement le gpu est utilisé a 5-10% avec 5 cameras. C’est pas foufou
 
Courage a toi!

 
Même expérience avec mon précédent hyperviseur et un Coral USB : moyenne de 40ms d'inference en VM contre 12ms en LXC toute config égale par ailleurs.
Je reçois lundi un Coral format M.2. J'ai libéré le port M2 Key A/E de la carte-mère pour y coller ce nouveau Coral. Ca sera encore une belle aventure ça.    
 

 
avant d'avoir mon coral usb, j'avais un M2 et j'avais réussi à le passer dans un LXC et une VM sans soucis

C'est plus facile de passer le iGPU à un lxc plutôt qu'à une VM? Le cas échéant c'est tentant de basculer mon frigate sur un lxc.

 
 
Comme espéré, tout est tombé en marche en quelques minutes hier soir en repartant d'une install propre host + conteneur sur base Debian.
En synthèse la seule chose qui me semble avoir été nécessaire a été l'installation du paquet 'mesa-va-drivers' sur mon host pour gérer l'IGPU AMD.
Le reste c'est que du standard : création du LXC, montage de la carte renderD128 en vérifiant bien 3 fois la syntaxe dans le fichier du conf du conteneur.
Côté conteneur je n'ai rien fait.
 
Mon Frigate a bien démarré. L'iGPU gère le transcodage hardware, et le Coral USB se charge de la détection.
J'utilise 3 caméras 1440p (1440p@20FPS pour l'enregistrement mais je fais la détection sur un flux 360p@6FPS).
Inference speed du Coral < 10ms
Charge iGPU < 5%.