Bonjour à tous,
 
   
 
Aucune idée si je suis dans la bonne section !    
 
Je me permets de poster pour vous demander si vous auriez des retours d'expériences avec des LLMs locaux et les cartes AMD, notamment la 9070xt ?
 
Ce serait pour me faire un avis ... coté écosystème logiciel entre nvidia et amd sur ce point ...  
Par exemple en utilisant ollama et un des models mistral AI ?  cuda vs rocm  donc en terme de support logiciel, simplicité, maturité, perspective  
 
Vous me voyez venir : mettre en concurrence la radeon 9070xt  !  
 
Coté perf jeuxvideos, avec les derniers drivers, ca me parait kiffkiff dans les tests (par kiffkiff j'entends, de toute facon si ca passe pas sur une 5070 ti ca ne passera pas sur 9070xt et inversement).
 
Pour l'instant je souhaite juste me lancer sur le sujet en local llm,  me faire des ateliers, etc...  
En plus de jouer aux jeuxvidéos hein    
 
 
 
Merci d'avance  
 
 
Merci d'avance !

C'est surtout là le gros gap AMD/Nvidia.
Nvidia a sa stack CUDA depuis longtemps et elle a été intégrée aux frameworks PyTorch, TensorFlow et autres.
C'est super optimisé.
 
Côté AMD, ils tentent de rattraper le retard avec ROCm.
C'est plutôt pas mal sur Linux mais à la traine sur Windows.

Merci de ton retour

Bein historiquement, j'ai tjrs connu de meilleurs driver avec nvidia qu'avec ATI ...
Et le support logiciel va dans le bon sens chez  AMD, mais reste à priori plus jeune, et coté IA/llm, moins diffusé (cuda ...)

Quand tu dis pas mal, équivalent ou y a toujours un bidule, un machin qui gratouille dans un coin ?

Tu peux commencer par installer LM Studio, il est facile à utiliser sous windows.  
Faudra juste lui dire de télécharger ROCM pour ta carte graphique pour qu'il utilise bien ta carte AMD.
 
Et il faudra que tu télécharges des modèles 8b ou 9B pour que ça rentre dans ta VRAM.
Attention, si tu as 16 GO de VRAM, ne prends pas un modèle qui fasse 16GO au total, il faut de la VRAM de libre pour les conversations chargées.
Vas jusqu'à 12GO max pour qu'il te reste 4 Go de contexte.
 
Si ça te plait et que tu veux attaquer les IA de l'extérieure de ton domicile, tu pourras coupler ensuite LM Studio à Open WebUI.
Mais commence déjà à tout faire tourner sur LM Studio.

Tu peux regarder ici ce que ça donne entre une 9060 XT et une 5060 TI qui ont un peu près la même puissance en jeu.
 
https://www.youtube.com/watch?v=BzLaALDc1bw
 
En gros Avantage a Nvidia bien sûr, sur LM studio windows c'est encore proche mais sous ollama linux, ou la generation video : Nvidia écrase AMD
 
L'ecosysteme CUDA + GDDR7 donc meilleure bande passante : Nvidia imbattable sur l'IA pour l'instant.
 
On verra avec la prochaine generation de GPU chez AMD
 

Perso j'utilise KoboldCpp, qui repartit automatiquement la charge entre la memoire CPU et la memoire GPU.
Comme j'utilise de gros modeles (Mistral-Small-3.2-24B-Instruct-2506-BF16.gguf par exemple, qui fait 46 Go), c'est surtout le CPU qui travaille, etant donne que ma carte graphique n'as que 16 Go de VRAM

CUDA vs ROCm ça va vite sur Windows : le deuxième n'est toujours pas complètement implémenté, donc on fait une croix sur l'accélération GPU PyTorch sur cet OS avec tout ce que ça implique en terme de galère.
 
LM Studio sur Windows utilise un backend Vulkan donc ça fonctionnera probablement très bien avec la 9070 XT, mais pour l'instant que ce soit en terme de perf et de support, Nvidia est devant dans la discipline, ce qui n'est pas très étonnant puisqu'ils en font leur cœur de métier depuis plusieurs années maintenant.
 
A noter que PyTorch supporte aussi les GPU Intel, les Arcs sont de bonnes candidates pour faire de l'IA générative à la maison pour pas cher tant que l'on utilise des modèles qui rentrent dans la VRAM de la carte (les A750 se touchent pour guère plus de 200 balles et offrent 16GB de mémoire).

Merci pour vos retours !

Au delà de la rapidité, aussi le support, la maturité de l'écosystème.

Des intérêts à aller sur Windows ou linux ? les soft ne sont pas disponibles sur les deux OS ?

Merci pour les billes ! Tjrs un peu hardus de mettre le pied à l'étrier

Donc probablement le même type de diff entre 9070xt et 5070 ti

Hum et la RAM est aussi bien chargée ? 48Go de RAM ca passerait ? d'ailleurs est ce que ca tire fort sur le ssd ?
J'essaye de noter dans un coin de mémoire "KoboldCpp"  

Heu j'ai beaucoup à lire avant de me lancer j'imagine  
Et les maths c'est un peu loin  ...  
 
Auriez vous des liens, des docs à lire et étudier pour se lancer sur le sujet ?  
L'idée serait d'en comprendre suffisamment du fonctionnement (sans rentrer dans les maths pure et dure où la je vais me perdre vu l"état de mes maths). Puis de se lancer dans l'installation des outils qui-vont-bien.
 
Et j'avoue, je ne sais pas trop par où commencer ... LM studio, vllm, ollama, openrouter, open-webui,  
 
Je comprends même pas l'objectif de pyTorch, c'est dire ...
 
Merci d'avance !

 
Attention, quand je prends des modèles qui ne rentrent pas dans ma RX 7900 XTX (24 GO VRAM) et que cela part dans la RAM, les performances s'écroulent complètement.
Du coup, je préfère prendre uniquement des IA qui rentrent dans ma VRAM.
 
Ca dépend de ce que tu veux en faire mais moi je l'utilise pour tenter d'avoir une IA un peu généraliste qui va chercher sur internet à ma place (genre Perplexity)..
 
Faut déjà commencer par chercher à quoi tu veux qu'elle te serve.

Ok merci
C'est peut-être cette carte que je devrais prendre vs 5070ti

Pour le moment j'ai en tête :
coder
recherche sur le grand internet
aide au tri des photos
trier mes documents, faire des recherches dans ces documents, en ressortir un de la pile sur multi critères

et j'ai vu un moteur de workflow n8n

Oui, c'est assez lent, j'attends plusieurs minutes pour avoir la reponse.
Perso je l'utilise uniquement comme un dictionnaire encyclopedique, c'est pas tres utile mais c'est juste pour voir a quel point d'intelligence on est rendu actuellement.
Et pour l'instant c'est assez primaire comme intelligence, par exemple l'I.A. est incapable de comprendre que le 11eme siecle va de l'an 1000 a l'an 1099, elle ne sait pas compter

J'ai essayé de faire tourner ROCm sur WSL pour avoir l'accélération GPU pour ma 9070XT pour Podman pour faire du MCP avec du ollama, bah franchement, ma VM podman faisait 100Go à la fin à force d'essayer d'y installer des trucs et j'ai pourtant globalement pas réussi à ce que ça tourne correctement autrement qu'en CPU.
Après je suis une buse en linux et la moitié des commandes que je tapais pour télécharger et installer des packages obscurs sont rapidement devenues un charabia incompréhensible pour moi donc l'utilisateur n'aide pas .
C'était il y a quelques temps aussi, peut être que ça s'est amélioré mais jamais au point d'avoir vu quelqu'un vanter les performances d'AMD dans ce domaine .

Merci de vos retours
 
@Scrabble : si je comprends bien, c'est pour suivre les avancées des modèles avec quelques questions "pieges" ? ou tu t'en sert aussi pour traiter des infos, résoudre des choses ?
 
@TotalRecall : Heu en même temps wsl pour faire des machins nécessitant avec accès bas niveaux au hardware ...

Aucun intérêt à utiliser des modèles FP16 pour ce genre de cas d'usage (agent local pour discuter de la pluie et du beau temps), le même modèle quantifié sur une précision plus faible mais suffisamment élevée pour garder une pertinence des réponses acceptable pèse le quart du modèle d'origine et rentre dans la VRAM d'une carte équipée de 16GB.

Hello,

Je serais preneur de liens vers des articles de "vulgarisation" sur le sujet.
Par vulgarisation, restant un brin technique, mais pas de maths ou très peu (c'est loin maintenant ( ) ... même une double intégrale ... )

Neji Hyuga  : quel usage de ton coté ?  

C'était pas pour une solution durable et optimale, c'était pour tester avec ma RX9070XT, j'utilise podman et cie pour tous les autres usages habituels typiquement, donc je me suis dit tiens faut essayer ça aussi