Bonjour,
 
Un pote veut se monter un PC pour faire tourner en local des LLM 14b.  
 
Il n'y connait rien et moi je suis largué
 
J'ai joué vite fait avec le configurateur LDLC:  
https://www.ldlc.com/s/3JEJ9US
 
 
La config si le lien ne fonctionne pas:
Gigabyte Radeon RX 9070 XT GAMING OC 16G  
AMD Ryzen 7 9800X3D (4.7 GHz / 5.2 GHz)  
! ASUS TUF GAMING B650-PLUS  
Arctic Liquid Freezer III Pro 240 (Black)
Samsung SSD 990 EVO Plus M.2 PCIe NVMe 2Tb  
Fractal Design Define 7 Solid Black 189€95
be quiet! Pure Power 13 M 750W 80PLUS Gold  
 
J'ai aussi un message d'alerte qui dit " Support for this processor on compatible motherboards requires a specific recent BIOS."
C'est gave docteur?
 
Ce serait bien que cette config soit évolutive, dans le sens ou si ça lui plait il puisse ajouter une deuxième CG.
Très important aussi: Ce n'est pas un gamer, j'ai entendu parler de ces CG moins chères qui ne servent pas à jouer, mais à première vue ce n'est pas facile de s'en procurer? Genre les Arc Pro B60 et tout.

Hello, World
 
C'est une bonne initiative, mais pour une machine dédiée exclusivement à l'IA locale (LLM), cette configuration passe à côté des vrais besoins !
 
Voici l'analyse :
 
 
L'alerte BIOS, c'est grave ?
 
Non, pas du tout ! Le Ryzen 9800X3D est sorti après la carte mère B650 ! Il faut juste mettre le BIOS à jour ! La carte ASUS choisie possède le bouton "BIOS FlashBack", ce qui permet de faire la manipulation avec une simple clé USB sans même installer le processeur ! LDLC propose aussi l'option directement au montage si besoin !
 
 
Le piège des composants "Gaming" pour l'IA !
 

• Le GPU AMD : À éviter pour un débutant ! Même si AMD s'améliore, l'écosystème Nvidia (CUDA) reste la norme absolue pour faire tourner des outils comme Ollama ou LM Studio en un clic ! Avec AMD, ton pote va passer son temps à gérer des problèmes de dépendances ! Pour un modèle 14b, il faut viser la mémoire avant tout (16Gio de VRAM strict minimum, 24Gio idéalement) !
• Le CPU (Ryzen 7 9800X3D) : C'est le roi du jeu vidéo, mais son cache 3D ne sert à rien pour les LLM car le GPU fait >95% du travail ! Autant économiser en prenant un simple Ryzen 5 7600 et mettre la différence dans la carte graphique ou la RAM système (32 ou 64Gio de RAM requis) !

 
L'évolutivité vers une deuxième carte graphique !
 
Pour ajouter un second GPU plus tard, la configuration actuelle bloque sur trois points :
 

• La carte mère : La B650-PLUS bride le second port PCIe en passant par le chipset ! Il faut une carte mère X670E ou X870E pour diviser correctement les lignes en x8/x8 depuis le CPU !
• L'alimentation : 750W suffisent pour une carte, mais il faudra anticiper minimum 1000W pour un double GPU !
• Le format : Les cartes "Gaming" triple-slot s'étouffent entre elles si elles sont collées ! Le multi-GPU nécessite des formats "Blower" (turbine) ou des cartes très fines pour expulser l'air chaud à l'arrière du boîtier !

 
L'option des cartes pro et l'Intel Arc Pro B60 !
 
C'est une excellente piste sur le papier ! La Arc Pro B60 offre 24Gio de VRAM pour un prix correct et possède un format Blower parfait pour le multi-GPU ! Les 24Gio permettent de faire tourner un modèle 14b avec une grande fenêtre de contexte (la mémoire à court terme de la discussion) sans ralentissement !
Cependant, l'écosystème Intel (oneAPI) demande encore un peu de bidouille par rapport à l'écosystème Nvidia, et ces cartes professionnelles sont difficiles à dénicher chez les revendeurs grand public ! Le choix le plus simple et sans prise de tête reste une RTX 4060 Ti 16 Go pour débuter à petit prix, ou une RTX 3090 24 Go d'occasion pour être tranquille !
 
 
Quel est le budget total maximal de ton pote pour cette machine ?
 
À la revoyure camarade

Ben sur gimini ils disent qu'il faut surtout beaucoup de vram et de ram et une bonne alim (850W min) en raison des cartes graphiques qui  
ont beaucoup de vram donc qui consomme beaucoup.  
(discours qui se tient car la 3090 consomme quand même pamal mais tout dépend de la carte graphique, c'est pas la même avec la 5070TI...)  
En gpu pas cher gimini conseil : 4070super/4080/4080super, du coup je dirais la 5070TI si en neuf.  
L'alternative étant la 3090 pour la vram. (mieux)  
Niveau cpu il y a le 9700X qui est pamal car pas cher comparé au gpu/ram.
Même si c'est pas une obligation d'avoir un bon cpu, c'est pas la que le budget va s'effondrer.  
Ram: c'est la que cela fait mal, l'idéal étant 64 GO. (32GO si le budget coince mais pas recommandé)
Bref c'est un gros budget...

Merci beaucoup pour vos réponses!
 
Alors pour le budget, mon pote à la grande chance de ne pas vraiment être limité (le salo). Il m'a dit 3000 ça va.
 
Mais bon 3000 boules pour faire tourner du 14b je trouve ça vraiment abusé, même par les temps qui court.
 
Enfin bref, on est pas trop limité niveau budget, faut juste un truc qui tourne easy peasy, parce qu'il n'y connait pas grand chose en info.
 
 
Voici donc la nouvelle config: https://www.ldlc.com/s/39JYPUM
 
MSI GeForce RTX 5070 Ti 16G VENTUS 3X OC 1 079€95
AMD Ryzen 7 9700X (3.8 GHz / 5.5 GHz) 349€95
MSI PRO X870E-P WIFI 279€95
Arctic Liquid Freezer III Pro 240 (Black) 79€95
Samsung SSD 990 EVO Plus M.2 PCIe NVMe 2Tb 349€95
Fractal Design Define 7 Solid Black 189€95
be quiet! Pure Power 13 M 750W 80PLUS Gold 99€95  
 
 
J'ai changé le Proc et la CG pour une 5070TI. Et la CM aussi.
 
Et j'ai un nouveau message d'alerte pur le proc : This processor requires the use of a high-performance cooling system capable of dissipating at least 90W (sold separately). Your motherboard's BIOS may need to be updated to support this processor, so check with the motherboard manufacturer's website before attempting to install it.  
 
L'Arctic Liquid Freezer III Pro 240 que j'ai choisi fera l'affaire? Et pour le Bios grâce à vous j'ai moins peur il n'y à que 100$ de différence entre le 7600 et le 9700 donc pouf 9600.
 
Concernant la CM, je vois deux X870E à des prix très différents:
ASUS ROG STRIX X870E-E GAMING WIFI   549€95
MSI PRO X870E-P WIFI  279€95
 
Je suppose que la gaming truc c'est pour les gamer que que je peux donc prendre l'autre?
L'alim à 750W ferait tourner la 5070 tranquille et vu le prix des alim, il pourra s'en acheter une autre au cas ou il veut up sa config dans l'avenir. (Et je récupérerais sa 750 au passage, gniark gniark)
 
J'étais content d'être à 2500$ pour la config, quand je m'aperçois que je n'ai pas mis de RAM dedans
Je vais partir sur du 32G, je pense que c'est largement suffisant, vous voyez un vrai gain de passer à 64? Les prix de la RAM me font mal au bide.
 
Je vois la Kingsman Gaming DDR5 Master 32 GB (2x 16 GB) 6000 MHz CL42 à 399€
et la        G.Skill Trident Z5 Royal Neo 32 GB (2 x 16 GB) DDR5 6000 MHz CL28 - Silver à 600€
 
Dans ma tête CL42 c'est au dessus de CL28, quelle est la différence? Laquelle vous conseillez pour un usage LLM?
 
 
Merci beaucoup pour votre aide en tout cas, je suis vraiment largué de ouf.  
 

De retour  
 
Voici déjà une première itération de configuration de ma part !
 
Remarque que tous les choix sont de l'ordre du strict nécessaire (LLM 14b), si ton pote veux faire plus (32b ; génération d'image ; conversation très conséquente ; etc…), il faudra augmenté certains composants (seconde CG ; capacité de stockage SSD doublé ; quantité de mémoire vive passé à 64Gio ; etc…) pour tenir la route !
 
L'AIO fera amplement l'affaire, mais avec un simple AMD Ryzen 5 7500F, le VentiRad Thermalright Peerless Assassin 120 SE est lui-même large !
 
Difficile de choper une MoBo avec deux port PCIe 5.0 (x8/x8), le mieux serait une ASUS ProArt B850-Creator WiFi, mais trouvable plutôt à l'unité (Amazon FR) [~300€] !
 
Moi aussi, cela m'a échapper pour la mémoire vive
 
Si la fréquence profite avec des valeur les plus grandes, pour le CAS latency, il vaut mieux que celui-ci soit le plus petit possible ! Remarque que cela (fréquence & CAS) à un effet sans réel importance sur les résultats (pour avoir un réel impact, il faudrait partir sur un serveur monté avec de la HBM, mais à un prix sidéral et sidérant) !
 
@+ camarade

Hum c'est la carte mère ou je m'étais rétracté la...  
Il fallait télécharger des drivers et impossible de la faire fonctionner car elle ne reconnaissait pas les drivers.
Bon après j'ai peu être jouer de malchance ou alors j'ai peu être fait une mauvaise manip à un moment donné, c'est possible.  
De toute façon c'est possible de se rétracter si jamais même problème, c'est en tout cas une très bonne CM sur le papier.  
Sinon gimini dit que c'est vraiment le confort absolu d'avoir 2 5060TI 16 GO + 32GO de ram en raison des 32GO de vram.  
Alors bon malheureusement c'est juste une IA et je n'y connais rien mais au cas ou.  

Ce sujet a été déplacé de la catégorie Hardware vers la categorie Intelligence Artificielle par TotalRecall

Du 14b c'est pas beaucoup demander tant qu'on est au moins en Q4, même avec un gros contexte ça rentre à l'aise sur une CG avec 16Go comme la 9070XT prévue initialement ou la nVidia.  
S'il veut plus de confort il peut aussi prendre une Radeon R9700 AI, elles ont 32Go de base ce qui apporte un énorme plus pour faire tourner du plus gros LLM sans coûter trop cher vu qu'il a les moyens. Les Intel B60 / B70 peuvent aussi être très intéressantes. La quantité de VRAM est vraiment un critère crucial dès qu'on veut faire tourner des modèles un peu costauds (même si le support logiciel est super important aussi évidemment).

Un petit test de la B70 où elle laisse tout le monde très loin derrière elle en LLM : https://hardwareand.co/dossiers/gpu [...] ge?start=9
Sortie très récemment donc j'ai pas encore pu corroborer ça mais elle m'intrigue clairement.

Ah oui jolie config PixelMaZe! Je vais envoyer ça au copaing, je pense que ça va l’intéresser.
 
La B70 à l'air intéressante sur le papier effectivement. Mais oui la partie logiciel sur les intel, ça ne me fait pas rêver.  
 
 
Je vous remercie toutes et tous pour vos conseils et informations en tout cas, comme d'hab HFR est une mine d'infos.