 |
||
| ||
| |||||
| Dernière réponse | |
|---|---|
| Sujet : Conseils pour config LLM local 14b | |
| barbitoflok | Ah oui jolie config PixelMaZe! Je vais envoyer ça au copaing, je pense que ça va l’intéresser.
La B70 à l'air intéressante sur le papier effectivement. Mais oui la partie logiciel sur les intel, ça ne me fait pas rêver. Je vous remercie toutes et tous pour vos conseils et informations en tout cas, comme d'hab HFR est une mine d'infos. :hello: |
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| barbitoflok | Ah oui jolie config PixelMaZe! Je vais envoyer ça au copaing, je pense que ça va l’intéresser.
La B70 à l'air intéressante sur le papier effectivement. Mais oui la partie logiciel sur les intel, ça ne me fait pas rêver. Je vous remercie toutes et tous pour vos conseils et informations en tout cas, comme d'hab HFR est une mine d'infos. :hello: |
| TotalRecall | Un petit test de la B70 où elle laisse tout le monde très loin derrière elle en LLM : https://hardwareand.co/dossiers/gpu [...] ge?start=9
Sortie très récemment donc j'ai pas encore pu corroborer ça mais elle m'intrigue clairement. |
| TotalRecall | Du 14b c'est pas beaucoup demander tant qu'on est au moins en Q4, même avec un gros contexte ça rentre à l'aise sur une CG avec 16Go comme la 9070XT prévue initialement ou la nVidia. S'il veut plus de confort il peut aussi prendre une Radeon R9700 AI, elles ont 32Go de base ce qui apporte un énorme plus pour faire tourner du plus gros LLM sans coûter trop cher vu qu'il a les moyens. Les Intel B60 / B70 peuvent aussi être très intéressantes. La quantité de VRAM est vraiment un critère crucial dès qu'on veut faire tourner des modèles un peu costauds (même si le support logiciel est super important aussi évidemment). |
| TotalRecall | Ce sujet a été déplacé de la catégorie Hardware vers la categorie Intelligence Artificielle par TotalRecall |
| max022 | Hum c'est la carte mère ou je m'étais rétracté la... Il fallait télécharger des drivers et impossible de la faire fonctionner car elle ne reconnaissait pas les drivers. Bon après j'ai peu être jouer de malchance ou alors j'ai peu être fait une mauvaise manip à un moment donné, c'est possible. De toute façon c'est possible de se rétracter si jamais même problème, c'est en tout cas une très bonne CM sur le papier. Sinon gimini dit que c'est vraiment le confort absolu d'avoir 2 5060TI 16 GO + 32GO de ram en raison des 32GO de vram. Alors bon malheureusement c'est juste une IA et je n'y connais rien mais au cas ou. |
| PixelMaZe | De retour :bounce: Voici déjà une première itération de configuration de ma part ! Remarque que tous les choix sont de l'ordre du strict nécessaire (LLM 14b), si ton pote veux faire plus (32b ; génération d'image ; conversation très conséquente ; etc…), il faudra augmenté certains composants (seconde CG ; capacité de stockage SSD doublé ; quantité de mémoire vive passé à 64Gio ; etc…) pour tenir la route ! L'AIO fera amplement l'affaire, mais avec un simple AMD Ryzen 5 7500F, le VentiRad Thermalright Peerless Assassin 120 SE est lui-même large ! Difficile de choper une MoBo avec deux port PCIe 5.0 (x8/x8), le mieux serait une ASUS ProArt B850-Creator WiFi, mais trouvable plutôt à l'unité (Amazon FR) [~300€] ! Moi aussi, cela m'a échapper pour la mémoire vive :ange: Si la fréquence profite avec des valeur les plus grandes, pour le CAS latency, il vaut mieux que celui-ci soit le plus petit possible ! Remarque que cela (fréquence & CAS) à un effet sans réel importance sur les résultats (pour avoir un réel impact, il faudrait partir sur un serveur monté avec de la HBM, mais à un prix sidéral et sidérant) ! @+ camarade :hello: |
| barbitoflok | Merci beaucoup pour vos réponses!
Alors pour le budget, mon pote à la grande chance de ne pas vraiment être limité (le salo). Il m'a dit 3000 ça va. Mais bon 3000 boules pour faire tourner du 14b je trouve ça vraiment abusé, même par les temps qui court. Enfin bref, on est pas trop limité niveau budget, faut juste un truc qui tourne easy peasy, parce qu'il n'y connait pas grand chose en info. Voici donc la nouvelle config: https://www.ldlc.com/s/39JYPUM MSI GeForce RTX 5070 Ti 16G VENTUS 3X OC 1 079€95 AMD Ryzen 7 9700X (3.8 GHz / 5.5 GHz) 349€95 MSI PRO X870E-P WIFI 279€95 Arctic Liquid Freezer III Pro 240 (Black) 79€95 Samsung SSD 990 EVO Plus M.2 PCIe NVMe 2Tb 349€95 Fractal Design Define 7 Solid Black 189€95 be quiet! Pure Power 13 M 750W 80PLUS Gold 99€95 J'ai changé le Proc et la CG pour une 5070TI. Et la CM aussi. Et j'ai un nouveau message d'alerte pur le proc : This processor requires the use of a high-performance cooling system capable of dissipating at least 90W (sold separately). Your motherboard's BIOS may need to be updated to support this processor, so check with the motherboard manufacturer's website before attempting to install it. L'Arctic Liquid Freezer III Pro 240 que j'ai choisi fera l'affaire? Et pour le Bios grâce à vous j'ai moins peur :) il n'y à que 100$ de différence entre le 7600 et le 9700 donc pouf 9600. Concernant la CM, je vois deux X870E à des prix très différents: ASUS ROG STRIX X870E-E GAMING WIFI 549€95 MSI PRO X870E-P WIFI 279€95 Je suppose que la gaming truc c'est pour les gamer que que je peux donc prendre l'autre? L'alim à 750W ferait tourner la 5070 tranquille et vu le prix des alim, il pourra s'en acheter une autre au cas ou il veut up sa config dans l'avenir. (Et je récupérerais sa 750 au passage, gniark gniark) J'étais content d'être à 2500$ pour la config, quand je m'aperçois que je n'ai pas mis de RAM dedans :/ Je vais partir sur du 32G, je pense que c'est largement suffisant, vous voyez un vrai gain de passer à 64? Les prix de la RAM me font mal au bide. Je vois la Kingsman Gaming DDR5 Master 32 GB (2x 16 GB) 6000 MHz CL42 à 399€ et la G.Skill Trident Z5 Royal Neo 32 GB (2 x 16 GB) DDR5 6000 MHz CL28 - Silver à 600€ Dans ma tête CL42 c'est au dessus de CL28, quelle est la différence? Laquelle vous conseillez pour un usage LLM? Merci beaucoup pour votre aide en tout cas, je suis vraiment largué de ouf. |
| max022 | Ben sur gimini ils disent qu'il faut surtout beaucoup de vram et de ram et une bonne alim (850W min) en raison des cartes graphiques qui ont beaucoup de vram donc qui consomme beaucoup. (discours qui se tient car la 3090 consomme quand même pamal mais tout dépend de la carte graphique, c'est pas la même avec la 5070TI...) En gpu pas cher gimini conseil : 4070super/4080/4080super, du coup je dirais la 5070TI si en neuf. L'alternative étant la 3090 pour la vram. (mieux) Niveau cpu il y a le 9700X qui est pamal car pas cher comparé au gpu/ram. Même si c'est pas une obligation d'avoir un bon cpu, c'est pas la que le budget va s'effondrer. Ram: c'est la que cela fait mal, l'idéal étant 64 GO. (32GO si le budget coince mais pas recommandé) Bref c'est un gros budget... |
| PixelMaZe | Hello, World [:disturbed angel:2]
C'est une bonne initiative, mais pour une machine dédiée exclusivement à l'IA locale (LLM), cette configuration passe à côté des vrais besoins ! Voici l'analyse : L'alerte BIOS, c'est grave ? Non, pas du tout ! Le Ryzen 9800X3D est sorti après la carte mère B650 ! Il faut juste mettre le BIOS à jour ! La carte ASUS choisie possède le bouton "BIOS FlashBack", ce qui permet de faire la manipulation avec une simple clé USB sans même installer le processeur ! LDLC propose aussi l'option directement au montage si besoin ! Le piège des composants "Gaming" pour l'IA !
|
| barbitoflok | Bonjour,
Un pote veut se monter un PC pour faire tourner en local des LLM 14b. Il n'y connait rien et moi je suis largué :) J'ai joué vite fait avec le configurateur LDLC: https://www.ldlc.com/s/3JEJ9US La config si le lien ne fonctionne pas: Gigabyte Radeon RX 9070 XT GAMING OC 16G AMD Ryzen 7 9800X3D (4.7 GHz / 5.2 GHz) ! ASUS TUF GAMING B650-PLUS Arctic Liquid Freezer III Pro 240 (Black) Samsung SSD 990 EVO Plus M.2 PCIe NVMe 2Tb Fractal Design Define 7 Solid Black 189€95 be quiet! Pure Power 13 M 750W 80PLUS Gold J'ai aussi un message d'alerte qui dit " Support for this processor on compatible motherboards requires a specific recent BIOS." C'est gave docteur? Ce serait bien que cette config soit évolutive, dans le sens ou si ça lui plait il puisse ajouter une deuxième CG. Très important aussi: Ce n'est pas un gamer, j'ai entendu parler de ces CG moins chères qui ne servent pas à jouer, mais à première vue ce n'est pas facile de s'en procurer? Genre les Arc Pro B60 et tout. |
