Reprise du message précédent :

 
Tout dépends du modèle que tu comptes charger et du nombre d'utilisateurs, si c'est du MoE pour un utilisateur le CPU et la RAM peuvent aident. Si c'est du dense multi-user, je ne pense pas que ça sera vraiment utile. Après je dis ça juste avec ma petite expérience avec llama.cpp, pour VLLM je sais pas.
 
C'est quoi les CPUs des Xeon récent avec de la DDR5?

 
Je sais pas comment ils ont fait, mais déà le fait de pas le mettre en face de Qwen 3.6, c'est un peu dommage
 
Sinon les retours sont pas forcément très bon, pas mal de problème de tool calls:
https://huggingface.co/deepreinforc [...] iscussions
 
Il y a un an le fine tuning pouvait être intéressant, mais clairement plus maintenant. Vu que ça coûte rien en GPU par rapport à un training complet, je vois pas pourquoi les concepteurs de LLM ne l'auraient pas déjà fait...

Ca sera de l'epyc en ddr5. Quelques utilisateurs simultanés max, je pense que je vais essayer de faire tourner un Deepseek Flash complet mais j'ai pas encore réfléchi à ce qui était possible. Peut être qu'un deepseek pro ou un gml 5.2 salement quantisé peut marcher aussi mais j'ai peur que ça soit moins bon.

 
Dflash passe sans soucis:
https://huggingface.co/deepseek-ai/ [...] /tree/main
 
GLM 5.2 en IQ4_XS, mais avec un paquet d'experts en CPU, mais je pense que c'est plus pour le fun qu'autre chose:
https://huggingface.co/unsloth/GLM-5.2-GGUF

Je sais bien . Mais ça reste marrant à lire, surtout dans le contexte tarifaire actuel.

Merci pour la vidéo, j'étais passé à côté ! En pauvre que je suis c'est plutôt le 9b que je compte tester que le 35 (même si avec un peu d'offload ça rentrerait aussi en q4), mais ça reste très intéressant comme comparaison.

 
C'est quoi ton hard?
Un Q4 ça commence a bien marcher!

Désolé si ça a déjà été posé mais faire tourner des LLM en local sur un portable a des "conséquences" sur la batterie ou autre ?

Je sais plus si j'avais lu ça ici

J'ai un macbook pro M5 avec 64go et j'aimerais un peu expérimenter mais pas envie de faire cramer la machine qui est assez récente

branche la sur le secteur

Autant que si tu fais quelque chose qui consomme beaucoup  
Je ne comprends pas le sens de la question

J'avais lu je ne sais plus où que ça sollicitait énormément et que ça dégradait la batterie (oui c'est vague)
 
Bon après, sur mac, en laissant sur secteur, ça devrait effectivement régler le soucis
 

Pas tant que ça finalement. Y’a plein d’unités de calcul qui se tournent les pouces (CPU, encodage de médias, tout le bordel qui fait que de la 3D …
 
Mais oui c’est mieux de le faire connecté au secteur

 
Bullshit  

Pas tant que ça, des grosses compile ou de l'inférence ça bouffe la batterie de mon m4 en une grosse heure. Ça te bouffe un cycle inutilement si t'as moyen d'être branché.

Si je crée une appli qui affiche du contenu généré par ia. Je ne sais pas encore à quel dosage.  
Comment estimer ce qui est plus intéressant entre prendre un gros serveur gpu / ia et faire tourner un modèle local ou utiliser un API d’une ia connue?

 
Ca reste un usage normal, pas de raison que les llm "abîme" quoi que ce soit, sinon a ce compte là n'importe quel usage qui consomme a les même soucis

OK

Plutôt de l'avis de neo world : ça sollicite juste des parties bien spécifiques d'un GPU "généraliste", donc il a de bonnes chances de tourner à peine à la moitié de son enveloppe thermique max prévue pour les usages les plus stressants. Donc si la machine est correctement foutue, faire de l'IA c'est pas si terrible.
Ma CG dissipe nettement moins en faisant tourner un LLM à >20b de paramètres qu'en faisant de la 3D intensive par exemple, ça doit pouvoir se comparer avec des benchs.
Ce qui peut craindre c'est le cumul : usage soutenu prolongé + mauvais refroidissement + température ambiante élevée, etc. Mais autant que pour n'importe quel usage.
 

Faire tout en local ça implique de comprendre la théorie et de maitriser une stack assez lourde, et d'avoir le matos adéquat (CG avec 24Go de VRAM minimum, etc). Si t'as pas déjà le matos on est vite à plusieurs milliers d'euros.  
Sachant que si tu veux utiliser confortablement ta machine pendant qu'elle bosse aussi sur ton projet, c'est un peu mort vu que ses ressources seront phagocytées par l'IA.  
Alors qu'un abonnement à Claude (par exemple) c'est relativement raisonnable, tu peux l'arrêter si t'as fini ton projet, tu payes pas l'électricité, et t'as pas besoin d'avoir un PC de la NASA pour le faire tourner vu que tout se passe sur le cloud d'Anthropic. Et c'est ultra optimisé et fine-tuné nativement pour faire du développement de logiciel. Et tu peux commencer avec la version "pas chère" et ajuster le forfait selon ton usage réel, si ça se trouve même la version à 20$ par mois fera très bien le taf pour ton besoin.
Une solution intermédiaire c'est de faire tourner ta propre IA, mais sur un serveur que tu loues, genre VPS dédié IA à la Vast.AI. C'est plus "local", mais ça coûte, et on en revient à la problématique de tout ce qu'il faut maitriser.
Si t'as pas prévu de faire une carrière dans l'IA, je te conseille de partir sur un truc tout fait, clé en main, façon Claude.

Une RX 9070XT, donc 16Go VRAM (et 64Go DDR5 derrière).
J'ai de plutôt bons résultats avec Gemma 4 26B A4B QAT (15Go) ou du GLM 5.1 9b (10Go) par exemple.
Alors que clairement les modèles 35b type Qwen 3.6 ça tourne pas bien, même en Q4 c'est ultra mou.
Je ne lui fais pas faire des trucs de fou (j'utilise Claude et Github Copilot pour la productivité), plutôt des trucs en local avec des données que je ne veux pas mettre sur internet, ou des conneries genre leur envoyer des photos de grosses piles de bouquins pour y faire l'OCR des auteurs/titres, ça même le petit Gemma4 e4b le fait à merveille.

Si je décide de bosser plus intensivement en local je mettrai sans doute un peu de sous dans une carte à 32Go de RAM mais c'est pas ma priori immédiate.

non tu nas pas compris de quel besoin je parle
je veux intégrer de l'ia dans une app que je vais mettre sur l'app store. quoi qu'il je risque d'avoir bcp de frais
donc : IA locale chez moi, cest surement pas adapté, mais une IA sur un serveur optimisé pourqoi pas ? cher, mais plus interessant/rentable que payer du mistral API ?
(chez moi chez une RTX 3080 et 32Go de ram derriere, mais cest pas le but de lutiliser elle, elle je lutilise pour faire du ComfyUI, j'ai qwen GGUF qui est tres bon dedans (jai mis quelques photos dans le topic photos generées par ia))

Ah ok, oui c'était pas clair, je croyais que tu voulais vibe-coder un truc à coups d'IA et que tu demandais si il vaut mieux du local ou un abonnement.

Je ne vois vraiment pas comment on pourrait te répondre de façon précise sans avoir une idée minimale de la nature du besoin à couvrir, des temps de réponses que tu espères offrir pour chaque requête, du nombre d'utilisateurs simultanés... Etc.
Mais si tu veux "plafonner" le coût je pense qu'il vaut mieux que tu maitrises l'infrastructure (ce qui ne veut pas dire "posséder" ), parce que tous les services "API à consommer" vont se tourner de plus en plus vers de la facturation au token, ça peut vite grimper hors de contrôle .

En effet.  
La question en vrai c’est comment mesurer. Je vais sûrement commencer avec mistral api au token

faut aller sur des edge model capables de tourner sur les NPU apple (Apple Neural engine) / Samsung (NPU)  / Google (TPU). Tu pourras trouver pléthore de ces petits LLM vraiment plus limités que les gros modèles mais efficaces si ton cas d'usage d'IA est pas trop complexe

pour ceux qui ont des emmerdes avec leur matos AMD, vous avez jeté un oeil ici ? https://developer.amd.com/playbooks/
 
y'a une section pour le strix halo mais aussi AMD Radeon RX 9000 series ...

 
Ya pas la BC250

Je suis surpris que t'ai pas encore commandé de Huawei sur Aliexpress

Vu que GLM 5.2 a été optimisé dessus, autant partir sur du Huawei.  
C’est moins cher ?

J'ai failli, mais c'est pas encore supporté par llama.cpp, et il n'y pas de drivers Linux ou Windows et les docs sont en chinois. De plus il me semble que c'est un dual GPU, donc d'autant plus difficile a bien faire marcher. Dernier point, je sais pas pour la perf du GPU, mais c'est de la DDR4x, donc pas trop au niveau de la BP et donc PP.
 
La BC250 a une bonne communauté et au pire j'en fais une SteamMachine. La Huawei, au pire j'en fais un presse papier à 1000€

1500 balles pour une carte qui fonctionne qu’avec le cpu pour serveur de huawei et de la simple DDR. Ça commence a etre contraignant. Y’a les 910c a vérifier mais avec de la HBM cette fois mais le prix est probablement en rapport    
 
Sinon tout le monde lance des alertes sur le prix de la RAM (genre jusqu’à 2028 au bas mot. micron a réussi à sécuriser un prix élevé pour sa RAM pour au moins 5 ans avec ses gros acheteurs. Les autres ont du faire pareil). Si vous pouvez attendre faites-le mais inutile de retarder de quelques mois votre achat à priori les prix seront toujours n’importe quoi à ce moment là  

I Asked Claude Fable 5 to Improve llama.cpp.. and It Did
https://www.youtube.com/watch?v=VytSYCDhWQ0
 
Vidéo intéressante de Codacus, cette fois avec sa 3060 12GB au lieu de la 1060!

Pour ceux qui ont veulent améliorer les perfs en local
 
 

 
https://blogs.nvidia.com/blog/gtc-2 [...] rk-station
 
 

Merci pour le partage mais seulement 2 PCIe 6.0, je passe

pour 100k à peine on aurait tord de se priver https://bizon-tech.com/gb300.html
 
livré à partir de Septembre pour une rentrée sous le signe de l'acceleration

J'hésite

(juste quelques SSDs en plus)

tu penseras à faire poser une prise renforcée sur un circuit dédié et demander du 9kva au compteur. Ça bouffe un peu à la prise
 
j'espère que la clim est bonne d'ailleurs. Ca risque de chauffer un peu à l'usage

 
Allez j'ai encore du crédit pour Fable, je lui ai donné le github et l'accès ssh sur une des bc250, on verra ce que ca donne

D'ailleurs pour répondre a la question "est-ce qu'il y  adu gain a unlock des core sur la bc-250 ?"
 

pas mal C'est avec quel modèle ?

Qwen3.6-27B Q3_K_S
 
Pour bien mettre la carte à l'agonie c'est parfait

Elle a deux CU morts ?
Il me semble qu'il y en a 40 dans le silicium

 
C'est pas compris dans le prix?
Tanpis, je pendrais d'autres BC250 alors
 

 
Curieux du résultat; j'ai prévu de faire pareil pour cramer mes credits a la fin du mois!
 

 
T'as pas unlock les 40?    
Moi je gagne pas beaucoup a cause du RPC, c'est la dessus que j'aimerais faire bosser Fable, le support du split tensor pour RPC.

Non , j'ai deux core qui sont HS.
Si AMD a bloqué des cores c'est pas pour rien à mon avis, ca devait être des déchet de la prod pour la ps5, donc c'est de la loterie.

D'ailleurs utilise pas à l'aveugle le patch kernel qui unlock direct les 40, après c'est une boucle de la mort pour en sortir en SSH si t'a le moindre problème

Je suis partis là dessus https://github.com/WinnieLV/bc250-cu-live-manager
Et mappage custom en isolant le CU hs.

Bon le fork donne rien sur la bc250, j'ai coupé court car j'ai un autre axe d'améliorations rapides :
de base j’étais souvent en throttle avec blower+fan d'origine, donc j'avais castré les fréquences gpu a 1500mhz et descendus au max le vcore.

Avec le nouveau système de refroidissement ( rad ouvert + P12 pro) j'ai largement plus de marge thermique, donc maintenant le but c'est de monter au max de fréquences possible sans tout cramer