Reprise du message précédent :
T'arrive après la guerre , hermess

Hello   ,
RTX 3060 12gb et Ryzen 3600X, sous Linux.
 
Ce soir, je teste Qwen 3.6 35B, et effectivement... bien plus "intelligent", 22tk/s soit presque la vitesse de 3.5 29tk/s, fonctionne nickel avec pi.dev; il respecte bien mieux l'architecture de mes projets persos, au lieu de rajouter du code n'importe où...
Mon nouveau choix par défaut, merci!

 
Je dois pouvoir pousser un peu plus de chose sur GPU, nvidia-smi indiquant smax 60% de la VRAM utilisée.
 
 
EDIT - 33tk/s (et prompt eval > 180tk/s) avec un plus gros contexte

EDIT - 37tk/s (et prompt eval > 200tk/s)  avec context de 32k

 
je fini quand même de le configurer (nextcloud talk, repo git local, accès à internet) avant de basculer vers hermes une fois que je me serais fait une idée du bestiau sur un projet minimaliste

non c'est logique, le premier input charge la conf

C'est ultra bourrin. j'avais zero module de chargé. Y'a clairement une petite opti à faire sur l'onboarding  
 
Bon sinon j'ai pété la RAM (ça a réussi à tenir à 124,9GO de charge pendant quelques minutes en crachant environ 16 tokens/seconde ... puis j'ai mon job de backup qui a démarré automatiquement en vampirisant tout ce qu'il pouvait (3 coeurs de CPU et de la RAM mais j'ai pas pu voir ce dernier   ) pour calculer quoi faire et démarrer la dedup'... Chérie ça a coupé
 
https://sleepingrobots.com/dreams/e [...] trix-halo/
Y'a 13 tokens / seconde supplémentaires à aller chercher    
On va dégager la partie backup. Le truc peut cramer à tout moment de toute façon  

Connexion smooth via Nextcloud Talk
 
Par contre j'ai rétrogradé le modèle au 3.8 27b : les messages étaient insuportablement longs et sur la console du strix halo le GPU prenait à rester à 80% d'usage pendant que le CPU prenait 20 à 30% de conso. Faut que je reprenne mes paramètres llma cpp qui étaient pensées pour le 27b et pas du tout pour flash next

Bah a chaque fois que je lance une session Claude code le truc a 30k de contexte a remonter... 17k ne m'étonne pas trop.

Par contre c'est clairement le prefill qui tue le Strix, la génération, bof.

 

 
Pour préciser quand même une réponse simple (question bateau sur la config d'openclaw) arrive en moins d'une minute avec le modèle 27b.
 

Je persiste a penser que j'ai un souci dans la méthode d'utilisation...

Mais en même temps mon dual de 3090 est production ready

Clairement des cartes cuda avec tensorcore et nvlink c’est quand même plus chouette en terme de vitesse. Je finirai probablement sur quelque chose de similaire mais dans le cadre d’un homelab le strix halo dépanne bien

 
En plus d'être codé avec le cul, openclaw n'est pas prévu pour un modèle local. Ya une version 2.0 qui sort, pas sur que ça soit mieux...

 
Cool ça progresse bien
 
Je te conseille d'essayer de passer en --cache-type-k q8_0 --cache-type-v q8_0 si possible, ça fait une bonne différence sur la qualité du contexte.

 
Le support de Qwen4 est encore jeune, ya pas mal de PR en cours. Ils viennent de merger un opti pour les ngram, une autre arrive pour le support de MTP. Il vont aussi renomer le lazyloading, mais c'est automatique pour les tensor > 5GB.

Oui je vois qu'il y a plus de tunning à faire... Codacus (qui atteignait 17tk/s sur une 1060 6gb) atteint 80tk/s sur ma carte : https://www.youtube.com/watch?v=k_LostFpatg

 
Attention pour cette vidéo il s'est fait un fork de llama.cpp. Dans une vidéo plus récente il explique qu'il a mal compris comment les MoE fonctionnent. Je te conseilles de rester sur la branch principale de llama.cpp.
 
De plus il utilise Qwen3.6-35B-A3B  UD-Q4_K_M d'Unsloth et toi ceux de les APEX mudler.

j'ai testé le qwen 3.8 27B Q4+ d'atomic chat pour un de mes projets en cours, en mode par défaut (avec reasoning passé sur moyen) et c'est long... bon, tout reste en local mais ça se paie
 
j'arrive à caser un contexte de 105k environ sur mes 2 cartes mais le pp d'une centaine de t/s et le tg qui oscille entre 10 et 20t/s, je sais jamais si ça a planté ou si les cartes ont du mal à digérer tous ces tokens au bout d'un moment
faut que je revois l'architecture du truc, que je teste le résultat en Low où que j'investisse

Vous pensez que cela peut le faire une GTX 1080  8Go pour l'IA local . J'en ai marre de mon montage bancal qui ne sert qu'a faire mumuse..  

 
 
Si tu as activé le MTP c'est normal que le tg oscille. Si ton draft MTP est trop haut, tu peux être plus lent que sans. Plus ton contexte grossis, plus le PP baisse, c'est normal.
 
Tu peux désactiver le MTP pour gagner en VRAM.

 
Idealement faudrait investir mais mais comme j'ai déjà dit, investir maintenant c'est pas le bon plan, entre la pénurie de ram au prix fort, les cartes qui coutent un rein (et qui vont être obsoletes d'ici un an). Quitte à payer le prix fort, autant attendre les ryzen 495max ou les prochaines cartes nvidia qui sortent d'ici un an/un an et demi
 
même les hx170 ou les bc250 ont vu leur prix décoller  
 

 
Ca "passe" pour des tout petits modèles, j'ai une 3080 10GB qui fait tourner correctement les petits modèles qwen mais oublie les gros modèles (ceux qui ont 27B ou 35b de parametres). Plus tu veux un modèle perf (donc avec bcp de parametres) plus il faut de la ram (et la bande passante qui suit, indeed).  
 
Donc soit tu arrives a mettre la main sur une CG pas trop chere (les bc250, oublie les hx170 elle se sont envolées a 1200+) voire une AMD avec 16gb de ram a 300€, et tu t'en contentes pour faire joujou en local, soit tu fais péter la tirelire avec un ryzen 395 pour faire mumuse mais dans un an il est obsolete  

 
Tout dépends de ce que tu veux faire tourner, mais un petit MoE peut tourner correctement. Après 16GB de VRAM c'est quand même mieux
De quel montage tu parles?

Ca peut - Qwen 3.6 35B MoE à 17tk sur une 1060 6gb :
https://www.youtube.com/watch?v=8F_5pdcD3HY

 
Genre les prix vont baisser l'année prochaine

Non les prix ne vont probablement pas baisser, mais quitte a y mettre un rein, autant attendre un an pour avoir des specs correctes. Sur le fond, "investir" dans le hardware maintenant sachant que dans un an les nouvelles gen sortent et ne seront pas renouvelées avant 3/4 ans ce n'est pas le move futé. Après ça sera toujours en pleine pénurie + les constructeurs greedy qui voudront facturer l'IA au prix fort donc il ne faudra pas s'attendre a une baisse de prix. Déjà Apple qui facture 10k€ sa machine c'est du foutage de gueule de compet'

It's aliiiive:
   
 

 
Le build b10714 de llama.cpp a réglé mon plantage RPC  
 
Je suis sur Qwen3.8-Flash-Next-UD-IQ1_S avec 32k de contexte, mais je pense pas que j'aurais mon flappy bird, il est déjà a 11k de thinking!
 
Je suis a 8.68 de tg/s plus rapide que 27B... mais pas les mêmes quants. J'ai que 15GB de RAM occupé, et il doit bien me rester 2/3GB de VRAM en tout. J'ai que 2 layers en CPU, donc je pense pouvoir charger peut être un Q4? Ce qui est chiant c'est que les layers sont gros, c'est difficile de bien les répartir sur les GPUs.
 
edit: j'ajoute que le chargement est bien plus rapide, les ngram sont laissés sur le disk. J'ai --lazy-mode on et --load-mode none

j'ai été assez conservateur sur le MTP (0 min - 3 max et proba 0.5).
faut que j'essaie sans

les 495 max, ça va changer quoi à part la quantité de ram ?

Tu peux peut-être tenter un snake sur casio ?

 
Perso j'ai juste ça: --spec-type draft-mtp --spec-draft-n-max 2

Plus de ram et une bande passante légèrement meilleure, même si 273gb de bande passante c'est seulement 6% par rapport aux 395

Idéalement il faudrait 256gb de ram + 1700gb de bande passante \o/

 
17tk sur une 6Go    
 
Edit : J'avais oublié la vidéo de Codacus..  

Joli

Du coup, j'ai acheté les deux pour 140€ . Je pense que jai fait une bonne affaire, vu les prix de la VRam actuellement  

   
 
Ya un bouton "skip reasoning" dans le UI de llama.cpp  

 
Du coup je peux voir le PP :

 
 
 
edit:
On la lui fait pas a Qwen Next
 

C'est l'histoire du hardware. Y'a eu quelques très bon timing pour acheter mais encore fallait il le savoir (avant l'envolée du bitcoin pour les cartes graphiques, l'an dernier pour la RAM ou le NVME ...)
 
L'IA locale sur du matos à prix "consommateur très motivé" (prosummer)  c'est un marché de niche bien adressé par Apple (leur gamme max / ultra ) les autres en font mais t'es pas du tout sur de gros volumes de vente ou des marges confortables par rappot à la classique carte acceleratrice: ça va investir à minima pendant très longtemps encore.  
 
Le fait que des nouveaux acteurs s'y intéresse est bon signe (Mi avec en particulier le marché chinois où c'est encore plus bordélique qu'ici de choper du matos Nvidia avec un peu de vRAM) mais c'est encore un an d'attente et ce sera moins stratégique pour eux que de sortir des voitures / smartphones à prix très bien positionné sur un marché à forte concurrence
 
Perso je vais en venir à ce qui était prévu à peu prêt au départ : un modèle frontier en cloud pour la discussion / planification / revue de code / orchestration avec peu de droits (lecture sur la code base) et un modèle local pour le coding / pentest / trucs que refuseront de faire les vendeurs cloud.

 
Je veux faire une IA local . Mais là,  je change un peu de dimension , meme si la Vram est ancienne. Le gars n'avait pas une, mais deux cartes GTX 1080 qu'il faisait tourner en SLi. j'étais parti pour en acheté qu'une, mais il faisait les deux pour 140€, j'ai craqué. Les cartes n'ont plus le carénage pour tenir dans sa tour. Mais je m'en fout
 
Je me retrouve d'un coup, d'un truc totalement  bancal et improbable, à  16Go de Vram Cuda ..  

J'en pense que ça va se calmer, on avait eu en 2018 une pénurie de ram due a une usine qui avait cramé, les prix s'étaient envolés pendant 3-4 ans avant de crash spectaculairement. On est au début de l'IA, il y a encore la ddr6 puis la ddr7 qui vont arriver, ça nécessite les changements de ligne + nécessite pour les compagnies IA de refaire tout leurs datacenter s'ils veulent upgrade (donc un pognon de dingue), je ne pense pas que cette pénurie de ram va durer et qu'on aura de la ram à nouveau bon marché dans quelques temps, quand tout se sera calmé.

J'avais prévu de faire mes upgrades de matos en 2028 perso, on verra s'il faut attendre 2030 carrément mais en tout cas à partir de 2028-2029 je monte le truc de centrale nucléaire pour avoir mon IA en local

En attendant ma 3080 fait le job pour qwen/ollama

 
Oui mais une IA locale, si c'est un chatbot pour du RP ça ira. Si c'est pour faire tourner Openclaw, ou du code c'est plus chaud.
 
Un SLI de GTX 1080, je suis curieux de voir le résultat! Le seul truc qui pourrait poser problème, c'est la consommation en idle et peut être aussi en pointe, ça doit taper les 400W facile non?

 
J'ai pas dit que je voulais faire du sli. Le sli ne sert à rien dans l'AI. Et j'ai pas la carte pour faire du sli.

 
Si les industriels on laissé tombé la DDR5 pour faire de la HBM, c'est pas pour se remettre a faire de la DDR6 pour les consommateurs...
Le seul truc qui pourrais les faire bouger c'est si les chinois comme CXMT se mettent a faire de la DDR5, mais même eux se mettent a faire de la HBM.
 
Et clairement ce qui s'est passé précédemment ne va pas encourager les industriels a prendre des risques.

 
On verra bien, la ddr6 est toujours prévue (et la ddr7 aussi) d'après AMD. A voir si on n'aura pas tout directement avec de la hbm

 
Au contraire le SLI est très utile pour l'IA, ça te permet d'avoir une BP bien plus élevée que le bus PCIe.  
Si tu mets tes cartes en split-mode=tensor tu pourrais avoir un bon gain en PP et TG.
 
Après c'est la théorie, je sais pas trop ce que ça donne, surtout avec des 1080.