Reprise du message précédent :

 
 
Enfaite j'ai commander une 5060 ti 16go mais la j'ai une CM de merde avec un x1 en deuxieme slot LOOL, mais du coup je cherche une nouvelle CM par contre le problème c'est que en DDR4 sa n'existe pas du 8x 8x et j'ai 48go de ram atm sa me ferait mal au cul de devoir passer sur de la DDR5 juste pour avoir le 8x 8x sa fait un gros budget quand meme.  
 
Atm je cherche une Aorus elite en ddr4 z690 ou z790 pour avoir le x4 et précisément ce model pour faire rentré ma 70ti 3 slot sur le 5.0

 
  mon bug:
https://github.com/ggml-org/llama.cpp/issues/26820
 
Velu le bug, c'est que si on a plus d'un server RPC

 
Ouais, sauf que comme un con la cm support 8x en gen 5 et  du coup avec les 3090 c'est bride a 8x en gen 4
 
Bref...  
 
Je peux passer sur des RTX6000...   J'ai vraiment rate le coche de l'IA locale je peux dire.

Sur le topic des gens PCIE... Est-ce que certains d'entre vous ont des CM en PCIE3 ?  Ca donne quoi ?

 
Ha oui c'est con de passer en DDR 5 pour ça
Sinon chez AMD peut être?

Mon server a une MSI B450 GAMING PLUS MAX en pcie3, mais bon c'est pas ça qui me limite

Propre ! bravo ! Tu en tires un peu plus de tokens / seconde voir un peu d'overclocking ou c'est juste pour le silence de fonctionnement / la tranquillité d'esprit ?

 
Et un link connect entre les deux 3090 ?

Ouais mais ta regarder y'a combien de débit qui passe dessus en charge ? j'ai vu des trucs comme quoi y'a meme pas 4go/s max qui circulerai donc peut-être que meme un gen 4 seulment x4 ne le bride pas

Je sais pas y'a quoi comme tools pour check mais c'est sur que sa doit être possible.

ahhh le blackwell c'est devenu une folie avec le nvfp4 tbh c'est pour ça que je me dirige dessus.

On passe quasiment du simple au double en token/s c'est plutôt dingzz

 
Encore pire sa me ferait changer mon 13700kf

 
Sur le strix ? Uniquement le sustain et le silence. J'ai un PPT limite a 100w dessus.
 
En terme d'efficience le dual 3090 est au dessus... sic.

la GDDR vs lpddr ...

Pour ceux qui s'étonneraient de trouver des cartes Nvidia   avec 32GB de GDDR5   pour moins de 150 balles avec des centaines de pièces en stock en Europe    : le M10 32GB n'a pas de tensor cores   et les 32GB sont en fait 8GB par GPU (soit 4 par carte) .  
https://www.nvidia.com/content/dam/ [...] nl-Web.pdf
 
voilà voilà

Je m’étais servis de ce petit comparatif de gpu en inférence si ca peut aider https://www.reddit.com/r/LocalLLaMA [...] utm_term=1

Muse Glimmer 30B GGUF de Meta 19GB + 1.5G draft
Le flappy bird:
https://volcanic-bedok-2drc.pagedrop.io
 
Base

 
moyenne: 12.5 tg/s
 
DFlash draft=15

 
reasoning: 7 tg/s
code: 7/25 tg/s
 
moyenne: 10 tg/s
 
DFlash draft=3
 
reasoning: 10/15 tg/s
code: 11/23 tg/s
 
moyenne: 16 tg/s

Muse 30B GGUF Unsloth Q8 XL 32GB
https://crisp-ray-01f3.pagedrop.io
 
12 tg/s

c'est le meilleurs flappybird que tu nous a partagé so far

Non, je trouve que les Qwens sont bien meilleurs et de loin.

On parle de ceux totalement injouables ?

C'était Qwen Coder Next, un vieux tromblon
 
Qwen 3.6 çay bon (et 3.8 encore mieux ?)
 
Un truc marrant que j'ai vu dans le thinking de Muse (de mémoire): "let's make sure copyrights are respected"

Bon, qwen 122b a10 en rocmfp4 a l'air utilisable avec le strix en "prod" on va dire...

J'ai souvent lu que Qwen 3.6 27B était au dessus.

Muse sur la 3060+5070ti via unsloth ( l'application est super bien foutue ! )
26tok/s sans chercher d'optimisation.

La consommation de vram pour le cache eat ridicule.

En agent Hermes c'est pas ça encore.

Par contre la robustesse des appels outils est surprenante, en cas d'échec il trouve tout seul des alternatives en réessayant plusieurs fois sans perdre l'objectif.

Il fait beaucoup de franglais sur de l'analyse de documentation a source multiple en terme de langage.

J'ai eu pas mal d'hallucinations en full local, mais avec accès web il se corrige tout seul.

C'est vraiment une bonne surprise, je vais le monter en prod ce soir et on verra le bilan dans une semaine.

Quel quant?

Salut, question peut être idiote mais comme je compte acheter ce pc, je me demandais s’il est capable de faire tourner des modèles récents ou si c’est du rêve: https://www.materiel.net/produit/202511190032.html
 
Merci!

si l'IA est ton usage principal c'est pas la bonne machine :
https://www.asus.com/fr/laptops/for [...] 13-hn7306/
 
si l'IA est secondaire c'est une belle machine même si la 5090 à 24GB va rapidement te frustrer en IA

 
Pour 6k c'est criminel imo, ta vraiment besoin d'un portable ?  
 
avec 24go normalement tu passe tous les 27b trql par contre t'aura pas énormément de place pour le context

Bah en fait j’en ai marre d’attendre pour renouveler mon laptop et je me demandais simplement si j’allais pouvoir faire joujou, mais ce sera pas du tout l’usage principal. Merci pour votre retour en tout cas!

 
C'est dommage d'avoir que 24GB de VRAM et 64GB de RAM pour ce prix, mais bon c'est la mauvaise période.  
Après, oui tu peux faire tourner des modèles genre Qwen 27B/35B dessus, mais il risque de vite prendre feu

 
Q4_K_XL
 
https://huggingface.co/unsloth/Muse [...] _K_XL.gguf
 
Je l'ai testé avec plusieurs harness, sans surpris pi et little coder s'en sortent très bien avec    
 
Je l'ai mis dans des workflow assez directif et lui sur des tâches spécifique + un peu d'orchestration et il s'en sort mieux que qwen 3.6 en 27B. Par contre sur tout le reste je préfère largement qwen.

Luke's Dev Lab
 
1-bit Bonsai 27B tested - 16GB Local LLM setup
https://www.youtube.com/watch?v=iHRFS4MVmNU
 
TLDR: don't bother
Je trouve que c'est quand même pas mal pour un quant de moins de 4GB!
 
 
Meta Muse Glimmer 30B tested - 16GB Local LLM setup Q4K XL
https://www.youtube.com/watch?v=zBfj19rM85w
 
TLDR: pretty impressed
Il se débrouille très bien avec le tool calling et MCP

Oui vraiment les tools c'est son point fort !  

 
Qwen3.6-27B

 
https://nebular-tree-329n.pagedrop.io
 
11 tg/s et 11min de génération.
 
Il me semble que 35B était pas loin en qualité.

Je continue avec l'usage de Muse dans mes workflow habituels, et grosse surprise il enterre complètement qwen 3.6 27b et gemma sur la vision.
J'avais pas mal de raté sur des détections d'objets sur des fonds chargés, je dois pas être loins des 100% de réussite avec Muse c'est impressionnant.

ah ?
tu peux en dire plus ?

j'avais en projet de faire un 'outil' pour faire de l'extraction automatique de critères intrinsèques dans des datasheets de composants électronique pour faire du calcul de fiab presse bouton (et construire les bdd à la main, c'est relou).
Dans le plan proposé par je sais plus quel modèle, il faisait appel à un modèle avec vision intégré et j'étais parti sur du qwen 3.6 35b mais si tu dis que Muse est mieux, va falloir que je teste

Test de CMP170HX x4  
https://www.reddit.com/r/LocalLLaMA [...] _cmp170hx/

On me propose un lot d'une 10aine de cmp 30hx  
 
C'est jouable vous pensez ?

6GB et pas de tensor core (donc ça va consommer beaucoup en prime). Tu voulais en faire quoi ? ^^