Reprise du message précédent :

P'tite opti sur llama.cpp (from https://sleepingrobots.com/dreams/q [...] trix-halo/ ) :
    -fa on -ngl 999 -b 2048 -ub 2048 --cache-reuse 1 --no-mmap
    --spec-type draft-mtp --spec-draft-n-max 2
    -np 1 --ctx-size 131072
    --cache-type-k q8_0 --cache-type-v q8_0
    --no-context-shift
    --jinja --chat-template-file ~/llama-swap/templates/chat_template.jinja
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
    --presence-penalty 0.0 --repeat-penalty 1.0
    --chat-template-kwargs "{\"preserve_thinking\":true}"
 
26 tokens / seconde    
 
https://rehost.diberie.com/Picture/Get/f/539177

Il me semble que preserve_thinking est actif par défaut dans Qwen 3.8. Pour no-context-shift c'est on par défaut dans llama.cpp.
 
Par contre "-b 2048 -ub 2048" j'ai toujours du mal a comprendre l'effet precis dans mon cas. Ça bouffe plein de VRAM, mais ça va un peu plus vite.

ça joue sur la taille des batch (j'imagine combien de jobs en parallèle) logiquement plus le chiffre est gros plus ça consommera pour tout ce qui est utilisé à l'instant T dans les registres (valeurs du token en cours de création). Trop gros pas assez d'ALU (donc queue d'attente) et conso de VRAM plus importante
 
C'était une explication par l'académie du doigt mouillé quand elle faisait encore du HPC y'a, pfiou, trop longtemps

Pour info avec le Q6_k j'arrive à 24,8TPS.  

T'es sur ton Strix non?
Pourquoi tu prends pas du Q8_XL?

pour quelques pouillèmes de précision en plus je vais perdre encore des tokens / seconde. Je vais là où me guide la foule
 
En vrai c'est que des benchmarks sur un coin de table. La j'ai commandé un ventilo et des dissipateurs pour les NVME (un surchauffe franchement), j'ai encore du taffe sur la partie WAF du système de communication (nextcloud talk), le chiffrement en https des call API vers lemonade et après j'installe enfin un harness dans cette infra. 6 mois après tout le monde oui

Dans le cas des Strix Halo, le truc à surveiller c'est surtout le support de FreeToken avec les GPU AMD.
Là, ça sera la fête du slip en mettant (au hasard ) une 5070 Ti en OCuLink.
Comme ça on pourrait faire exploser la vitesse de prefill, qui est justement le gros point faible du Strix, tout en gardant son immense RAM partagée.

J’ai assez de plaques chauffantes au sous-sol mais c’est gentil de penser aux longues nuits d’hiver  

Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses
https://quesma.com/blog/qwen38-27b- [...] nchmarked/
 
TL;DR
 

 
Je vais tester Q4_K_M pour voir.

Le Q4, meilleur compromis comme d'hab

J'ai mis Q4_K_XL en test pour voir!
 
Sinon le support de Qwen Next vient d'être mergé:
https://github.com/ggml-org/llama.cpp/pull/27742
 
Je suis un feignasse dons j'attends les builds

https://youtu.be/Idoif7BzZbg
 
Pour chaque setup il y a sa version overkill sur YouTube

 
Vu hier, il a trop de sous/sponsors ce gars

Ouvrir une chaine sur le hardware IA pour les dev avant 2025 et devenir riche en 2026

Build llama.cpp pour Qwen3.8 Flash Next dispo!

Ca ajoute quoi ?

 
edit
 
J'ai réussi a charger Qwen3.8-Flash-Next-UD-IQ1_S    
 

 
Bon ça crash avant de finir mon flappy bird, mais 10 tg/s c'est aussi bien que 27B!

With HuggingFace, Nvidia is also acquiring llama.cpp and the team behind it
https://www.reddit.com/r/LocalLLaMA [...] acquiring/
 

 
euuuh   d4fuk?

Nvidia c’est pas les pires en soft. Limite je préfère que ce ne soit pas AMD
 
Perso je pense que ça ne changera rien. Si les chinois sont obligés de réécrire le moteur pour bosser on pourrait avoir une très bonne surprise et peut être voir arriver plus de matos en occident façon la Mi ai box

 
Lui et digital spaceport, ils me font baver à chaque fois  

 
J'espère aussi qu'au pire ça changera rien, mais on pourrait espérer qu'avec tout son pognon NV mette plus de gens dessus

 
Ca me semble évident oui mais avec une grosse priorité sur ce qui différencie CUDA de Metal ou Rocm
 
Après un ou deux ingés Nvidia sur le moteur autour de Rocm feraient probablement des miracles mais je sais pas si ils sortiraient le résultat de leur lab dans ces conditions  

 
Historiquement NVidia c'est la catastrophe en terme de verrouillage de licence et cie non? cf le bordel avec les kernels linux et cie..

historiquement ils sont bons en soft et mauvais en partage/OSS mais là les constructeurs et developpeurs chinois attendent le premier faux pas pour rentrer en grand et imposer leur écosystème en lieu et place de l'actuel . Je pense que Nvidia va intégrer plus rapidement ses technos dans llama sans gêner le reste de la roadmap (sans trop trop prioriser le debug de trucs comme la mi box AI mais ça forkera dans cas)

super.
j'espère qu'il y aura un fork

Impossible de faire fonctionner les UD3 d'unsloth sur ma config

ce coup ci en Q4_K_XL (et pas Q6).
MTP ON ou OFF, même combat.
mmap désactivé, vulkan.

 
il y en a déjà plein, le problème c'est que le gros du taf est fait par 3/4 personnes qui sont des employés de HF.
 

 
Quelle version de llama.cpp?

 
Bon ben comme je m'y attendais, pas de gros gain en passant de Q8 a Q4 sur Qwen 3.8 27B. Rien en PP, le TGS passe de 6 a 8, mais ça change pas grand-chose au final.

 
Ha oui ils sont très bons techniquement depuis le début mais horrible en partage/verrouillage etc (depuis le début aussi à peu près lol). A moins d'un changement de stratégie (plus que gagnante on peut le dire), c'est pas une bonne nouvelle pour les concurrents ou même les simples adeptes de l'ouverture qui utilisent les solutions que NVidia rachète...

pas forcément, repartir sur des bases saines de forks avec des optimisations plus profondes pour des machines comme le strix halo, le mi, MLX etc. n'est pas forcément une mauvaise nouvelle. llama est super mais je n'ose imaginer toutes les optimisations encore à faire si la route actuelle pousse des devs et des entreprises à revoir les fondations. Vu le traitement de la Chine par les US/Nvidia ils vont aussi commencer à envisager des plans de sortie. Jusque là ça a toujours payé pour eux de sortir de l'écosystème existant pour développer le leur (android huawey, licences ARM, Marché de cartes d'acceleration artificiellement limité par le gouv US ...)

Ha oui c'est une possibilité, mais on est d'accord que c'est en mode "NVidia va tuer le projet pour tous les autres, le point positif c'est que ça va forcer d'autres acteurs à y consacrer des ressources"

C'est un des outcome possible. Un autre serait que la team démissionne et démarre leur propre structure ou que tout simplement Nvidia leur fiche la paix en leur donnant des élements de roadmap plus tôt pour qu'ils intégrent rapidement les nouveautés cuda.  

On en est où du RTX Spark au fait ?

ça suit son cours :
https://www.blog-nouvelles-technolo [...] -portable/
 
Tu es parti pour préférer cette plateforme ? Tu sais que le CPU n'est pas X86 mais ARM ?

Je girouettise toujours sur le Mac Studio.  
Du coup je considère tout

si je devais choisir pour toi :
=> Asus pro art Strix halo si tu veux du microsoft / linux (le bordel Nvidia sera probablement très bien mais sans X86 ta machine sera franchement diminuée pour du workstation même si l'emulation sauvera un peu les meubles (coeurs ARM qui commencent à être franchement anciens côté Nvidia)
=> Macbook pro 16" si tu veux du portable avec une autonomie ridiculement longue et de la puissance à revendre
=> Mac Studio si tu veux une machine à tout faire économe en energie et rapide
=> BosgamePC si 128GB de ram est un must pour toi mais au delà de 2500 balles c'est compliqué à justifier
 
Sur strix halo il commence à y avoir des optimisations et des tuto pour Qwen 3.8 flash :
https://www.soothill.io/blog/2026/0 [...] trix-halo/
 
Je m'attends à ce que ça bouge bien sur les prochains jours. J'attends mes ventilo pour les NVME avant de me lancer à mon tour

La dernière de LM Studio
J'ai testé en speed ce matin avant d'aller bosser.
Je vais essayer en changeant le template jinja en rentrant.

 
 
Est-ce bien la Version V2.31.2 de Llama.cpp !!??
Que ce soit en CUDA qu'en VULKAN ou ROCm ou CPU Only!?

J'ai essayé que Vulkan, j'ai pas de nvidia dans mon pc

Bc-250 reçu, va falloir que j'installe tout ça ce weekend et que je regarde quel modèle je peux mettre la dessus
Trop de trucs à tester et le Z qui revient, j'espère qu'il fera moche ce weekend

Reçu moi aussi , mais en France chez mes parents, du coup ça va prendre plus de temps ^^