Reprise du message précédent :
Nope ce soir ça tournera sur le strix halo via colibri

Qwen3.8-Flash-Next
https://modelscope.cn/models/Qwen/Qwen3.8-Flash-Next
 

 
 
 

On sait quelle taille il doit faire ?

125B pour 6B actif apparemment, ça risque d'être gros  

 
proof?
 
https://www.reddit.com/r/unsloth/co [...] t/p5sd39h/
 
[quote] Hey guys, Qwen announced Qwen3.8-Flash-Next, a new open-weight multimodal MoE model.

Quelques infos ici, trouvé en random search:
https://www.explainx.ai/blog/qwen3- [...] ugust-2026

 
https://x.com/aijoey/status/2092208673627996500?s=20

https://www.reddit.com/r/LocalLLaMA [...] are_button

 
https://xcancel.com/AiBattle_/statu [...] 58460819#m

 
Il y aurait des info sur Hackernews aussi: https://news.ycombinator.com/item?id=49432317

Finalement un strix halo c'est pas déconnant

Nouvelle puce M6 et M5 Ultra chez Apple annoncés aujourd'hui, ca veut concurrencer Nvidia

La comparaison est drôle mais c'est tellement pas le même publique entre les deux

punaise, faut trouver de la VRAM ²²²²²²
un strix halo, c'est peut être pas si mal finalement

Mais ca reste lent
 

Faut prendre les quants dédiés strix halo (rocmfpx)

Le MoU en BF16    
 
Ça fait du 40+ tokens par seconde en q4 ou q6
 
J’avions pas lu jusqu’au bout. C’est très utilisable ! Mais si vous avez 5k chez Apple M5 max c’est bien aussi sinon

c'est pas ce que je vois non plus
https://x.com/laurent_zw/status/2092001892159328287

Ca date de hier, y a prescription
 
Par contre en vrai je veut bien un retour de neo wrold

j'ai vu sur alibaba des ascend avec 48Go de RAM ou plus en double puce je crois.
llama.cpp surpporte cette archi non ?

 
 
s'ils sont compatibles Vulkan à priori oui.

une fois tous les 2 ans c'est le best deal possible. faut être patient  

neo world il galère sur ses reverse proxy en face de nextcloud (dont talk est la fondation pour la communication entre agents)
 
la prochaine fois il prend mattermost installé en 10 minutes chrono

Tiens... J'ai teste ca sur mon strix... claude code m'a sorti plein d'erreurs :-(

https://huggingface.co/julianmb/Qwe [...] -FAST-GGUF une vraie merde. J'ai jamais rien reussi a en faire. T'actives le mtp, le cache est invalide...

 
Combien?
 
"Supporte" oui, mais ça n'a pas l'air top. Ya un VLLM-ascend.
La double puce c'est la 96GB. Attention c'est un NPU avec de la LPDDR4!
https://www.reddit.com/r/LocalLLM/c [...] en_huawei/
 

 
Non, ils sont pas, c'est CANN:
https://github.com/ggml-org/llama.c [...] nd/CANN.md

 
T'es a la bourre d'une page...
Rien a voir en terme de tg/s et pp, chaque outil son utilisation.

https://www.apple.com/newsroom/2026 [...] -m5-ultra/
 
Jusqu'à 512 Go de mémoire unifiée, 1.2 To de bande passante.
 
En 256 Go de RAM :

• 9.500$ pour 30 coeurs CPU / 64 coeurs GPU
• 10.800$ pour 36 coeurs CPU / 80 coeurs GPU

La version 512 Go sera dispo en octobre.

 
Hmm ça redonne de l'intéret à un DGX SPARK (ou les derniers Mac)

 
déjà posté 2x

Après pour du MoE on peut encore tenter de choper de la ram et un gpu pour beaucoup moins cher que le mac

j'ai vu qu'il y avait plein de quant possible, les Q4 sont a priori OK, les Q6 c'est en cours.
je crois qu'il faut un fork de llama.cpp no n?

Oui...

Le problème des systèmes unified c'est le prompt processing. Si tu reprends une session t'attends 3 ans...

Bah perso je fais surtout pour des accès concurrents (pour ~20/50 personnes), un modèle MoE c'est une vraie opportunité d'avoir un contexte plus massif et de garder une vitesse de décodage sympa, même sur de la mémoire unifiée.

Pour 1/9 du coût d'entrainement de 3.7 plus ils arrivent à de meilleurs résultats ... ca va être l'explosition des modèles open si c'est reproduisible. On en aura partout

C'est là que je vais regretter de pas avoir craqué pour 64Go de ddr4 cet été.
Punaise ce dilemme en ce moment  

https://www.generation-nt.com/actua [...] nt-2080131
 
Que quelqu’un me rappelle pourquoi braquer une banque est trop idiot

drap

 
160GB de DDR6  
Manque que le prix, vu comment c'est partis, en 2027 on va être sur 50K euros

Bienvenue

35B-A3B tool calling benchmark: Original Qwen vs. KAT Coder, Ornith and Tiel-Coder
https://www.reddit.com/r/LocalLLaMA [...] l_qwen_vs/
 
Intéressant de voir des fine-tune de 35B faire mieux que 27B 3.6, mais en dessous de 3.8 ce qui est logique.
Je vais peut être tester un jour en fait

 
12K€ et quasi le double pour 512go  
 
Qui achète ?  

Merci , on peut esperer faire tourner quoi correctement a ton avis avec le Mini M6 32 GB ?