Reprise du message précédent :

 
le problème est bien la latence : quand la bande passante sature elle explose. Diminuer la vitesse des échanges revient à augmenter la latence des échanges. Les deux sont importants et interdépendants

Dommage qu'il y ait pas eu ça en 3.8
Le 27B est bon mais punaise, en xhigh, faut avoir le temps ou la machine a craché du token...

 
J'ai vu passer ça, mais pas testé
https://www.reddit.com/r/LocalLLaMA [...] _inject_a/
 
L'idée est de précharger le contexte de n'importe quel modèle avec un KV "graft" qui évite les refusal. Je pensais qu'il y avait plus de retours, j'avais gardé ça dans le coin de ma tête. Visiblement ça n'a pas eu beaucoup de succès mais le potentiel est intéressant.

Bon des gens déclarent leur amour à une IA mais est-ce qu'on a déjà observé ce phénomène avec un moteur d'hébergement d'IA ?    
 

 
Toujours avec mon https://huggingface.co/huihui-ai/Hu [...] ed-v2-GGUF UD Q4 K XL
 
Je sais pas où Gufo planque le reste des données comme y'en a pour 111GO quand même mais puré  
 
le modèle ne refuse rien et ne semble pas halluciner particulièrement

Ben t'as les lookups tables qui restent sur disque, d’où tes 33GB de libre.

Sans impact sur les perfs ?

3.8 MoE reste très bon en medium qu'en xhigh, mais bien plus rapide.
https://www.youtube.com/watch?v=oKb [...] eRefresh=1

3.8 en MoE existe pas (enfin pas le flash next), c'est du dense et c'est tout.
ou alors j'ai pas compris.

Tu parlais pas du 27B - qui existe bien en MoE ? Le Flash Next fait 125B.

 
Oui; c'est une des nouveautés de Qwen4, la lookup table qui fait 30GB et reste sur le disque. Faut quand même un SSD, mais ça cache les résolutions de tokens les plus communes.

 
Non le 27B n'est que dense, c'est le 35BA3B qui est MoE.

Bah on attend quoi pour escalader à Q6 ?
 
Vers l’infini et au delà ! comme dirait l’autre

 
Wut?

Ben le Q4 est le sweet spot communément admis mais avec toute cette VRAM disponible soit faut augmenter leKV cache soit faut prendre le modele du dessus quand / si il est supporté.
 
La nature a horreur du vide

 
C'est la que ça se passe
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
 
Mais bon je trouve que Q2 ça marche déjà très bien  
 
Il est bien avancé a faire le proxy Vulkan, il déploie tout seul sur la BC250, s'est fait un demon et fait des tests. Je sais pas trop ou il en est, mais ya du code

Tout le monde n'a pas la chance de bosser avec llama cpp bare. Gufo ne supporte que la mouture Q4 K XL (ce qui est très bien. si il y en avait un seul à choisir c'était bien celui là). Après c'est des problèmes de riches mais j'ai un trou de 30GB de LPDDR5 ce qui doit faire 400€ qui se tourne les pouces. Inacceptable

Il prends feu ton Strix si tu lance llama.cpp dessus?
 
Avec toute cette RAM libre tu peux nous tester ce nouveau MoE:
https://huggingface.co/LiquidAI/LFM2.5-24B-A2B-GGUF
https://www.reddit.com/r/LocalLLaMA [...] m2524ba2b/

non justement c'est bien ça le problème : y'avait pas le feu avec llamacpp. Après plusieurs nuits de fine tuning j'en tirais environ 200 tokens / seconde en prefill avec un context de 250k vs 1400 avec Gufo dans les mêmes conditions et 17 à 25 tokens par seconde avec MTP alors que j'ai un 40+ bien stable avec Gufo.    
 
Je télécharge ça sur le Mac déjà pour voir ce que ça donne  

très rapide , parfait dans 48GB mais :
contexte max deux fois plus petit que qwen
incapable de chercher correctement sur internet sans se mettre à boucler sans fin
 
J'ai pas fait de tuning pour l'empêcher de répéter mais ça commence mal quand je mets à préférer nemotron
 
peut être attendre quelques jours ? Y'a sans doute une merde quelque part potentiellement spécifique à la mouture MLX (j'ai jamais eu de problème avec MLX avant)
 
edit : ils se comparent à Qwen 3.6 (makes sense, c'était du MoU contrairement à 3.8 mais bref ...)

Les retours sur Reddit sont pas extraordinaires non plus, mais ya peut-être du tuning possible:

 
Étrange une température si basse!
 
Mais bon, on a pas des nouveau MoE tous les jours.

ornith
https://huggingface.co/peculiar-rag [...] .5-35B-A3B
https://huggingface.co/gbuzhf/Ornit [...] -APEX-GGUF
https://huggingface.co/pfeifferj/Or [...] Q-RCO-GGUF
https://huggingface.co/mudler/Ornit [...] -APEX-GGUF
 
j'ai le 1er sur le bc-250 (Q4_K_S), franchement, ça marche bien (je suis toujours surpris des résultats, mode thinking obligatoire par contre et il faut pas se tromper dans la température)

Ornith c'est juste un fine-tune passable, pas un nouveau MoE.

c'est exactement ça
mais qui va vite, léger et qui fait de bonne recherche, je le trouve impec'
j'avais un finetune 3.6 35B, à la 12ème version, il était encore moins bon.

sinon, y'a : https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B
pas testé les CPM

edit: normal, pas de gguf

edit²: https://huggingface.co/Venastine-Re [...] B-A4B-GGUF mais rien vu passer la dessus

Radiance et la 9700 c'est du petit lait...  
 
Avec Qwen Flash Next...
 

 

 
Du coup maintenant j'ai 2 desktop un avec 64 ram 2 9700, un autre avec 128 ram 2 9700 aussi...  
 
L'ironie est qu'avec ca t'as de quoi servir une equipe de 15 dev....  
 
Le domaine avance beaucoup trop vite...

Content d'avoir pris 1To de SSD avec 2x plus de bande passante que le 512Go du coup  

Solide comême  

Vous faites tout en local ?

T'as encore besoin de 15 dev ?      

 
Pour quel montant investit ?

L'équipe de llama.cpp sort un GUI pour Windows:
https://github.com/ggml-org/Llama-Windows
 

 
Il y en avait donc un pour Mac aussi:
https://github.com/ggml-org/Llama-macOS
 
Bon, ceux la je testerais pas
 
src: https://www.clubic.com/actualite-63 [...] ndows.html

si on peut faire mumuse avec la répartition des layers entre les GPUs

Sur Mac je reste sur lm studio : il s'occupe aussi de choper les nouvelles version du moteur MLX
 
Sinon Gufo toujours très bon. J'ai activé le cache persistant en disque (200GO + la RAM dispo histoire d'avoir de pouvoir mettre en cache environ 10M de tokens soit une cinquantaine de sessions en parallèle) ça restore plutôt vite : 400ms depuis le NVMe vs 50ms depuis la ram pour une session de 70K tokens. en tok generation je suis toujours entre 42 et 48 tokens / seconde.
 
 je continué mes essais de Qwen 3.8 flash next Hui v2 sans detecter d'hallucinations ni de bugs donc il va passer en daily driver :-)

On postule comment pour rejoindre ton équipe ?  
 
Mais sinon je confirme ça évolue vite et ça prend la direction que j’espérais à la création du topic : beaucoup d'optimisations des modèles / moteur d'inférence pour squeezer du token / seconde en pagaille. Je pense que ça continueras dans cette voie encore jusqu'en 2028 si pas de grosse crise financière (difficile à prédire : les progrès depuis quelques mois pour les modèles frontier et open weights sont juste phénoménaux. On a pas fini de balancer du pognon dans la marmite   )

j'ai updaté Strata, j'ai doublé mon prefill sur la 9700pro.
et le decode a progressé aussi

edit: punaise ce con a basculé sur la 9070XT et le pcie 4.0 16X

ben il a amélioré tes perfs. Tu voulais quoi ?
 
Surveille tes colis, je crois qu'il t'a commandé une RTX5090 pour le prochain performance gap que tu lui as demandé

j'ai surtout trouvé une X570 dans mon coin

 
Je fais tout en local, c'est pour moi    
 
Au debut je voulais 64 GB de vram, du coup j'ai pris 2 9700, puis je voulais de la vitesse, du coup j'en ai pris 2 autres.  
 
Sauf qu'entre temps les performances de radiance ont explosees.
 
Le temps que je monte les 2 configurations... Je pourrais en vendre une sans soucis.

 
6800 balles de CG, plus le reste, 8K au pifometre ? Mais apres ca reste des 9700, donc je peux jouer sur une on va dire    
 
Mais oui c'est temporaire, on va dire que c'est une representation reelle de mon livret A  

garde là et comande un cable USB4 / thunderbolt (selon ce qui est dispo sur la machine) pour le clusteriser les deux machines  
 
et revend la seconde dans un an quand elle aura tellement pris qu'elle te rembourse l'achat de l'autre machine

 
Ca s'auto-gere par agent   Apres le souci c'est que je peux pas gerer plus gros que du qfn / glm flash....

 
Passes sur radiance, il y a eu des ameliorations pour le tp1.

 
Tu penses que c'est possible de les clusteriser facilement par USB ? bonne question... Je n'ai que des ports 10G par contre.  
 
Et radiance ne supporte pas le "rpc" :-(

j'essaie de migrer sous linux ce weekend.

 
8k€ ça représente 6 à 7 ans ~ d'un abo claude max 5x au tarif actuel
 
C'est pas plus intéressant que d'investir 8k€ dans du matos qui sera totalement déprécié d'ici 1 and et ½ ?