Reprise du message précédent :

 
Tout fait après j'ai un peu la flemme car ya c'est du python et c'est toujours le merdier et qu'on plus ya pas de clustering, donc je suis juste avec un GPU.

par contre, il y a un truc que je pige pas : j'utilise qwen 3.8 27B gsq rco sur un projet perso, j'ai 25t/s en pg, je l'utilise dans opencode branché sur le mcp home assitant, j'ai 13t/s (à peine)
genre c'est le mtp qui doublerait le pg ?

Oui, le MTP marche sur de la génération qui est facile a prédire, genre du code. Si c'est de la génération de texte, le MTP marche moins bien, voire pas du tout. Ça peut même devenir plus lent que sans si tu as un acceptance rate très bas et un draft-n-max élevé.

Dites je repasse par la, des gens ont tester colibri sur de gros modèle ? Et avec du Ryzen 395+ par exemple sur de gros modèle et un gros contexte.

Ce retour d'expérience m'intéresserait car si ça pouvait être viable pour du code ça serait très intéressant pour moi.

Merci.

Ps : c'est quoi l'offre la plus intéressante actuellement en prix pour avoir 128Go ou plus de ram (ou pas loin) comme le Ryzen 395+, et si possible un lien vers une bonne offre.

j'ai fait du colibri avec kimi k3 avec mon strix halo : environ 1,8 token / seconde en pre processing et en token generation. C'est pas loin de l'inutilisable malgré deux SSD NVME (6GO/s de bande passante)
 
Mais c'est rigolo à tester. Qwen3.8 flash Next se sent parfaitement chez lui en Q4 avec Gufo ou Halogen :
 

 
Si tu te sens aventureux tu as moyen de faire tourner Mimo ou GLM 5.3 :
https://www.reddit.com/r/LocalLLaMA [...] b_mini_pc/
 
Le moins cher en strix halo c'est bosgamepc :
https://www.bosgamepc.com/products/ [...] ai-max-395
attention il prend en moyenne 70 balles par mois (je l'ai eu à 2200€ en avril)

Ok merci de l'information, de toute façon la solution en MAX 395 est la plus rentable actuellement non ?

ptain le mac ok 32go ca prends des gros modeles, mais qu'est ce que c'est lent

J'ai reçu ma r9700 pro ai
J'ai pas le temps de tester ça aujourd'hui...  

Bon je suis pas le dernier a chier sur le vibeslop, mais la Strata euuuu
1100 en prefil, des pointes a 50/s en TG sur ma 4060Ti et il prends que 24GB de RAM avec le Qwen Next Coder!
 

 
J'ai mis claude-code a bosser.
 
Le setup c'est un peu le bordel, mais ça se fait bien quand même.

ça ne marche QUE avec celui là

dites je galere la sur mon mac, des que j'envoie des requetes un peu compliquées, il tourne en boucle jusqu'a remplir le contexte et se noie
par ex j'ai balancé 5 bilans bio, il me fait bien l'analyse (qwen ou medgemma) mais ca recommence jusqu'a saturer, la je suis avec omlx, si vous avez une idée ?

Ça peut être un modèle pourris, un contexte trop compressé/pollué, des paramètres.
C'est quoi ton hard, ton modèle, les paramètres, ton agent?

mac mini M6 / 32go
serveur OMLX qui a qwen 3.8:27b 4b ou gpt oss 20b mxfp4 QS8
contexte 32k

Qwen 3.8:28b 4b, ça existe pas ou c'est un modèle bidouillé. GPT OSS c'est un vieux tromblon.
 
Je connais pas trop les MLX, mais essaye ça pour voir:
https://huggingface.co/lmstudio-com [...] B-MLX-4bit

j'ai voulu essayé strata, mais pas moyen de faire accepter à vs2026 de s'y connecter. J'arrive à ajoute l'endpoint, mais il refuse d'ajouter le model.  

c est celui la Qwen3.8-27B-4bit

 
Strata sait pas charger un modèle via l'API, essaye de voir quel nom de modèle il expose et mets le même dans VS. Ou essaye le param alias en le lançant. En tout cas claude marche sans soucis, et mon modèle s'appelle "default".
 

 
T'as quoi comme paramètres? genre température etc.
C'est quoi ton agent?

Ça tombe bien, je veux le tester  

Bonsoir tout le monde.
Je suis de retour avec ma doublette d'intel arc b60 pro.
Je me suis focalisé sur la fiabilité plutôt que la vitesse et je pense que tout est ok.

Modèle : qwen 3.8 27b fp8 "officiel"
Moteur : vllm-openai-xpu 0.30
Réglages spécifiques:
Tensor-parallelism (tp) = 2 avec xpu-graph fonctionel (équivalent de cuda graph)
Mtp : 2 token en plus
Actuellement : 65k token de contexte fp8 autorisant 3 requêtes concurrentes.
Le budget total est de 205k token avec une utilisation mémoire gpu calée sur 0.92.

Perfs:
Prefill : 900 t/s d'après llama-benchy
Génération : 14 tg/s toujours d'après llama-benchy

A l'utilisation, l'activation du mtp améliore beaucoup la rapidité ressentie à l'utilisation.
On est globalement au dessus des 14 tg/s relevés par llama-benchy (de l'ordre de 20 tg/s et des pointes au dessus de 35 tg/s)

Ces faibles perfs sont, je pense dues à la liaison pcie gen 3 x8 entre les deux gpu qui ne permet pas de les exploiter au max.

2 points qui m'ont fait galèrer :
Faire fonctionner le tensor parallelism avec xpu graph, c'est un peu la loterie (avec un qwen 3.8 int 4 et vllm 0.29, je dépassais les 35 tg/s). Passage en 0.30, KO. Repassage en 0.29 KO toujours.
Vllm indique qu'xpu est experimental avec tp>=2 mais des utilisateurs signalent qu'en fp8 c'est fonctionnel. C'est ce que j'ai constaté moi aussi.
L'autre point beaucoup plus relou : trouver l'extension vs code adéquat.
Roocode: n'a jamais réussi un appel. A part lister les modèles disponibles, rien ne fonctionnait.
Continue.dev : tout fonctionne sauf qu'il coupe net au bout d'un moment (env. 5 min) alors que le serveur vllm est ok. Il a quand même réussi à réaliser le tetris dans le navigateur parfaitement fonctionnel mais je devais le relancer à la main à chaque fois qu'il s'arrêtait.
Cline: configuration simple (bibliothèque de mcp! ) Je lui ai commandé un mcp pour interroger ebay. Il a turbiner pendant 2h15 pour réaliser un conteneur docker mcp ebay.
Il faut que je valide la livraison mais à première vue, il enterre les deux autres.
Sur les 2h15, le serveur a consommé env. 360w avec des pointes à 404w.

Ça reste raisonnable pour moi mais on doit pouvoor améliorer ça.
La faible conso des b60 était (avec leur prix) un critère important.

Prochaine étape : utiliser vs code server sur une vm ubuntu et voir ce qu'on peut en tirer.

@+

 
Regardes:
https://www.launch80.com/a/52e84b17 [...] 05c3a75d66
 
https://github.com/Wrapzii/k8v4-xpu

me semblait avoir épluché les perfs du b60 et c'était pas ouf et très chiant à avoir surtout.
j'avais trouvé du B65 à 1200€ et je me posais la question.

 
Chiant niveau soft non ? Ça a bien progressé je crois.
B60/65/70 intéressant oui

bah sur amazon, il y avait du B65 pas excessif alors il y a 3-4j

Merci !
Je vais potasser tout ça.

Ma première b60 vient de matériel.net (680€ je crois grâce à une promo).
La seconde vient de galaxus.fr à 719€.
Il me semble qu'elles ont pris 100€ depuis.

Pour le support, je confirme que ça fonctionne mieux maintenant qu'au début.

Je suis parti sur vllm car intel dérive leur conteneur perso depuis vllm.
Vllm marche bien aussi en accès concurrents donc tu peux laisser max-num-request sur 2: ton agent codage consomme une requête et tu peux quand même continuer à l'interroger via un autre outil sans désagrément.

Je guette le support xpu pour qwen 3.8 flash next même si le qwen 3.8 27b me convient bien actuellement.

How Is This Frontier Class 177B Model So Fast for Local Agents?
https://www.youtube.com/watch?v=6WLBmP-tZ0Q
Codacus
 
Il teste Strata et explique comment il marche.
 

Version 0.6.0 de Llama.cpp: https://github.com/ggml-org/llama.c [...] tag/v0.6.0

Oh punaise il s’est filmé !    
 
C’est mieux que Qwen 3.8 flash next ou je peux arreter la l’interêt pour le modèle ?

c'est pas un peu pourri strat ?  
car je regarde le repo Github et ca tourne en IQ2_XS ou en IQ3_XXS typiquement  
tout ce qui est en dessous de Q4 en quantization pour moi c'est non : 90% de précision c'est le minimum
 

 
Oui mais ça va viiiite
 
J'ai pas trop gratté, mais j'avais de très bons (mais lents) résultats avec IQ3_XXS et llama.cpp. La j'ai joué avec coder et c'est pas mal.
J'essaye de charger le Q2, mais ça plante.
 
Je voudrais le remettre a bosser a la suite de Qwen 3.8 pour comment il s'en sort.
 
Est-ce qu'il vaut mieux 80% de 177B ou 100% de 27B, j'ai pas la réponse

C'est bon j'ai réussi a charger le q2_0!
 
J'ai eu besoin d'ajouter:

 
Niveau perf c'est un peu n'importe quoi, dans le bon sense et je suis toujours en dessous de 30GB de RAM!
Prefill a plus de 1k et gen qui fait des pointes a 90/s.

 
J'ai monté ma VM a 35GB de RAM, peut être que je pourrais charger IQ2_XS ...
Pour un projet qui a deux semaines c'est quand même fort.
 
Bon je vais le laisser bosser la nuit sur le Linux pour Amiga et voir si il tient encore le coup.

C'est la version coder ou bien la classique ?

Classique avec coder ça tiens en 24GB de RAM

J'ai tester strata en IQ2S avec contexte de 356k avec cache 16Go et 8 requête max, avec une 3090 24 Go et 60 Go de ram utilisé (environ).
 
ça marche pas mal mais il faudrait du q4 minimum mais je ne pense pas que j'y arrive avec le système utilisé a côté (même si j'ai 128 Go de ram)
 

90 token/sec de decode en soit c'est très bon

sympa cette image de recap de performance, tu l'as avec quel outil ?

 
Surtout avec une simple RTX 4060ti !
C'est intégré a Strata, tu vas juste sur le host/port et t'as un tab pour le chat, un autre pour ces stats et un dernier pour des info/options.
 
Il q2 a bien tenu toute la nuit, mais Claude a été trop gourmand en contexte pour la compaction alors ça a stoppé. Il fait des fois un prompt trop gros pour que la compaction reste dans les 110k.

Et comment est la qualité de ton Qwen 3.8Next en Q2 vs Qwen 3.8 ? Utilisable, similaire, meilleure?

même du iq4_xs ?

J'ai pas tester encore en q4, il faudrait que je teste ça mais pendant mes tests ça semblais pas trop mal quand même.
 
J'ai comparé des audits sur des commits entre codex et Qwen et il relevé pas mal de chose similaire, mais je pense qu'un q4 (même si c'est un peu plus long serait mieux je pense)
 
Mais niveau conso ça envoie pas mal

https://www.usine-digitale.fr/intel [...] KBGX4.html
un MoU de 1000 milliards de paramètres made in France
 

propre, encouragements