Reprise du message précédent :
La flemme

De mon côté je suis les discussions sur GML 5.3 Flash. Je pense que ça peut être un très gros upgrade en NVFP4 sur mes 4 6000

ça va c'est pas disques qui spinnent mais déjà une semaine sans micro coupure t'es pas mal loti

Rappel moi tu fais tourner quoi aujourd'hui ? Deepseek v4 ?

DS4flash 0731 avec 1M de contexte et quelques utilisateurs réguliers simultanés. Ça marche hyper bien et la vitesse est vraiment appréciable

la bascule vers 5.3 vous la décideriez comment (c'est celui qui propose qui fait ? tests sur des problèmes connus ? vote à main levée ?) ?

J'arrive plus à savoir vers quoi m'orienter entre un strix halo , des gpu ou juste attendre avec les dernières sorties.
Il y a une semaine je prêchait que ça servait a rien d'avoir 128gb de vram et là c'est tout le contraire  

Oui j'ai aussi mis une pièce dans le HD DVD face au blu-ray, un visionnaire je vous dit  

C'est moi qui décide, je préviens que ça va couper, j'évalue et je décide. Si quelqu'un sait mieux il peut prendre le lead (spoiler, personne ne va prendre le lead )

 
c'était donc toi le betamax et le disque laser aussi ?
 
j'ai du mal à conseiller le Strix Halo vu l'incertitude autour des modèles environ 120B paramètres.  
 
Si tu aimes juste tester sans pourrir ton desktop/laptop (en plus il arrive avec son SSD 2TB si tu veux jouer sans mettre 1€ de plus avec K3. Juste te plante pas de modèle à télécharger ) la partie prod arrive bientôt à la maison mais j'ai eu beaucoup de bol avec ce Qwen 3.8 qui arrive à point
 
Si tu peux tirer ton budget plus haut (par exemple en incluant un changement d'ordi perso dedans) les mac sont franchement tentant. C'est robuste et tu peux tester partout
 
sinon vos bidouillages à bases de bc250 scotchées entre elles sont très bien : pas de gros risques financiers et globalement de quoi s'amuser avec des modèles pas si pire

Ils ont bien de la chance de t'avoir (et toi de pas être emmerdé dans tes choix )

ça va trop vite, reviens dans 5 ans minimum  

Le problème actuel il est a plusieurs étages en fait :
- On a une pénurie de ram qui fait que t'es limité en mémoire, quoi que tu prennes
- Les modèles évoluent tous les 3 mois ou 6 mois
- Ta config que tu vas acheter, dans 2 ans elle est useless comme benzema
- A cause de la pénurie de mémoire tout est overpricé

Idéalement faudrait attendre un an et les ryzen 495 max AI+ avec 196go de ram si tu veux un truc pas trop overpricé
Tu as le xiaomi cube qui arrive début 2027 s'ils passent au dessus de l'étape "projet vitrine concept", mais je me demande a quel prix il sera ET comment leur chip custom vont etre compatibles avec une quelconque distro (win/linux etc)
Les GPU avec 32go de ram ça va te limiter pour les gros modèles donc c'est pas une bonne idée, ni court terme ni long terme

Dans 1 an minimum tu auras déjà bcp mieux que ce qu'on a en ce moment (mais a quel prix ?), dans 3/4 ans y'a de fortes chances qu'on ait la fin de la pénurie ram et qu'on ait tous nos modèles IA local aux petits oignons

quand le blu-ray sera fini aussi #PS6Scandal ?

Soyons sérieux

Non mais je maintiens qu'acheter un truc maintenant au lieu de prendre un petit abo a 20€ (pour faire mumuse) c'est juste fomo là ou les prix sont le plus élevés et qu'on est plus très loin des next gen qui feront mieux pour le même prix actuel, patience. Un an grand max avant le xiaomi cube/ryzen 495 max qui feront mieux que ce qu'on a actuellement + une floppée de modèles qui sortiront entre temps, le plus sage est de patienter 1 an minimum, s'il n'y a pas de besoin pro immédiat.

C'est logique sauf que :
=> Oncle sam a encore deux ans pour envahir le Groenland et nous couper la tech (peu probable mais bon la probabilité d'avoir un pedo avéré comme president me semblait faible y'a encore pas longtemps )  
=> Je pensais à une rapide désescalade des prix (y'a des infos d'annulation de datacenters en pagaille) mais ces cons chez SK / Samsung / Micron n'ont aucune intention de bouffer des parts de marché et maintenant qu'ils sont assis sur 86% de marge sur la DRAM ils sont pas prêts de lâcher  
=> Les LLM sont plus proche d'un algo de brute force que d'un truc élégant spot on. On a vu les gros americains faire fondre les quotas avant de se reprendre quand la chine a attaqué frontalement sur les prix / l'ouverture. La chine voudra aussi récupérer ses billes à un moment ou à un autre
 
Ca ne veut pas dire que profiter de l'abo à 20 balles + quelques bc250 est bête seulement l'issue est un peu plus incertaine cette fois  

Quand j'avais testé, je préférerais le résultat davidau au modèle unsloth.
Mais c'était un des 1er quant donc avec leur dynamic v3, ça a peut être changé.
Faut que je teste ce weekend si j'ai le temps.

 
Nous avons Le Chat Mistral, mauvaise langue

J'avais acheté le lecteur qui lisait les 2 à l'époque. Un pote me l'avait envoyé du Japon  

Ils sont en train d'abandonner la partie : location des infras d'entrainement aux acteurs americains et intégration de modèles chinois à leur offre d'inférence. Je sais pas comment ils ont pu merder comme ça avec les toutes les commandes publiques qui sont arrivées à la rescousse en décembre

il a lu combien de hd dvd dans sa vie ?
 
Juste pour préciser j'ai été beaucoup plus vionnaire que vous : je me suis équipé bien après que le HD DVD soit mort et enterré
 
Mais au cœur j’étais team jacket rouge

 
Non mais tout le monde a bien vu que Mistral était à la ramasse. Et ils n'ont pas la puissance financière de Google ou autre, donc à moins que la Commission Européenne ouvre les vannes du pognon, je sais pas comment ils vont faire.

J'en ai acheté 4 ou 5  

Faut se reveiller rapidement. On passe du seul champion européen en lice à un OVH / Heptzner / Scaleway / ... bis    
 
avec tous les cerveaux qu'on a en Europe c'est quand même dommage

Dans 30 ans ils prendront de la valeur seront regardés comme des curiosités  
 
pas comme la barette de 512Mb de SDRAM du tiroir qui elle par contre  

 
J'ai un HDD dans mon server, mais j'ai des backups. Je dois avoir une coupure de jus par an, voir moins.
 

 
Ya la machine Xiaomi qui pourrait valoir le coup d'attendre, mais je sais pas quand elle sort. Mais une chose est sure les prix vont pas descendre.
Tu devrais au moins attendre que le Qwen Next soit fonctionnel, si n-gram permet d'offload sur SSD, ça changera beaucoup la demande en VRAM des Qwen 4.x.

en parlant d'onduleur et de leçons données aux autres :  
j'ai fait sauter la sécurité de mon onduleur en faisant chauffer le Strix Halo. Ca m'apprendra à sous estimer la conso de l'ensemble. Il est sur une prise protégée mais sans protection contre les coupures désormais. Ca me fera gagner 50% de temps de protection en plus

Qwen3.8 27b Q4 via lemonade, iommu=pt (pour accès au NPU) et vulkan. Le tout téléchargé depuis les repos classiques. Rien de tweaké à part iommu et profil perf dans linux

 
Le time to first token est chouette quand même (in before "gnagnagna c'est seulement 60 tokens" )
 
donc avec un semi gros input (11k tokens) donc 290 tokens/seconde en pre processing) :

 
Pour la blague la même machine est toujours en train de télécharger kimi k3 en parallèle (mais CPU à 2% pendant que le GPU carbure à 99% donc pas sur que la pénalité soit si importante en réalité )
 
Je vais sobrement dire que c'est utilisable quand même mais pas aussi pratique ni rapide qu'avec un ring de cartes cuda-compatible

J'ai un M3 Pro au taf (36Gb). Je cap à 36 token/s sur un Gemma4, ça c'est cool, mais seulement 12 token/s sur Qwen 3.8 (27B-mlx). C'est donc assez fastidieux pour faire du local avec Qwen.
 
J'utilise pour l'instant Ollama. Je vois qu'il y a d'autres possibilités, genre MTPLX, ou utiliser des modèles tunés pour MLX.
 
Y'en a d'entre vous qui ont un retour d'expérience sur Silicon ?

je fais tout via lm studio sur Mac (en prenant les modèles MLX de préference mais le taux d'acceleration n'est pas phénoménal non plus. C'est un pwal plus rapide mais tu restes memory bandwidth bound )
 
avec le google/gemma-4-26b-a4b-qat MLX (MoU donc) :
74,63 tokens / seconde
0,99s pour processer une quinzaine de token
 
Macbook PRO M5 pro 48GB ici

 
Pas mal.
 
T'as quoi comme contexte avec ça ?
 
Faut que je pitch la ministre des finances sur l'intérêt de claque 4k dans un mac studio
 
Ça commence à être bien utilisable en pas trop con ou c'est compliqué ?  

je peux pousser la reglette à 262144 tokens de context si c'est la question. Ca passe avec mon navigateur avec infinite onglets, des sessions SSH dans tous les sens Appstore, balenaetcher, vscode, docker et devcontainer, Safari avec youtube, mes notes et mes mails aussi en RAM.
 
Je pense pas que ça fasse du bien aux perfs mais YOLO
 

 
 
 

Ah ouais ça fait rêver quand-même Bon je me lance dans des recherches pour voir où je peux arriver

c'est un MoU, en Qwen 3.8 dense c'est pas la même histoire : Q6_K MTP CGUF 14,25 tokens / seconde
 
Je testerai bien Q4 MLX mais des fois huggingface remonte à 120Mo/s. J'aimerai tester un jour K3 quand même

 
CQFD, sans onduleur t'aurais eu moins de coupures

C'est trop j'alerte  

bon j'ai un des deux NVME qui se met en sécurité pendant les gros transfert (là je lis à 113Mo/s. ma connexion internet va plus vite et le SATA est pas loin derrière non plus ) Je ferai peut être un test en single nvme aujourd'hui mais j'attends un support ventilé pour refroidir un peu les bestiaux pendant l'inférence
 
 

A coté de la CG, je me rend pas trop compte de l'impact de la RAM de la machine ?
 
Parfois je lis "ballec c'est la VRAM qui fait tout".
Parfois je lis "il faut 2x la quantit de VRAM en RAM"

team ballec si tu n'as pas besoin de décharger des parts de LLM sur le CPU

Si tu parles d'impact sur la perf, je pense qu'il est minime. Soit t'as rien en RAM et OSEF. Soit tu as quelques layers et ça compte pas trop. Soit tu as beaucoup en RAM et ça sera lent de toute manière.
 
Le truc qui est con c'est quand tu as le mmap, les layers sont en RAM et en VRAM, mais c'est une erreur de config, sauf si tu es sur un mac, un Strix ou autre UMA.
 
Au final, la RAM est utile pour un MoE, mais je pense pas que tu puisses avoir des perf correctes avec 128GB de RAM et 8GB de VRAM par exemple.

Huggingface racheté par nvidia pour 13 milliards  

Plus qu'espérer qu'ils bloquent pas les quants autres que MXFP4 et NVFP4

P'tite opti sur llama.cpp (from https://sleepingrobots.com/dreams/q [...] trix-halo/ ) :
    -fa on -ngl 999 -b 2048 -ub 2048 --cache-reuse 1 --no-mmap
    --spec-type draft-mtp --spec-draft-n-max 2
    -np 1 --ctx-size 131072
    --cache-type-k q8_0 --cache-type-v q8_0
    --no-context-shift
    --jinja --chat-template-file ~/llama-swap/templates/chat_template.jinja
    --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0.0
    --presence-penalty 0.0 --repeat-penalty 1.0
    --chat-template-kwargs "{\"preserve_thinking\":true}"
 
26 tokens / seconde