Reprise du message précédent :
Résultats intéressants de l’inference locale avec GLM chez revolut :
https://www.theregister.com/ai-and- [...] ed/5307345

De tête c’est pas vu comme un porte malheur partout. Y’a des coins où au contraire c’est un porte bonheur. Mais en effet j’ai vu des immeubles sans 4 eme étage dans certains coins (bon c’est pas si spectaculaire que ça en a l’air le 4 eme etait juste noté 5eme dans le hall ascenseur )

la chaine YT asianometry a fait une vidé sur z.ai et les modèles GLM
j'utilise beaucoup depuis le 4.5, globalement très bon petit modèle

Le dernier strata va effectivement plus vite que celui que j'avais avant, je suis passé de 60-70 t/s à 70-80

Edit : en plus maintenant la vision marche sous windows en CPU :

Jamais fan de ces retours qui parlent pas des harness ou des classifiers Pour moi c'est le nerf de la guerre parce que payer un token 1X ou 10X, c'est le même ordre de grandeur.

 
Euh littéralement non Il y a un souci de formulation je pense

OK 9X

Un ordre de grandeur de différence ?
J4aurai du laisser un LLM parler

En fait je pense que l'article c'est du bullshit

Oui a priori, entre 1 et 10 il y a un ordre de grandeur d’écart Sur ce je retourne lurker

Brulez ce forumeur

bon j'ai activé le YARN de mon côté    
 
    run 1/3 :   69916 tokens  prefill 1690.2 tok/s  (1er token 41 s)  |  prose 33.8 tok/s  acceptation 38.7 %  |  GPU 30→51 °C  |  aiguille trouvée
    run 2/3 :  250834 tokens  prefill 1523.3 tok/s  (1er token 165 s)  |  prose 39.3 tok/s  acceptation 48.4 %  |  GPU 51→57 °C  |  aiguille trouvée
    run 3/3 :  392102 tokens  prefill 1433.9 tok/s  (1er token 273 s)  |  prose 35.5 tok/s  acceptation 45.9 %  |  GPU 57→58 °C  |  aiguille trouvée
(l'aiguille c'est un terme qui est demandé en fin de bench pour vérifier que le modèle est pas dépassé par son contexte)
 
Je passe pas à 1M pour garder la possibilité d'avoir deux sessions en simultané dans 128GB

C'est quoi ça le yarn ? (je connais le soft pour gérer les dépendances node uniquement )

j'ai essayé le yarn sur le iq3_s de strata et 384K ça passe facile.
je devrais recevoir ma RAM, je vais essayer de rester sur 256K mais avec le ud_q4_k_xl et le PLE en RAM.
ça devrait passer d'après l'IA

réponse de noob : c'est pour dépasser le contexte "officiel" ou recommandé du modèle.
genre qwen 3.8 FN tu peux le passer de 256K à 1M.

Mais tout le contexte est en VRAM? Donc en en faut des gigas

 
Combien de VRAM ça te prends? t'es en q8?

 
Q4 K XL. 103GO avec le YaRN et une session en cours de 400k tokens  

 
précisément ! à la différence que le contexte de base est de 265k sans. YaRN

t'as pas essayé deepseek coder rco-gsq ?

pas pour le moment, Gufo supporte enfin plus de quantisations mais je reste sur le modèle non censuré que j'aime bien (hui hui v2). Je me remettrais en chasse d'un autre modèle quand j'aurais des tâches trop complexes pour lui (et quand il y aura des Qwen v4 uncensored assez matures )

Ya les nouveaux quants QFN Unsloth dynamic 3.1 ajoutés dans le dernier Strata.

ils ont quoi de plus ces nouveaux quant ?
edit: que pour deepseek

Ha ok ben je l'avais utilisé avec strata déjà alors xD

 
Non Qwen Flash Next:
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
 

https://unsloth.ai/docs/models/qwen [...] r-2nd-2026
 
Avec un petit tacle au passage UD-IQ1_S qui fait presque aussi bien que GSQ-RCO IQ3_S:

le IQ3 va facilement remplacer Q4 pour la prochaine génération    
 
Faudra voir l'impact en terme de perfs vs nvfp4 / mxfp4 mais miam.  
 
les prix pas possibles du hardware en ce moment ont bien les conséquences que j’espérais : une profonde optimisation des modèles / moteurs pour faire tourner confortablement des modèles performants. J'avais juste pas vu venir la mode du "je mets un bout de minitel, avec mon vieux galaxy S1 + un gpu tombé d'une ferme de minage + un peu de RAM arraché d'un serveur sorti il y a 10 ans et paf je te mets du frontier like model qui tourne confortablement"  

 
Je viens de faire un tour dans notre baie locale de virtualization qui sert presque plus à rien vu qu'on est passé sur AWS. Il doit bien y avoir 3TB de DDR4 pour moins de 40 VMs dont 10 tournent de temps en temps. J'ai bien envie de me faire une grosse VM avec 500GB de RAM et ma paire de BC250 montées à travers un tunnel HTTPS

il y a peut être un vrai gap du coup avec l'iq4_xs alors sans "exploser" la taille  
edit: par rapport à avant ou c'était pas vraiment le cas

au fait vous faites des benchs pour vos modèles ?
 
je me pose la question pour mieux choisir mes futurs modèles uncensored. Mais avec Claude opus 5.5 qui me sort des tests assez tordus les seuls échecs sont dus au budget max. Je laisse le bench en cours finir mais on est déjà à trois itérations pour trouver le bon milieu
 
Je suis fatigué rien qu'en lisant les questions pourtant    
 

 

 

 
le test est auto corrigé par un script pour éviter un biais de modèle
 
Je vais laisser finir cette itération et voir si opus arrive à trouver quelque chose d'assez dur

 
Moi je suis heureux avec Qwen3.8-Flash-Next-GSQ-RCO en Q2 alors si pour la même taille je peux prendre le UD-IQ1 qui lui mets la misère, c'est tout bénèf
Bon après un test rapide c'est pas ça, j'ai eu un OOM, mais ya moyen de tuner peut-être.

Nasdaq 100 eyes $1.8 trillion loss as Democratic win sparks AI delay fears
https://www.reuters.com/legal/trans [...] 026-11-05/
 
src: https://www.clubic.com/actualite-63 [...] ement.html
 
A moi les A100 à 100 balles et la DDR4 à 4 euro le gigo  

si je peux arriver au même résultat en cramant moins de jetons... :à
à voir la vitesse de génération mais entre iq4_xs et le gsq-rco ça doit être kif kif
15% de mieux alors qu'avant les benchs les mettaient quasi à égalité pour une taille légèrement plus élevée du unsloth, faut que je teste ce soir.

edit: on dirait que j'ai acheté ma ram trop tôt...
mais présent pour une 2ème R9700 ai pro au mrp initial

oui non les démocrates sont pas exactement pro peuple non plus. Ca va signer des deals en disant que c'est la faute à Trump comme Trump disait que c'était la faute à Biden

Le poc de the_fennec en action : https://youtu.be/reOeczuEzOA  

J'ai regardé pour rajouter 16Go à un laptop du taf en DDR5-5600, non mais

c'est devenu n'imp' je confirme. Je pensais m'être fait avoir en commandant en aout 64GO pour 700 balles (   ) ... 1200 balles aujourd'hui  

je continue mon histoire de bench automatique :
 

 
j'ai essayé de le rendre assez complet en prenant en compte le système / debug / codage en Rust / Python / Bash en plus de la partie logique / Maths and co.
 
Le premier run n'est pas encore fini mais y'a trois modes de bench :
- rapide d'environ deux heures en thinking low uniquement
- semi rapide en low, high xhigh. Une epreuve réussie dans un mode thinking inférieure est réputée réussie en thinking sup
- lent où il rejoue tous les tests
 

 
l'idée n'est pas de remplacer un vrai bench (plus complet / éprouvé / fait pas des experts) mais seulement de valider si y'a des pertes catastrophiques suite à un nouveau parametrage / utilisation d'un modèle trop beau pour être vrai / uncensored malheureux avant qu'il ne puisse toucher la codebase  
 
p'tit subtilité : mécanisme d'arrêt du bench en cours en cas de soumission réelle de tâches et reprise des benchs suivants après 10 minutes d'inactivité

Laisse moi rêver
 

https://github.com/orailnoor/cross-platform-llm-client
 

 
Pour rappel, commande de 2023:

 

 
[/quotemsg]
je le trouve assez intéressant moi : facile à mettre en place avec l'onboarding par QR code & cross platform. Si je changeais de tel tous les ans (5 ans à la maison   ) clairement il y avait moyen de monter un cluster ultra économique

Un truc me chiffone : un vieux Tel c'est plus puissant qu'un PC core i5 de ya 3 ans avec son igpu moisi ?

Mon collègue du systeme au boulot dispose d'au moins 25 vieux PC qu'on pourrait tous brancher pour rigoler avec un llm local

le tel a de la mémoire unifiée (accessible par le GPU) en LPDDR5X pour les modèles moyen/haut de gamme. Et ca llama.cpp aime    
 
25 vieux PC c'est parfait pour de l'agent swarm avec quelques modèles tout petits / embeddings intégrés dedans (le CPU chauffera mais ça restera utilisables). Dés que tu vas distribuer la charge entre PC tu vas rajouter au problème de départ (mémoire pas très rapide + pas de GPU ou ne supportant pas les tensor nativement) un nouveau : bande passante faible entre PC et latences super élevées (quelques centaines de micro secondes c'est super long à l'échelle d'un modèle).
 
Par contre si les CPU supportaient AVX clairement il y avait un coup à jouer