Reprise du message précédent :
https://i.ibb.co/KcMcf1Qs/image.png

q38fn sur Strix 128GB via halogen

 
Qwen tournera mieux sur le m1, surtout qu'avec plus de RAM tu auras un meilleur quant et plus de contexte.
 
Le seul défaut du m1 c'est qu'il est sortis 3 ans avant le m4.

Si en plus ça arrive à scaler (plus de perfs) jusqu’à 4 appels concurrents…
 
Je vais peut être passer dessus cette semaine

Ok merci pour toutes les réponses.  
je sais que le M1 est vieux, mais sa puissance est tres suffisant pour la plupart des usages, meme aujourdhui. surtout en version max jimagine. et hors IA locale, mon taf c'est de l'ia avec claude, donc M1 ou M12 je crois pas que ca fera une vraie diff, ca se passe en cloud

 
Le gros avantage des MB c'est qu'en plus d'être fiable, on trouve très facilement des batteries neuves si besoin si jamais elle est rincée.

la batterie de base est deja enorme sur les pro (plus que sur les air ou elle est deja bien grasse)
mais oui ca peut etre pratique
jai trouvé un M1 Pro 32Go a ecran HS, petit prix, qui peut servir de mac mini en fixe sur mon ecran... jhesite.  
Et j'ai enfin recu ma 3090, j'ai 24Go de dispo sur mon fixe pour tester des IA locales (contre 10 avant avec ma 3080)

Bon personne ne parle des perfs du M5 ultra ?
Ou du M6 ?

Personne ne l’a acheté  

https://youtu.be/c_58D7ixOQI M5 ultra  
https://youtu.be/T15BuMPZW4Q m6 mini
 
Ça n’a pas traîné

 
J'ai vu la dernière vidéo de Codacus. Il m'a étonné sur son point de vue de JEV. Pas gentil Codicus      
 
Bref pour lui JEV n'a rien de nouveau, ce n'est que du parallélisme (en gros). Il a même ajouté à son fork de Llama.cpp, un mode d'inférence a la "JEV", que chacun peut tester en téléchargeant son fork  https://github.com/thecodacus/llama [...] l-decision
 
Il met en avant la démonstration de Harsha Gondala qui démontre seulement deux heures après la sortir de JEV(développé en 2 ans apparemment)  qu'on peut obtenir un comportement similaire avec  Qwen 2.5 1.5B standard + une autre méthode d'inférence, sans nouveau modèle, sans nouveaux poids et sans réentraînement.
 
C'est ça qui a fait tilt chez Codacus.  

c'est bien beau de mettre à dispo ces forks mais il y a rien qui décrit clairement ce que ça apporte de plus.
c'est dommage

 
J'ai vu que celle du M6 mini, c'était cool.
Hâte de voir celle du Ultra !
 
Sinon bonne revue ici :
 
https://www.macstories.net/stories/ [...] ai-agents/

Il décrit tout dans sa vidéo ..

https://www.youtube.com/watch?v=bcGO7xre46o

 
J'ai trouvé sa vidéo bien, justement il calme un peu la hype. Jev c'est très bien dans certains cas, mais ça n'aide pas plus que ça en inférence générale.
 

 
C'est pas un fork, mais une branche, donc travail toujours en cours.
Il a fait toute une vidéo dessus. TL;DR: il a ajouté un endpoint /v1/decision pour faire du Jev sur llama.cpp.

C'est pas dégueux :

M5 Ultra (64c) · 96 GB · 4bit · 2026-09-23
Qwen3.8-Flash-Next-oQ4e-mtp

https://omlx.ai/benchmarks/performance/2i2vngpd

M5 Max (40c) · 128 GB · 4bit · 2026-09-22
Qwen3.8-Flash-Next-oQ4e-mtp

https://omlx.ai/benchmarks/performance/qgaq59xo

oui, c'est pas dégueux du tout.
96Go/128Go par contre...

Ça on le savait déjà le prix par contre, lui il est dégueux

J'arrive toujours pas à m'y faire.

Plus de rapidité vs plus de capacité  

J'ai eu le feu vert de la directrice financière et le cash est prêt

Je continue à poncer les bench.

 
C'est toujours moins cher aujourd'hui que dans 6 mois  

 
Je pense que capacité > rapidité
 
Sachant que le bench montre un TG identique, il n'y que le PP qui gagne

Presse-citron : J’ai installé une IA surpuissante directement chez moi
https://www.youtube.com/watch?v=mcRDIdIfHqE
 
Plus de 10 000€ Euros boulles le bouzin tout de même !!!!
 
 
Je teste Llama.cpp sous Android, https://play.google.com/store/apps/ [...] klab.llama
https://play.google.com/store/apps/ [...] =web_share
 
Le haut de ma OnePlus PAD 2 de 12 pouces est brûlant, il est d'une lenteur affligeante, c'est presque pire que ma RADEON RX-VEGA56 8 GO de VRAM avec c'est 3,61 Tokens par seconde sur mon ordinateur de bureau.
Et ça bouffe max de batterie.
 
Ce con d'IA sur android est très con, il dit qui ne peux par lire l'image, mais décrit très bien la forme géométrique et les lettres de chaque points et génère bien le script SVG en conséquence.
 
Bon je confimre, il est encore plus débile que sur ordinateur de bureau.
 

 
Et sous google chrome pour PC, le script SVG comporte des graves erreurs, bien que décrit dans le Script SVG les lettres ne s'affichent pas.
 
 
Edit: voici l'image générée par Llama.cpp Google/Gemma-4-26B-A4B-it-qat-q4_0.gguf et mmproj: gemma-4-26B-it-mmproj.gguf
 

 
Y a pas à dire hein c'est un vrai p'ti génie !!!

 
Mais le PP sur de l'agentique multi-user c'est important
 
Et la rapidité est utile tout le temps, la capacité elle n'est utile "que" si tu dépasses 96GB de ram quoi
Et sur les modèles actuels, le sweet spot semble être bien plus bas.
 
Pas si facile non ? Après mon raisonnement est peut-être faux, à force de le tourner dans tous les sens c'est possible  

 
10k HT s'il te plait    
 
Tout ça pour 32Go VRAM  

 
Si c'est multi-user en effet ça change la donne, je pensais que c'était juste pour toi. Après plus de VRAM, ça faire plus de contexte
 
Mais si c'est du multi-user, peut être que vLLM serait plus indiqué?

 
Sponsorisé par AMD et LDLC

je teste pas mal de qwen 3.8 27B depuis quelques jours et je rencontre souvent un souci avec les version K_L sur ma conf (je suis pas le seul a priori).
bien que le modèle fit sur les 2 cartes, j'ai un repli partiel sur le CPU : je passe du coup de 20t/s+ (non K_L) à à peine 10-11t/s (K_L).
j'ai jamais trop compris ce qu'il se passait, me semble avoir lu que c'était un souci avec le F16/BF16 ou je sais pas trop quoi mais c'est un peu relou de découvrir le souci une fois le modèle téléchargé.
edit: petite obvious-rie mais les qwen 3.8 qui se vantent de moins réfléchir pour produire un résultat quasi identique qu'un modèle "stock"...

 
Je sais
 
J'ai aussi un GB10 dans la balance. Mais la facilité / stabilité du mac gagnera au final je pense.
Et l'usage occasionnel d'outils d'éditions photo / vidéo aussi.
 
Je sur-estime sûrement l'importance du multi-user.
On n'est que deux hein, mais je pense vraiment qu'on se dirige vers une ère agentique avec plusieurs agents chacun qui tourneront souvent

On en découvre tous les jours :
 

https://shop.lucebox.com/?country=FR
 

 
Ça ne me semble même pas si cher    
 

 
Tu es a 1200 euros plus cher qu'une solution DIY... Ca se vaut.
 
Le probleme c'est que ce n'est pas forcement le setup le plus smart a faire...  
 
Une 9700 + Strix sur llamacpp ca equivaut a halogen sur le strix seul
 
Tu vas pas rajouter 3 9700 pour avoir tout en vram...  

t'as oublié le principal : c'est aussi ta machine de travail   : tu retires 7GO de base à l'OS pour qu'il vive, tu charges un gros modèle avec du contexte ... il te faut l'ultra avec 128GB de RAM avant que tu n'ait lancé ton IDE et ton navigateur avec 1M+ de tabs

 
Quel modèle? Quel paramètres?
J'ai jamais eu ce genre de soucis avec Unsloth, sauf Qwen Flash Next qui a un drop en TG au bout d'un moment, mais j'ai vu pas mal de retours dans ce sens et l'archi est encore expérimentale.

Pour 6000 balles je choisi à tous les coups un DGX10 ou un mac studio M5 ultra pour à peine 600 balles de plus

Swift-Qwen3.8-27B-Q6_K_L.gguf : celui par exemple.
repli sur le CPU (je garde une petite charge GPU)
Swift-Qwen3.8-27B-Q6_K.gguf ou Swift-Qwen3.8-27B-Q6_K_S.gguf : pas de souci, ça tourne sur les GPU.
paramètres par défaut de qwen 3.8 pour le "thinking ON"  
pour le reste, réglage de la taille du contexte pour que ça fit à 28Go sur les cartes en q8/q8, VULKAN, MTP : ON (rien de ouf dans la la config du modèle)
 
J'avais la même chose sur les modèles de davidAU aussi (il y a des versions AMD de mémoire qui marchaient pas et les versions LOW fonctionnaient chez moi)
 
pour les UD3 d'unsloth, toujours pas OK sous LMstudio (feignant inside), je vais/il faut tester avec llama.cpp

 
Si seulement l’ultra 128 existait ça serait le graal absolu    
 
Mais oui, you’ve got a point comme on dit.

 
Tu me conseillais le max faudrait savoir    
 

Ouais non je pensais à une machine mono utilisateur pas que tu arroserais en IA tout le plateau du bâtiment

 
encore LMstudio ils doivent avoir une version de llama.cpp qui a 1000 ans qui supporte pas un des quants d'un layer K_L de Swift.
Tu perds vraiment ton temps (et celui de ton CPU) avec ce soft moisi...

 
Il faut passer par la...
 
Perso j'ai fait:
Ollama sous win  
Lemonade sous linux
et maintenant VLLM / Halogen FTW.
 
Une fois que t'as compris la notion de session context et kv-cache reuse, t'as un enorme step up a utiliser vllm.

Un Qwen 3.8 27B en 11,8gb https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
Je le teste depuis plusieurs heures : il a l'air de fonctionner aussi bien que Qwen3.8-27B-Uncensored-IQ4_XS_4BPW (ressenti, pas une mesure scientifique) - mais en libérant presque 1gb, ce qui permet de bien augmenter la taille du contexte. Utile pour du développement assez poussé.

Je sais faut que je me bouge