Reprise du message précédent :

Clairement !

Ou deux Ryzen 395+ en 128gb avec un petit 10gbps  

ça va ramer du cul avec ce lien

Sinon Bedrock/Vertex/..  

 
Tu feras la queue, comme tout le monde

 
Apple va pas offrir des m5 pour le prix d'un m3, même Ultra.

 
Une paire de GPD WIN 5
 

 
J'ai pas de soucis en gigagit entre mes deux instances de llama.

Je connaissais pas ce modele de mac studio à 512G

 
Vus le tarif des M3 qui largement le plus cher de la gamme, je pense que c'est jouable, ils l'ont bien fait récemment sur des commandes de macbooks : https://www.notebookcheck.net/Apple [...] 556.0.html

Testé gemma-4 sur mon MBP m4, ça marche pas mieux que sous Windows. J'ai testé aussi Qwen3.5 27B ... 5 tg/s j'imagine pas un gros modèle Bon c'était un gguf avec llama, ya peut être moyen de faire mieux en mlx avec autre chose.
 
Mais par contre Opencode a bien marché avec mon MCP custom! Je pense tester 35B A3B voir si il tient le coup, au moins ça sera plus rapide.

Avec tout ce qui sort en ce moment, on va vivre un nouvel eldorado du llm local
 
Entre Turboquant : https://github.com/ggml-org/llama.cpp/discussions/20969 https://github.com/DevTechJr/turboquant-gpu/tree/main
DFlash : https://z-lab.ai/projects/dflash/
Tailslayer : https://github.com/LaurieWired/tailslayer
 
Mais si ont veut etre aux premières loges, il faut du nvidia

Il y en a un par heure

Faut louer du gros serveur

 
Je suis un peu moins excité maintenant, il y a beaucoup de vibe coding dans le tas, et pour l'instant j'ai pas réussi a faire marcher les TQ en local, j'ai essayé 2 forks (les plus avancés). Le merge dans llama.cpp, c'est pas pour demain, chacun des forks ne marche qu'avec une seule archi (Cuda, Rocm, Metal, pas de Vulkan, etc), et a une implémentation différente. Dans les discussion on a l'impression d'avoir des entreprises (we) et des chercheurs (publications), mais j'ai l'impression que c'est souvent juste un gars dans dans chambre avec Claude et une 5070Ti

Etonnant, de mon coté Gemma-4 E4B donne de très bon résultat sur mon M4 avec 16Go de RAM, le meilleur modèle que j'ai pu tester qui rentre dans les 16Go de RAM (meilleur que Qwen  3.5).
Sur Qwen je plafonnais a 15 t/s alors que Gemma 4 monte à 27 et avec de meilleurs résultats à première vue (génération de code basique, résumés , génération de texte etc ...), le tout avec un contexte de 65K.  
A noter que j'ai du mettre à jour mon llamaCPP car il ne voulait pas se lancer avec ma précédente version.
pas encore tester avec MLX (j'ai vue des articles qui parlaient de 25% de gain)

 
J'y pensais. Est-ce qu'il ne faudrait pas commander un petit M4 Max maintenant pour se voir offrir un M5 au lancement et éviter une potentielle hausse de prix

 
Tu utilise quoi comme agent? Pour des trucs de base, comme le chat intégré a llama.cpp, ça marche. Mais quand c'est plus compliqué, qu'il faut utiliser des tools ou un MCP ça marche pas, il utilise pas le bon format et interprètes pas bien les résultats. Opencode par exemple ne fonctionnait pas correctement.

Ils sont arrangeants mais c'est pas non plus des philanthropes heins  
S'ils font l'upgrade c'est que les deux sont sensiblement de la même valeur ( sinons ils annulent la commande...)

Vu le procédé de fabrication ( ram soudée direct sur le CPU ) je doute qu'ils continuent à bloquer des stocks de ram pour une vieille génération.
Je mets une pièce qu'ils refourguent encore les stocks déjà produits et qu'ils captent les commandes pour le reste sans dire qu'ils ne vont plus en refaire.

Ça devrait éviter la blague des M2 revendu en neuf partout alors que le M4 était déjà là  

J'ai testé avec Vscode / Continue + chat. Je testerais avec Claude Code ce soir. Pour la partie dev j'ai fait des UC de test, du genre créer une fonction de tri de tableau, ou créer un formulaire HTML etc ...  
 
Sinon ce week-end j'ai testé Qwen 3.6 plus (via Openrouter) avec Claude Code pour refaire une appli Web viellote que j'avais développé il y a longtemps (je suis partie de la structure SQL existante + besoin macro), je suis arrivé au résultat escompter (en cramant 50M de Token tout de même) avec une qualité de code honorable (j'ai vraiment touché 0 ligne de code), par contre sur l'aspect UI / UX c'est clairement 2 crans en dessous de Sonnet 4.6.

 
Là y a quasi aucune config dispo avant juin  

je suis tombé dessus ce matin
https://orgn.com/pricing

 
Je suis sur le cul, Gemma-4 E4B qui marche et fait des trucs utiles avec Vscode/Continue?
 
Avec le 31B, je peux générer des trucs, mais utiliser des tools, of des trucs dans le contexte ça marche pas.

C'est quoi cette diablerie de Macbook
 
J'ai chargé Qwen3-Coder-Next-UD-IQ3_S.gguf (30GB) sans soucis et il marche plutôt bien, malgré plein de truc qui tournent.  
Alors je me dis pourquoi pas Qwen3-Coder-Next-UD-IQ4_XS.gguf qui fait 38GB:

 
En fait il swap plein de trucs mais ça tourne quand même bien:

 
Quand je dis plein de trucs, j'ai: IntelliJ(2), Kiro(2), Cursor(2), Docker (Elasticsearch, DynamoDB, Kafka, Zookeeper, etc.), mon appli de dev Java, Opencode, un MCP custom et llama.cpp, Outlook, Zoom, VPN et Firefox avec 15 tabs .

Dommage que je sois pauvre, sinon j'aurais déjà pris un MBP M5 Pro 512GB

Y’a pas que Mac dans la vie

Bon en fait il ne sait effectivement ni lire ni écrire dans un fichier  , ça marchait avec Continue quand je lui demandais de faire des modif dans un fichier déja existant ou de m'expliquer une fonction, mais dans CC il ne fait rien.
Donc je confirme que le model ne sait pas gérer les tools , dommage

Putain mon organisation MS mes couilles qui bloque l'utilisation de MCP sur copilot cli et vscode

 
Un modèle de 5GB c'est normal. Essaye Qwen3.5 35B A3B ou 27B (très lent):
https://huggingface.co/unsloth/Qwen [...] 3_XXS.gguf
https://huggingface.co/unsloth/Qwen [...] 3_XXS.gguf
 
Ca va swap a mort; mais c'est mieux que rien

Je n'ai que 16Go de RAM sur mon Mac et 12 de VRAM + 16 de DDR4 sur mon desktop, autant dire qu'un model > 12B ne passera pas  
Les tools fonctionnent bien avec Qwen 3.5 9B (c'est celui que j'utilise avec CC en local), Gemma 3 4B, ministral 8B ce n'est pas une question de taille je pense.
J'ai voulu tester avec les versions de Gemma 4 sur Openrouter mais impossible de placer la moindre requête je me fais jeter pour rate limit

Edit : je viens de tomber sur cet article qui indique que Gemma 4 sur Ollama fonctionne avec CC en tooling  : https://meshworld.in/blog/ai/toolin [...] aude-code/

 
Regardes mon post plus haut, j'ai passé un modèle de 38Go sur mon MBP 48Go avec plein de trucs qui tournent en plus dont une VM docker de 8Go. Donc je pense que tu dois pouvoir essayer un modèle de 12/13Go, il va swaper mais ça se teste.

 
J'en ai lu plein des articles/posts comme ça, mais chez moi ça marche pas bien. Je pense que pour beaucoup de ces rapports, c'est juste pour faire du click/vote.
 
Juste pour être clair: quand je dis que les tools marchent, ou pas, c'est que tu peux laisser l'agent bosser pendant des heures et qu'il plante pas sur un appel de tool foireux. Dans beaucoup de cas, la personne lance le modèle, fait une ou deux commandes qui marchent et retourne sur son abo Claude/Codex/etc...

 
 
C'est quand même un bon rapport RAM / Prix pour le quidam moyen    
 
Après oui, on peut toujours s'acheter un DGX Spark  

Bon ben mauvaise nouvelle, il semblerait qu'OpenAI diminue le quota Codex de l'abo à $20 avec l'introduction du tier $100

En journalier de ce que j'ai compris
La limite en hebdo c'es6t censé resté pareil

 
C'est le journalier qui compte, je me suis tapé la limite hier. Ça fait chier  

Ah oui oui je sais bien, ils suivent Claude, et Gemini l'avait fait aussi
On savait que ça allait venir

Il reste AlibabaCloud et OpenCode Go mais effectivement qu'avec des modèles open source...

Ils ne sont plus très loin des modèles fermés

Soyons sérieux