Reprise du message précédent :

 
Mouaif, mon problème avec les Gemma c'est pas la vitesse, mais juste qu'ils marchent pas. J'ai jamais eu de tools qui fonctionnent, et la génération fait n'importe quoi rapidement.

 
Quel Mac studio? Je pense qu'a partir de 48/64Go on peut commencer a avoir quelque chose de pas mal en agentique. En dessous c'est chaud.

 
Choix difficile, 100 tg/s en 35B ou 30 en 27B
Par contre 256k de contexte en q4 il doit plus rester grand-chose de pertinent a 50% de remplissage...

Ici //blog.google/innovation-and-ai/technology/developers-tools/multi-token-prediction-gemma-4/

Il gère mieux les recherches Web / Compilation d'info que ses accolytes Qwen3.6 / Nemotron 3 de même taille. Mais je préfère Qwen pour tout le reste

Merci , je comprend mieux  
Il on adapté leurs models au speculative decoding en créant des model draft (assistant)
Du coup j'ai l'impression qu'aucune version GGUF ne semble encore dispo sur ce model, je vais attendre que ça se décante.
Comme pour the_fennec, Gemma 4 est plutot rapide chez moi sur llamaCPP (plus que Qwen3.5) mais ne supporte pas correctement le tooling

 
Vu les retours reddit, même pas apparemment.
 
Si quelqu'un a des retours concrets aller-y  

Ca dépend tu veut des retours sur quoi exactement ?  
 
Dans mon cas d'usage le local c'est cool, mais dans les fait il me sert a faire de l'OCR essentiellement

 
Le monsieur parlait d'usage agentique de local llm.
J'ai vu sur reddit que ça ne fonctionnait pas / mal.
Donc si y a des retours là dessus je prends (pas usage conversationnel / ocr).

Tu l'utilises avec quel agent?
 

 
Pour tes posts:
 
1. Openclaw est codé avec le cul et s'attend a avoir un modèle top tier avec 1M de contexte. Rien que d'envoyer "hi" te colles 50k de conneries sur la personnalité de l'agent . Il n'a pas du tout été pensé pour marcher en local. Peut être qu'avec 256Go, un gros modèle et un gros context il pourrait bien marché, perso j'ai vite laissé tombé tellement le projet est bordélique.
 
2. Il parle de vieux modèle, gpt-oss et qwen-coder (pas next) sont des vieux tromblons.
 
3. ça divague et par pas de Mac studio
 
 
J'ai joué pas mal avec mon MBP 48Go, et ça marche bien avec llama.cpp et opencode, mais on a plus le droit de les utiliser pour le moment .

Avec un bon harness (pi) et un model dédié il m'a sortie du code correct pour du micro python.

Maintenant oui il faut bien voir que du local c'est périlleux : tout doit être bien cadré pour compenser le fait que le model est beaucoup plus con, le harness doit être en conséquence également. Et tu va passer du temps à mettre au point les skills et les workflow.

Rien a voir avec les gros model tres intelligent qui a partir de trucs vagues vont réussir à se démerder

J'ai pas encore reçu mon précieux (il est à la frontière allemande ! caramba je vais avoir du temps pour m'occuper des gosses ce weekend (je suis pas canadien si ça peut rassurer ). Donc je fais tout avec LM Studio, des skills aux petits oignons   ( https://github.com/addyosmani/agent-skills ) et des plugins (ceux de brius pour le web search + visit website donnent le plus de satisfaction pour l'instant)

Je t'en ferai quand j'aurai commencé à monter la stack. En attendant le Strix Halo je vais bosser avec un Claude Code dans un container pour me faire la main sur la gestion de tokens, les skills et voir là où ça bosse mieux que mon Qwen 3.6 27b boosté aux skills (normalement c'est mieux partout sauf le quota de tokens mais bref c'est mieux de l'experimenter ))

 
Ça a l’air pas mal les agents skills    
 
Comment tu utilise tout ça ? Tu lance LM Studio en mode server et tu couple le tout a VS Code ou équivalent ?

Je charge mon modèle dans LM studio (avec le serveur local actif + clé API - accès pour tout le réseau (laptop qui peut se balader sur un réseau non protégé)
je charge mon skill en system prompt
Studio code + plugin continue (mais tu en as d'autres genre cline que j'ai testé aussi) connecté à mon serveur LM Studio (configuré pour charger automatiquement le modèle de mon choix si j'avais oublié)
 
Pour avoir les skills dans VSCode automatiquement faut le rajouter dans les paramètres de chargement de ton modèle