Reprise du message précédent :

 
Mouaif, mon problème avec les Gemma c'est pas la vitesse, mais juste qu'ils marchent pas. J'ai jamais eu de tools qui fonctionnent, et la génération fait n'importe quoi rapidement.

 
Quel Mac studio? Je pense qu'a partir de 48/64Go on peut commencer a avoir quelque chose de pas mal en agentique. En dessous c'est chaud.

 
Choix difficile, 100 tg/s en 35B ou 30 en 27B
Par contre 256k de contexte en q4 il doit plus rester grand-chose de pertinent a 50% de remplissage...

Ici //blog.google/innovation-and-ai/technology/developers-tools/multi-token-prediction-gemma-4/

Il gère mieux les recherches Web / Compilation d'info que ses accolytes Qwen3.6 / Nemotron 3 de même taille. Mais je préfère Qwen pour tout le reste

Merci , je comprend mieux  
Il on adapté leurs models au speculative decoding en créant des model draft (assistant)
Du coup j'ai l'impression qu'aucune version GGUF ne semble encore dispo sur ce model, je vais attendre que ça se décante.
Comme pour the_fennec, Gemma 4 est plutot rapide chez moi sur llamaCPP (plus que Qwen3.5) mais ne supporte pas correctement le tooling

 
Vu les retours reddit, même pas apparemment.
 
Si quelqu'un a des retours concrets aller-y  

Ca dépend tu veut des retours sur quoi exactement ?  
 
Dans mon cas d'usage le local c'est cool, mais dans les fait il me sert a faire de l'OCR essentiellement

 
Le monsieur parlait d'usage agentique de local llm.
J'ai vu sur reddit que ça ne fonctionnait pas / mal.
Donc si y a des retours là dessus je prends (pas usage conversationnel / ocr).

Tu l'utilises avec quel agent?
 

 
Pour tes posts:
 
1. Openclaw est codé avec le cul et s'attend a avoir un modèle top tier avec 1M de contexte. Rien que d'envoyer "hi" te colles 50k de conneries sur la personnalité de l'agent . Il n'a pas du tout été pensé pour marcher en local. Peut être qu'avec 256Go, un gros modèle et un gros context il pourrait bien marché, perso j'ai vite laissé tombé tellement le projet est bordélique.
 
2. Il parle de vieux modèle, gpt-oss et qwen-coder (pas next) sont des vieux tromblons.
 
3. ça divague et par pas de Mac studio
 
 
J'ai joué pas mal avec mon MBP 48Go, et ça marche bien avec llama.cpp et opencode, mais on a plus le droit de les utiliser pour le moment .

Avec un bon harness (pi) et un model dédié il m'a sortie du code correct pour du micro python.

Maintenant oui il faut bien voir que du local c'est périlleux : tout doit être bien cadré pour compenser le fait que le model est beaucoup plus con, le harness doit être en conséquence également. Et tu va passer du temps à mettre au point les skills et les workflow.

Rien a voir avec les gros model tres intelligent qui a partir de trucs vagues vont réussir à se démerder

J'ai pas encore reçu mon précieux (il est à la frontière allemande ! caramba je vais avoir du temps pour m'occuper des gosses ce weekend (je suis pas canadien si ça peut rassurer ). Donc je fais tout avec LM Studio, des skills aux petits oignons   ( https://github.com/addyosmani/agent-skills ) et des plugins (ceux de brius pour le web search + visit website donnent le plus de satisfaction pour l'instant)

Je t'en ferai quand j'aurai commencé à monter la stack. En attendant le Strix Halo je vais bosser avec un Claude Code dans un container pour me faire la main sur la gestion de tokens, les skills et voir là où ça bosse mieux que mon Qwen 3.6 27b boosté aux skills (normalement c'est mieux partout sauf le quota de tokens mais bref c'est mieux de l'experimenter ))

 
Ça a l’air pas mal les agents skills    
 
Comment tu utilise tout ça ? Tu lance LM Studio en mode server et tu couple le tout a VS Code ou équivalent ?

Je charge mon modèle dans LM studio (avec le serveur local actif + clé API - accès pour tout le réseau (laptop qui peut se balader sur un réseau non protégé)
je charge mon skill en system prompt (tu peux naviguer entre templates en un clic dans le chat)
Studio code + plugin continue (mais tu en as d'autres genre cline que j'ai testé aussi) connecté à mon serveur LM Studio (configuré pour charger automatiquement le modèle de mon choix si j'avais oublié)
 
Pour avoir ces skills dans VSCode via l'extention continue j'ai fait générer un script à claude (attention je l'ai fait sur Mac d'où le homebrew au départ pour avoir un bash version 5)

vaut mieux faire une sauvegarde du fichier config.yaml avant (commande cp avec le même nom de fichier fini par .bak-datedujour) et c'est marre

This Local LLM Looked Smart Until I Saw What It Made Up
https://www.youtube.com/watch?v=zBYfzecY5ww
 
Pas mal comme bench!
 
Il link cette chaine très intéressante aussi: https://www.youtube.com/@Protorikis

 
   
Merci je vais regarder tout ça    
 
J’utilisais RooCode avec VSCode mais il n’est plus maintenu je vais tester Cline.

Cline c’était très bien. Je suis passé à continue parce qu’il etait recommandé plus souvent sur Reddit. Au final ça marche donc j’ai gardé mais c’était pas très structuré comme choix
 
Sinon … j’ai reçu l’AMD strix halo AI 395+ (ils ont pris le gars du marketing qui bossait avant sur les figurines power rangers )
 
Pas encore fait de l’IA dessus. Faut que j’attende que les momes soient couchés mais je vais faire tourner un minimax 2.7 xxs (80GB le xxs quand même ) ce soir

C'est vraiment utilisable ces miniPC IA ? Ok ça a plein de RAM unifiée mais niveau perf prompt fill et token generation ça doit bien tirer la langue non ?

https://kyuz0.github.io/amd-strix-halo-toolboxes/

Deepseek V4 Flash
 

https://github.com/antirez/ds4

Merci

Comment je vais le retourner dans les prochaines jours   Merci !

Q4 ou autre ?  
 
Pour l'instant avec zero tweak en dehors d'installer un OS avec les drivers AMD (qui incluent Vulkan) j'ai 33 tokens par secondes en IQ3_XXS avec minimax 2.6 GGUF. Suffisant pour bien jouer  

modèle de l’élite    avec en entrée de gamme un Max 128GB et si on veut vraiment jouer y'a l'ultra 512GB vendu d'occaz 30k€ sur ebay  

Ahhhh vivement la suite !!

Pour ceux qui hésiteraient entre Cline, Roo ou Continue : évitez continue. tous les modèles que j'ai testé (minimax comme Qwen, Gemma, minimax ou Nemotron) galèrent à créer / modifier les fichiers. Au départ j'ai cru à des hallucinations mais des posts le mentionnent sur reddit. Passez plutôt côté Kilo (plus de contrôle et assez mature) ou cline (plus facile out of the box en particulier question skills mais YOLO la context window / token processing et pas possible d'overider la limite à30 secondes de timeout. Ca peut arriver avec une context window obèse genre 50k+ tokens     )
 
J'ai aussi un peu laché Lemonade qui me donne l'impression de revenir 10 ans en arrière en terme d'UI et fonctionnalités (ça marche mais c'est roots face à LMStudio notamment tout ce qui est gestion des modèles et conversations) je suis repassé à LMStudio comme de toute façon les drivers Vulkan sont plus stables que ROCM (mais ça se rattrape heureusement via un peu de paramètrage) et ROCM n'est pas spécialement plus performant sur du mono GPU / Noeud)

beaucoup d'allers-retours cette nuit et aujourd'hui entre Cline et Kilo code mais globalement :
=> Cline fait plus envie sur le papier (convertisseur token/dollars qui rappel les économies du local et rollback à n'importe quel point précis du chat et des fichiers super pratiques notamment) mais avec des LLM locaux il y a un hard stop à 30 secondes hors serveur Ollama   Passer à Ollama fonctionne mais c'est franchement loin du confort de l'UI de LM Studio (logs debug en un clic, ajout de l'accès à internet au modèle, chat assez avancé, mise à jour des drivers et frameworks en un clic)
=> Kilo a une bonne manière de présenter le workflow (timeframe des étapes avec code couleur) n'a pas de timeout stupides avec les connecteurs, a une sorte de mécanisme de snapshot (mais qui permet de revenir à l'étape où tu écris une des instructions. Merci snapshot de faire perdre potentiellement des heures de boulot ). Par contre il a des marketplaces de MCP et globalement il est plus simple à configurer que cline si on a pas une config straightforward (remote LM Studio, usage d'API keys etc.)
 
Bon par contre à force de faire des essais et cliquer partout avec des gosses dans les pattes j'ai donné les droits à la ligne de commande sans filtre : au départ ça allait tranquillou sur du démarrage de serveur web minimaliste   mais rapidement ça a installé des packages dans tous les sens pour le dev MCP chrome    (alors qu'il était sensé être bien actif dans l'extension déjà) avant de killer le serveur en web en mode "je kill tous les process qui ont http dans leur nom  
 
bref réinstallation et restauration du mac + docker desktop + vscode devcontainer pour garder tout ça sous contrôle (et loin de mes données)
 
Autrement le bosgame se porte à merveille. Ca chauffe bien, c'est pas du tout une machine que j'aimerais sur mon bureau pendant de longues sessions d'inférence niveau bruit de ventilation (mais à mes pieds ce serai très supportable) mais tout va bien de l'allocation de 110GO+ à la VRAM sans préallocation à la stabilité des modèles sur des contexte de 60k+ tokens : ça roule parfaitement avec Vulkan. Rocm c'est plus l'aventure donc j'attendrai des updates avant de retester en profondeur mais la différence de perf ne le justifie pas vraiment à ce stade

Merci pour le retour! Kilo t'as salopé ton Mac au point de devoir le reinstaller ??  
 
Après c'est pour ça que j'ai une VM pour les trucs locaux, OSEF si elle est pourrie.

Mon modèle (Qwen 3.6) l’a fait. J’accuse le cerveau. Pas le messager
 
Mais sinon non le mac est pas tellement salopé mais il a fait tourner des NPM / brew, plein de curl et relancé chrome avec plein de paramètres de debug que je ne connais pas. Je préfère le factory reset a avant hier histoire de le remettre sur une base que je connais plutôt que découvrir dans 3 mois que j’ai des hackeurs russes sur la machine qui relisent mes prompts à deux balles en rigolant

NPM c'est le mal de toute manière
 
Au moins tu n'as pas mis Openclaw

Running a 35B AI Model on 6GB VRAM, FAST (llama.cpp Guide)
https://www.youtube.com/watch?v=8F_5pdcD3HY
 

 
J'étais persuadé de l'avoir déjà postée, c'est chose faite maintenant!
 
Ça prouve bien qu'on peut faire des choses intéressantes avec pas grand-chose! J'ai même appris un truc comment économiser 27Go de RAM !!!
 
J'utilisais jamais --no-mmap: le mmap c'est bien, tu charges un fichier virtuellement en RAM, l'OS se débrouille de charger/décharger ce qu'il a besoin uniquement, je comprenais pas pourquoi certains l'utilisent pas. (c'est un truc que j'ai utilisé beaucoup avec Lucene et qui est aussi utilisé par Elasticsearch).
 
Mais ça ne marche QUE en RAM, pas en VRAM! Donc quand je charge un modèle de 27GB, llama.cpp le charge virtuellement en RAM, et le copie en VRAM totalement (ou partiellement), mais il est lu en entier au final. Une fois chargé, llama.cpp doit garder une référence dessus, donc j'ai mon modèle a la fois en VRAM et en RAM. Donc en jouant avec le --n-cpu-moe je devrais pouvoir charger des modèles beaucoup plus gros, genre 50/55GB.
 

Salut,
 
J'ai beaucoup aimé roo code, depuis l'annonce de l'abandon (visiblement ce sera tout de même maintenu) je suis passé sur PI.dev.
Beaucoup plus léger pas mal d'extensions, skills dispo via la communauté. C'est sympas.
Endpoint sur un fork de llama.cpp (https://github.com/TheTom/llama-cpp-turboquant) qui permet le turbo quant.
Je lance avec ~/src/llama.cpp-turboquant/build-cuda/bin/llama-server \
  -m /mnt/nvme/models/qwen36-27b-UD-Q6_K_XL/Qwen3.6-27B-UD-Q6_K_XL.gguf \
  --host 0.0.0.0 \
  --port 8000 \
  --alias qwen36-27b-q6k \
  -ngl 999 \
  --parallel 1 \
  --ctx-size 262144 \
  --flash-attn on \
  --cache-type-k q8_0 \
  --cache-type-v turbo4 \
  --no-mmap \
  --mlock \
  --jinja \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 20 \
  --batch-size 2048 \
  --ubatch-size 512
 
De cette manière je consomme 31.5 VRAM sur mes 32 et je suis à ~55t/s, aucun OOM en une semaine.  
Sur 172/225 test cases du bench d'Aider Polyglot j'ai pour l'instant un score de 74,4% en deuxième passe, c'est de très loin mon meilleur score (testé gemma4, minimax qwen-code).
Un bémol Qwen3.6 27B se perd parfois dans sa réflexion, je pense rajouter en paramètre --reasoning-budget 65536 et --n-predict 81920 pour éviter de le voir s'envoler avec des 200k token en réflexion, je referais un bench pour comparer.
 
Je pense avoir trouvé mon 'sweet spot' du moment, je vais tester ça sur mes activités pro sur une semaine voir si ça tiens la route mais pour l'instant sur deux jours d'utilisation je suis bluffé.

Belle perf, c'est quoi ta config?

Ca tourne sous rtx 5090, core U9 et 128 ram.

propre  

merci c'est en FP

 
Ha ouais, il fallait bien une 5090 pour faire du 55tg/s avec 27B

y'avait une très belle affaire sur achat / vente avec une 5090 + la config complète qui allait avec quasi neuve pour 3k€ même si il y 'avait quelques heures de route pour la récupérer
 
J'ai pas mal hésité avec l'AMD Strix Halo. Faut le dire  

j'ai réussi a charger MiniMax-M2.7-UD-IQ1_M
 
3.7 tg/s
 
Le flappy bird de circonstance:
https://toasty-durian-vkqf.pagedrop.io/
 
Pour la science

C'est une tradition   ? Y'a un léger bug pour passer les tubes
 
Ici j'ai refait ma stack :
backend IA toujours sur Strix Halo (étonnant )  
VS Code Devcontainer (Docker Desktop sur Mac)
Cline en mode connexion compatible open AI (sinon cet idiot refuse de mettre une clé d'API )
Plan avec Minimax-m2.7 3qbits XXS
Code avec Qwen3 coder Next Q8
 
Je lui ait fait faire un flappy bee (qui a demandé quelques corrections que coder-next a géré seul)
https://crimson-ilene-59.tiiny.site/
 
enjoy