Reprise du message précédent :

Oui je trouve que la 3060 12go est un bon plan

Au fait ils les liberent quand les poids de minmax !

pour le MTP ? Pas prévu pour Minimax 2.7

Test alacon du jour:
J'ai mis llama.cpp Vulkan sur ma 4060Ti a la place du build CUDA...
 
   
Je suis a plus de 400/s en pp et 40 tg/s malgré un contexte plein! Facile 3x de plus qu'en CUDA!
Par contre ça mets des plombes a charger le modèle, facile 10 minutes.
 
En fait je pense que la répartition des layers est aléatoire, ça fait un moment que je voulais gratter ce sujet. Quand on a une config asymétrique ça peut être intéressant de les répartir a la main.... Bon par contre quoi mettre ou ? En tout cas j'ai rien hate de recevoir ba deuxième BC250, je pense que je lui mettrai directement 40 CUs.

Je deviens fou.
 
J'ai installé openclaw. Il a bien marché 5mn, puis est devenu fou.
Il me balance des réponses aléatoires
 

 
J'ai réinstallé, toujours le même soucis.
 
La même question sur Ollama se passe bien.
 
Vous avez une idée ?

tu as supprimé le répertoire d'openclaw (.openclaw) quand tu l'as désinstallé ?
 
tu as quoi dans tes 8200 tokens de context ? curieux concernant de potentiels skills également

 
C'est quoi ta config coté inférence?
Q4 pour OC c'est peut être pas suffisant, OC a tellement de merde dans le context ...
 
peut être que tu as une limite de thinking/output?

 
J'ai fait une ré-installe avec zero skills, et même soucis.
 
J'avais pas remarqué le context.
Comment je peux l'ouvrir pour voir les détails ?
 

 
J'ai une 3090.

 
Je parle coté inférence, tu utilises quel soft avec quel paramètres? 256k de contexte avec 24GB de VRAM c'est ambitieux
Tu as quoi comme quantification de cache? Essaye 32k en q8 voire non quantifié.
 
Après Openclaw est codé avec le cul et marche juste parce que les gens l'utilisent avec des très gros modèles.

OTAN pour moi
 
Bon, j'ai trouvé le soucis.
 
J'ai supprimé OpenClaw desktop ... et ça refonctionne ... aucune idée de ce qu'il s'est passé

DiffusionGemma : le nouveau modèle de Google écrit son texte d'un bloc, et 4 fois plus vite
https://korben.info/diffusiongemma- [...] -vite.html
https://arstechnica.com/google/2026 [...] eed-boost/
 
Pas testé encore!

Je ne suis pas d'accord

 
Tu utilises quoi comme modèles? Ils tournent sur quoi?
 
Le dernière fois que j'ai testé, la doc d'install disait de laisser un LLM faire l'install. (car le script était pété )

on a retrouvé la doc d'install complète pour les humains et les LLM heureusement :

 
Blague à part l'install se fait en un clic + ctrl c / Ctrl V si tu fais confiance en leur script

Je déteste le "curl trojan.dev | bash" encore plus quand ya des sudo dedans, mais je dois être le seul

https://huggingface.co/unsloth/gemm [...] _K_XL.gguf

Je vais tester sur mon MBP PRO 1 16GB RAM

Tuto: https://ikyle.me/blog/2026/how-to-s [...] t-on-macos

GLM-5.1

Oui OK c'est pas du Qwen3.5-9B/Qwen3.5-27B...

Je suis sysadmin, je vais pas laisser un LLM faire mon taff... Alors OK, j'ai passé des centaines d'heures sur mon OpenClaw mais je le connais sur le bout des doigts...

Bien sur que non t'es pas le seul, on est plusieurs ici à avoir un vrai métier, mais tu sais que t'as le droit de faire un/nano dudit script hein, ça déclenche pas un appel au GIGN, qui est plus toi qui est pisseur de code de métier (sauf erreur) (dredi )

 
Bof bof le MTP, tu gagnes que en génération, pas en prompt processing. Le modèle est plus gros ET prends plus de VRAM.  
En plus le Q4_K_XL fait 17GB, ça va faire un peu beaucoup, sans parler du draft et du cache en plus.
 
Tu devrais plutôt essayer le nouveau qat:
https://huggingface.co/unsloth/gemm [...] t-qat-GGUF
 
Il fait que 14GB, mais est censé être aussi valable qu'un Q8.
 
 

 
T'es gentil c'est un modèle a 1.5TB et tu dis que c'est pas un petit modèle Bon OK le Q4KM ne fait que 465GB....
 
Je te rappelle que tu est sur le topic IA locale

Thanks je vais tester ca  

Globalement en petit model local openclaw se demmerde comme une patate, c'est pas fait pour  
Hermes est plus résiliant de ce coté là, mais honnêtement je trouve le mariage pas très heureux.

 
Tu peux aussi tester 12B qat qui est multi-modal en plus:
https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF
 
C'est limite pour du code mais ça peut suffire pour de l'agentique simple et il fait moins de 7GB.

 
Que ça soit l'un ou l'autre ils aiment pas mes compaction de 10 minutes, voie plus.

Punaise j'ai du passer le bracket pcie de ma 3090 a la Dremel pour la passer en 2 slots au lieu de 3 et que ça rentre dans le boîtier que j'avais commandé.

En bon con j'ai acheté une B850 creator pensant avoir besoin de 2 pcie 5 mais les 3090 sont pcie 4... Et je viens de voir que jusqu'à pcie3 4x ça reste honnête pour de l'inférence...

Pour ceux qui ont de grosses bécanes
Le modèle est normalement bon pour le code

C’est beaucoup de VRAM   Faut voir si le papier d’Apple avec Google sur une IA split entre agents en mémoire et NVME va porter ses fruits  

Salut,
 
Besoin d'un petit conseil technique pour la gestion des modèles MOE avec llama.cpp
 
J'ai 2 GPU RTX 3060 12G et lorsque je veux décharger un peu sur le CPU en utilisant --n-cpu-moe j'ai l'impression qu'il essaie de caser les couches GPU dans une seule carte.
Si je n'utilise pas --n-cpu-moe la charge semble bien répartie entre les 2 GPU.
 
Du coup je dois mettre une grosse valeur à --n-cpu-moe (mini 28) mais du coup avec des perf pourries, en dessous c'est out of memory...
 
Voici ma conf :

 
La répartition qu'il me sort :

 
J'ai tenté de configurer les couches manuellement mais même résultat
--split-mode layer  
--tensor-split 21,21
--fit off

 
Y'a deja eu le petard mouille du turboquant...  
 
 
Le domaine entier est tellement en ébullition...

 
Normalement avec 24 de VRAM et le model 35B tu devrais tout faire rentrer sur la vram avec un ctx a 130k non ?  

 
En effet pour le cas présent mais imaginons que je veuille faire la meme chose avec un contexte de 260k et une quantification q8

 
Je te l'échange contre ma 4060Ti 16GB elle prends que deux slots

avez vous essayé les version heretic ?

 
Je pense qu'il faut que la somme de tes layers arrive a 41
donc par exemple 5+18+18:
 

 
Oui, Qwen3.6-35B-A3B-uncensored-heretic-APEX-I-Balanced de mudler:
https://huggingface.co/mudler/Qwen3 [...] -APEX-GGUF
 
ça fait le taf'

 
Impossible de le faire fonctionner sur openclaw par contre. Il ne répond pas

 
En fait il semblerait que le problème ne vienne pas de --n-cpu-moe car même quand je ne l'utilise pas ça merde quand j'utilise --tensor-split
 
Cette config fonctionne :

 
Celle-ci non (quelles que soient les valeurs pour tensor-split) :

y'a pas de raison. Tu dois avoir une erreur de config dans l'URL / modèle. Tu le charges en just in time ?
 
sinon heretic marche bien chez moi aussi

eh ben il est temps d'y installer une troisième carte je pense
 

 
Déjà tenté    
 
Malheureusement il ne reste que des ports pcie 1x de dispo donc ça fait chuter grandement les perf  

M2 + oculink pour récupérer 4 liens PCI express tout frais

comment resister ? https://fr.aliexpress.com/item/1005009135843807.html