Reprise du message précédent :
Bon,  
 
* Openclaw : au bout de quelques jours, ils prenaient *beaucoup* de libertés, reconfigurant le PC host, jusqu'à le détruire
 
* Hermes : il ne prend pas assez de liberté il s'arrête au moindre blocage. Demande tout le temps mon avis.  
 
Faut que j'arrive à trouver un entre deux

Demande lui de te trouver le topik OpenClaw/hermes pour qu’on en discute la bas
Ça fera un peu revivre le topik.

 
En LLM local ils arrivent a rien, ces trucs ne marchent que si t'as un gros modèle derrière.

 
Concrètement, vous gérez ça comment ?
 
J'ai Qwen 3.6 en local.  
Comment je peux "l'aider" avec un gros modele en ligne, pour vraimement pas cher ? (genre gratuit )

Si tu demandais sur le topik OpenClaw certains te répondraient en gratuit sans doute Nvidia qui proposent certains modèles gratuits mais un peu lents.

 
J'ai laissé tombé en local, OC est codé avec les pieds et bouffe tout le contexte juste pour dire bonjour. Hermes j'ai testé mais pas plus que ça, c'est le code qui m'intéresse.
 
C'est quoi ton modèle?

Running a 118B Model on 12GB VRAM. Better Qwen 35B?
https://youtu.be/NIxCj-3fFNk
 
Codacus teste Laguna sur sa 3060 12GB avec 64GB de RAM en plus . Il arrive a 12 tg/s ça marche mais pas parfait non plus.

C'est mort.

Je switch entre codex et ollama pour Hermes.

Mais oublie d'avoir un agent pas cher si tu veux quelque chose d'efficace

des trucs comme minimax ou même dsv4-flash/mimo2.5 (non pro) c'est vraiment pas cher et ça me semble largement suffisant.

 
J'étais sur Qwen3.6-35B-A3B en MOE, mais je le trouve vraiment mauvais.
(ce qui est normal, car axée sur la vitesse)
 
Je vais basculer sur Qwen3.6-27B Q5_K_M

Oui 27B est bien meilleur.

ce qui est contre-intuitif
 

Non c'est un modèle dense. Les 27B sont actifs tout le temps, le 35B n'a que 3B actifs a la fois. D'ou la différence de perf et "d'intelligence".

Quant au bien meilleur, je nuancerais sur la base de mes tests. Il est un peu meilleur. Faut pas s'attendre à un gpt-5.6 luna non plus

en fait le 35B fait passer chaque token sur 3Milliards de paramètres (le A3B à la fin) le 27B fait passer chaque token dans chaque paramètre (oui 27 milliards. C'est l'équivalent en terme d'optimisation à un brute force )
 
Le vrai miracle c'est que le mixture of experts tienne quand même bien la route en terme de qualité en plus de sa rapidité

Info alacon du jour: si vous avec ROCm d'installé il se prends un petit GB de VRAM même si on l'utilise pas  
C'est pas super clair pour moi mais, j'avais ROCm sur le premier et pas sur le second:

 
Un fois viré, j'ai bien "16878 MiB free" sur les deux.

Je confirme : 35B MoE A3B est très bien pour des questions à la con du quotidien. Dès que tu as besoin de plus de contexte car ça devient plus que juste résumer ou traduire mais « interpréter », alors 27B dense est vraiment au dessus.

 
 
tu as fais un top avant de le killer pour voir ce qu'il consommait vu du kernel ?  
 
En théorie il ne doit pas résider en vram si il ne se passe rien (en théorie seulement ) mais ce serait pas déconnant que le framework chargé en RAM te bouffe le GB (pas de chance c'est de la mémoire unifiée chez toi)
 
si tu n'utilises pas rocm ne te prend pas la tête sinon tu as les paramètres --lowvram et --disable-pinned-memory qui pourraient aider mais je ne les ait pas testé. https://rocm.docs.amd.com/projects/ [...] nsryz.html

J'ai réussi a charger Laguna en UD-IQ4_XS, c'est juste un peu leeennnnt 4/5 tgs
 
Le Flappy bird est un chouilla dur:
https://sia-cliff-ex5t.pagedrop.io

 
C'est sur une BC250, donc RAM=VRAM
J'ai pas besoin de ROCm c'était pour tester VLLM, mais il marchait pas de toute manière.

le mot que tu cherches c'est "injouable" tellement les piliers sont proches. C'est du base jump son truc

 
Tu n'as pas essayé Qwen sur ta BC ?

Avec ou sans les roues    

C'est quand même dingue que Qwen soit le maître des petits modèles depuis si longtemps... Après c'est vrai que ça rapporte que de l'estime aux boites...
 

Je suis entre Qwen3.6-27B-UD-Q8_K_XL_MTP et Qwen3.6-35B-A3B-UD-Q8_K_XL_MTP avec une préférence pour le 27B même si il est méga lent en PP avec 256K de contexte.
 
27B toujours au top:
https://blazing-moon-twfe.pagedrop.io/

K3 dispo:
https://huggingface.co/moonshotai/Kimi-K3
 
Mais j'ai pas 1.7TB de libre pour le DL ... je vais attendre les Q0

Y a pas des Q négatifs ? C'est pour un amis
 
Je croise les doigts pour qwen 3.8 :')

le seul truc qui sera négatif si le modèle tourne en GPU local c'est le compte en banque

Le WAF aussi

oui là je pense qu'elle préférera encore apprendre que c'était dépensé en jeux, p**e et c**e que pour héberger un truc accessible gratuitement sur le web
https://www.kimi.com/resources/kimi-k3-pricing
 
"mais mimine si tu voyais les yeux des copains quand je leur ait dit que j'avais kimi K3 dans mon homelab"  

Ça avance
 

 
Mais j'ai pas saisi : tu le faire tourner sur les deux BC ?
Tu as combien de token/s ?

moi qui attend la version colibri à 10 tokens/s(semaine)
 

 
J'ai une 4060Ti 16GB + 32GB RAM sous Windows + 2x BC250 sous Debian.
 
Je suis dans les 90 t/s en PP et 10/15 tg/s
J'espère que passer le réseau en 2.5gbs va booster un peu mon PP.

C'est pas la latence qui ralentie la vitesse ? plus que le debit max ethernet ?

C'est ce que je me disais aussi, mais sur certaines chaînes YT ils disent que ça aide. De toute manière ça aidera pour le chargement de modèle. Pour 2x 10 balles ça se tente.

Les latences sont vraiment plus impactantes. Idéalement il faut du RDMA (idéalement directement au cul du GPU) pour se rapprocher de la scalabilité linéaire. Bon la il avait 1gb/s ou 120mo/s par grand vent. C’était aussi un facteur limitant

Tu nous fera un retour, c'est dans le panier amazon si jamais ca fonctionne mieux
Un moment je me posais la question de virer le nvme pour y coller un adaptateur sfp pcie et lancer le boot via le reseau et une clés usb.

Les 4 RTX 6k sont en cours de livraison, mais je vais avoir besoin de pièces en plus je pense.

Je commence par un DS4 Flash full ? Ca vaut le coup de tester autre chose comme un Qwen 3.5 400b compressé ? J'aurais aussi 512G de ddr5, ça vaudrait quand même le coup d'essayer un GML-5.2 ou c'est une perte de temps et je reporte ça si j'arrive à avoir 4 cartes de plus ?

J'ai pas mal de changement prévus:
 
- Alim 850W pour remplacer la 650W
- Passer la RTX 4060Ti sur une VM Debian avec 32GB de RAM
- Install d'une carte 10gbs
- Install d'un switch 10gbs / 2.5gbs + uplink box Orange
- Install d'une 1650 Super 4gb sur la VM windows (qui a la 4060Ti) avec ça: https://www.amazon.fr/dp/B0721M5S8Y
- Passage des BC250 en 2.5gbs + https://www.amazon.fr/dp/B0GQLZG93F
 
Le point un peu bloquant c'est que j'ai que 48GB de RAM sur mon server, donc ça va être serré

 
Ada ou Blackwell ? Parce que ça fait une belle diff de VRAM dispo.