Reprise du message précédent :

mon plan c'est plutôt un abo claude à 20 balles par mois pour ne pas prendre l'abo à 100 balles sans maîtrise des prix. Je suis sur un plan à 5 ans moi monsieur    

faut même pas y penser : tu achètes la machine à T1 avec un besoin à couvrir. La revente alors que la machine n'attends que d'être clusterisée pour plus de VRAM ne m'a même pas traversé l'esprit à l'achat
 
A noter que pour l'instant ça ressemble plus à investissement rentable. La machine à prix 200 balles depuis que je l'ai achetée. Bientôt on fera maturer nos serveurs en cave avant de les revendre comme un bon millésime

 
Fais attention, on commence comme ça et on fini avec 4 baies et 500 VMs (c'est du vécu)

On attends tes retours sur le Strix Halo alors
 
Si possible avant l'annonce des nouveaux mac studio
Tellement peur d'être déçu en terme de qualité / rapidité

 
Pas faux  

file moi un exo (le modèle que tu veux + prompt et fichier que tu veux)
 
A noter qu'il y a des benchs dispos en ligne postés par un autre forumeur il y a quelques messages

 
Attention, faut espérer rivaliser avec Claude/GPT avec ça, même si tu peux charger de gros modèles la dessus, les perfs sont bien en dessous.
 

 
Quich a raison, il me semble que la raison pour le BGA est que le bus mémoire est géré différemment des sockets AM5.

https://forum.hardware.fr/hfr/resea [...] m#t1272131  

 
Dans mon cas c'était au taf, j'avais commencé par installer un ESX pour reproduire un problème client, ça a un peu dégénéré ensuite. Heureusement j'ai pu refiler le merdier en changeant de projet .

C'est le mieux, dépenser l'argent des autres en mode   puis prendre son jet pack quand ça devient ennuyeux / faut assumer tous les fossiles vivants qui détruisent tout sur leur passage  

 
J'ai bien donné de ma personne pour maintenir le truc alors que c'était pas mon taf', donc j'ai les fesses propres de ce coté .

Bon j'ai décidé de tester Claude Code comme agent, toujours avec llama.cpp Qwen 3.6 35B en MTP. (en attendant 3.7 ).
 
Je trouve que c'est pas mal du tout, il progresse mieux que Opencode je trouve pour le moment. Par contre il compacte pas le contexte automatiquement dans tous les cas, j'ai trouvé qu'il faut desactivé les beta, mais je sais pas encore si ça marche. Voila ma config:
 
env vars:

 
.claude/settings.json  

 
et je lance avec:
--dangerously-skip-permissions
 
 
----
 
Sur mon project Linux Amiga 500, la ou Opencode bouclait un peu a désactiver des modules, péter un truc, ractiver les modules. Claude code a pull la dernière branche, déactivé plein de modules et est arrivé a la conclusion que c'est pas suffisant. Il est maintenant en train de virer/stub du code du Kernel petit a petit. Je vais le laisser continuer en mode Yolo et voir ou il va. Si `CLAUDE_CODE_DISABLE_EXPERIMENTAL_BETAS` marche bien, il devrait pouvoir passer la nuit a bosser tout seul.

Tu peux également tester avec ton modele local l’app Codex

 
Oui, pourquoi pas, mais je pense que Claude a plus de potentiel avec les extensions et autres custos.
 
Par contre toujours le soucis de compaction auto:

 
Mais il progresse vraiment pas mal:
 

Je viens de regarders les specs du futur mini-pc AMD Ryzen AI Halo
 
Je ne vois pas ce qui justifie un prix de 4000$ La RAM ??

 
Il doit y en avoir pour $1500 rien qu'en RAM. Plus rapide qu'un "NVIDIA DGX Spark" et "Apple M4 Pro". Ni l'un, ni l'autre ne sont facilement dispo.
Il faut bien profiter
 
https://www.amd.com/en/products/pro [...] -halo.html
 
Bordel, il avance bien Claude, plus que 200KB:

belle connerie si tu veux mon avis : ils vont attaquer en frontal le Nvidia DGX spark et ses deux ports 100Gb/s mellanox et le support cuda qu'AMD ne pourra pas concurrencer. Si ils sont bien idiots ils assèchent aussi l'ancienne version (entre 1000 et 1500€ moins cher) comme ça ils laissent bien la place nette à Nvidia.
 
De mon côté mon Strix Halo v1 n'aura pas de petit frère dans ces conditions  

tu n'as pas essayé openclaw / hermes ? je vais sans doute m'y mettre ce week-end et j'avais prévu un match hermes / claude code  
(je sauve ce lien pour plus tard https://www.mindstudio.ai/blog/herm [...] r-workflow )

 
Si j'ai testé les deux, Openclaw beaucoup plus que Hermes et ça marchait pas bien du tout. Après c'était avant d'avoir la BC250, donc 16GB de VRAM et Qwen3. Faudrait peut être que j'essaye de nouveau, mais OC c'est tellement le bordel que j'ai pas trop envie de m'y remettre. Ça me donnait directement l'impression de me replonger dans des softs Oracle/IBM/HP, et il faut me payer chère pour que je retouche a ces merdes .
 
Ce que je reproche a OC c'est d'être prévue pour des gros modèle, genre GPT/Opus avec un gros contexte. De base il y a tellement de bloat que ton contexte est déjà a moitié plein avant de commencé:
https://github.com/openclaw/opencla [...] /AGENTS.md
 
J'avais tout juste réussi a le faire s'auto-configuré et chercher un peu sur internet, mais ça partait rapidement en sucette.
 
Hermes, more of the same.

 
edit:
il a triché

Bon mitigé sur Claude Code, il marche bien, mais il ne compacte pas seul, il arrive a remplir le contexte et se prends une erreur 400 de llama.cpp. Je peux encore compacter manuellement, mais c'est lourd, il bosse une grosse heure c'est tout.
 
Je suis en train de tester Qwen Code pour voir. Ça marche, mais ça sent le truc vibe-codé et pas testé. C'est simple a détecter: de très jolie docs, mais avec des 404 et surtout qui documentent des trucs qui marchent pas. La config JSON llama.cpp/Ollama marche pas, il faut passer par le TUI pour bien mettre les options. Pareil pour le mode YOLO, bien documenté, mais ne fonctionner pas non plus, il faut faire SHIFT+TAB pour passer en mode YOLO.

Tu as découpé comment tes taches ? Pour moi c’est chaud de tout faire en une passe. Faudrait découper par module en lui donnant en skills comment c’était fait dans le bon vieux temps et lui donner des templates pour qu’il puisse bosser sans exploser le million de token en contexte

J'ai un AGENTS.md et un implementation.md, mais c'est juste pour donner des guide-lines, mais c'est plus de l’exportation qu'autre chose.
 
Mon but est juste de trouver un combo modèle/agent qui peut tourner h24 sans s'arrêter, même si il fini par boucler.
 
Qwen-code n'est pas vraiment mieux, il timeout tout ça parce que la compaction dure plus de 10 minutes

Je suis passé sur pi.dev

Alors ça donne quoi ?

Il se débrouille, mais il faut le relancer après une compaction  

Ce sujet a été déplacé de la catégorie Hardware vers la categorie Intelligence Artificielle par TotalRecall

Une nouvelle cat entière pour parler de modèles, de NPU, de lamas, et de tout ce que vous voudrez qui s'y rapporte. Amusez vous bien

 
Et c'est parti  

 
Merci

Chef, il y en a encore quelques uns à déplacer :

https://forum.hardware.fr/hfr/Progr [...] 8747_1.htm
https://forum.hardware.fr/hfr/Progr [...] 8701_1.htm
https://forum.hardware.fr/hfr/Discu [...] 0604_1.htm
https://forum.hardware.fr/hfr/resea [...] 9045_1.htm

Ici en contexte pro pour des usages divers, j'ai 3 machines :
1. Un vieux tromblon récup gratos avec 8xP100. Très bien pour des petites tâches (enrichissement de leads etc.)
2. Une machine récente avec 1x RTX 6000 Ada (48GiB vRAM) et 1x RTX Blackwell MaxQ (96GiB vRAM). Avec vLLM côté back (très bien en multiuser), qwen MoE pour le chatGPT like (OpenWebUI) sur l'Ada et Qwen 27B dense pour OpenCode (sur le blackwell)
3. Une machine de dev en 5090

Le tout avec LiteLLM devant pour proxifier.

J'attend qwen 3.7 avec beaucoup d'impatience

Tu utilises quoi pour l'inférence? vLLM ?
Des modèles pas quantifiés j'imagine?    
combien d'utilisateurs?

 
vLLM : c'est dans le post déjà Meilleur back pour multi user. OpenWebUI pour le MoE en mode « chatGPT pour tous ».
 
Les 2 modèles utilisés so far :

• Blackwell

Modèle HF : Qwen/Qwen3.6-27B-FP8
Dense 27B, FP8 fine-grained (block size 128), MTP speculative decoding
256K context, ~29 Go de poids, ~51 Go de KV cache dispo
 

• Ada

Modèle HF : QuantTrio/Qwen3.6-35B-A3B-AWQ
MoE 35B total / 3B actifs par token, AWQ 4-bit, MTP speculative decoding
128K context (--max-model-len 131072)

Vidéo sur les effets de la quantization, de Q8 a Q1!
 
Everything looks fine at 4-bit
https://www.youtube.com/watch?v=8IzUyLLn5NA
 
TL;DR Q4_K_M

 
Je drop aussi, c'est pas mieux que Claude et il plante avec mes compactions qui prennent des plombes:

 
En plus ça lui arrive de stopper après une compaction...
 
Et il est racheté par une boite:
https://www.reddit.com/r/LocalLLaMA [...] _earendil/
 
 

Hello
 
On m’a montre des truc comme ça:
 
https://localaimaster.com/blog/hybrid-local-cloud-ai
 
Une approche hybride avec une estimation de complexité pour envoyer soit à un modèle local ou sur cloud.  
 
Vous avez regardé ce genre de truc ?
 
Perso j’ai un studio 64go en perso et un DGX spark au taff. Ça se testerait bien

Test du Nvidia DGX Spark (Dell) : le mini PC IA à 128 Go de RAM

https://www.frandroid.com/marques/3 [...] -go-de-ram

A 3k je prends, 6k non

CUDA 13.3 est sortis, c'est censé régler des problèmes d’alignements mémoire qui m'avaient obligé à patcher vLLM pour le faire tourner. Donc l’installe pour les pauvre devrait être plus facile. Bon, ça me concerne pas vu que ça marche pas sur la BC250.
 
Je vois que llama.cpp est aussi passé sur CUDA 13.3, mais j'ai pas testé.
 
J'ai essayé ik_llama.cpp, qui a un mode split tensor graph qui semble mieux que layers, mais après avoir bien galéré pour compiler sous Windows, ben le mode RPC marche pas:

 
Peut être un soucis de compilation coté Linux, mais j'ai utilisé la même ligne de commande que llama.cpp. J'ai vu que le protocole RPC est resté en v3 vs v4 pour llama.cpp, donc j'imagine que le mode RPC ou Vulkan est un peut resté a l'abandon. Donc retour a llama.cpp...

 
A priori 'est pour continuer le projet tel quel mais je comprend l'envie de changer. Tu peux faire le summary / Compaction ailleurs (cloud rapide) pour dépasser le problème de timeout ?
 

 
Ca m'intéresse fortement pour mon use case. Merci
 

Félicitations tu cherches en fait un AMD Halo strix 128GB pour à peine 2406€

 
Je cherche un combo qui peut tourner h24 sans s’arrêter, je m'en fous d'être a 2 tgs, ou qu'une compaction prenne 10 minutes. A terme je voudrais laisser l'agent tourner avec un but précis, genre "reverse engineering" complet d'un firmware jusqu`à ce que les sources compilée donnent le même binaire.