Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3352 connectés 

  FORUM HardWare.fr
  Intelligence Artificielle

  Infra IA : aide au choix et troubleshot de LLM Locaux

 
 


Dernière réponse
Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux
moyen_moins

the_fennec a écrit :


 
opencode = [:ramucho]
 
Après avec Strata j'ai été obligé d'augmenter mon contexte, il doit pas bien le calculer, j'ai 150k coté claude et 200k ou 180k coté Strata.


il fait max - 32K pour lancer la compaction.
 
faudrait que je teste autre chose mais little coder c'était bof à l'époque.
 
peut être deepseek harness mais je sais pas si on peut y mettre le modèle qu'on veut :o

Votre réponse
Nom d'utilisateur    Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !
Le ton de votre message                        
                       
Votre réponse
[b][i][u][strike][spoiler][fixed][cpp][url][email][img][*]   
 
   [quote]
 
Options

 
Vous avez perdu votre mot de passe ?


Vue Rapide de la discussion
moyen_moins

the_fennec a écrit :


 
opencode = [:ramucho]
 
Après avec Strata j'ai été obligé d'augmenter mon contexte, il doit pas bien le calculer, j'ai 150k coté claude et 200k ou 180k coté Strata.


il fait max - 32K pour lancer la compaction.
 
faudrait que je teste autre chose mais little coder c'était bof à l'époque.
 
peut être deepseek harness mais je sais pas si on peut y mettre le modèle qu'on veut :o
the_fennec

moyen_moins a écrit :

si tu as 64Go de RAM, oui, tu dois pouvoir faire quelque chose avec Strata :o
edit: sinon, utilise plutôt un modèle MoE genre les 35B A3B, de qwen ou autre (Gemma de google a un 26B MoE)


 
32Go dispo ya moyen de faire tourner Gyro-S

the_fennec

moyen_moins a écrit :


oui, je vais être obligé :'(
 
edit: opencode qui chie des compactions, j'en ai quelques unes depuis 2-3j, c'est pénible, impossible de le laisser sans être dans le coin pour vérifier :/


 
opencode = [:ramucho]
 
Après avec Strata j'ai été obligé d'augmenter mon contexte, il doit pas bien le calculer, j'ai 150k coté claude et 200k ou 180k coté Strata.
moyen_moins si tu as 64Go de RAM, oui, tu dois pouvoir faire quelque chose avec Strata :o
edit: sinon, utilise plutôt un modèle MoE genre les 35B A3B, de qwen ou autre (Gemma de google a un 26B MoE)
lestat67sel

lestat67sel a écrit :

drap


Bon j'viens de passer un ptit moment à config un OpenWebUI, que j'fais pointer sur un Ollama sur mon pc perso (qui n'a qu'une 1070 8G)
Ca marche, c'est sympa, mais la vache c'est lent et à des années lumières d'un Claude (qui m'a aidé pour la config :o)
 
On arrive à quelque chose d'utilisable au quotidien avec une CG récente ? genre une 3060 12G ?
 
Désolé pour le noobisme, je débute dans ce nouveau monde :jap:
moyen_moins

the_fennec a écrit :

 

Pas glop, mais vaut mieux 128Go :love: @ 3200 que 64/3600. Perso j'ai ma 3200 a 2400, stabilité > vitesse !


oui, je vais être obligé :'(

 

edit: opencode qui chie des compactions, j'en ai quelques unes depuis 2-3j, c'est pénible, impossible de le laisser sans être dans le coin pour vérifier :/
the_fennec

lestat67sel a écrit :

drap


 :hello:  
 

moyen_moins a écrit :

j'suis trop gourmand, j'ai rajouté 64Go de RAM DDR4 3600MT au 64 déjà présent mais l'IMC de mon 5900X a du mal à tenir la fréquence xmp, va falloir que je baisse, 3ème plantage depuis vendredi aprèm alors que c'était rock solid avant :'(


 
Pas glop, mais vaut mieux 128Go :love: @ 3200 que 64/3600. Perso j'ai ma 3200 a 2400, stabilité > vitesse !
moyen_moins j'suis trop gourmand, j'ai rajouté 64Go de RAM DDR4 3600MT au 64 déjà présent mais l'IMC de mon 5900X a du mal à tenir la fréquence xmp, va falloir que je baisse, 3ème plantage depuis vendredi aprèm alors que c'était rock solid avant :'(
lestat67sel drap
the_fennec

crazytiti a écrit :


 
Le Qwen 3.8 fn iq2_xs qui est "intégré"


 
ok :jap:
the_fennec

neo world a écrit :


log debug + nvtop + crash dump en suivant les instructions de ton IA ? Y'a pas grand chose en open source qui résiste à un claude en mode "Yolo, j'ai les tokens"  [:cisco1:1]  :o


 
J'ai mis Gyro-M sur le coup :D
crazytiti

the_fennec a écrit :


 
Cool, t'as quel modèle? Dans la doc il est dit que ça marche pas avec Swift.


 
Le Qwen 3.8 fn iq2_xs qui est "intégré"
neo world

the_fennec a écrit :

Bon je comprends pas mon soucis avec UD IQ1_m, voila les tailles des modèles:

  • Gyro-S 54GB -> Charge à 100% en RAM
  • UD IQ1_M 61GB -> mmap et fini par swap et OOM!
  • GSQ-RCO Q2 63GB -> mmap et marche bien, plein de RAM libre
  • Gyro-M 85GB -> Charge à 100% en RAM




log debug + nvtop + crash dump en suivant les instructions de ton IA ? Y'a pas grand chose en open source qui résiste à un claude en mode "Yolo, j'ai les tokens"  [:cisco1:1]  :o

the_fennec Bon je comprends pas mon soucis avec UD IQ1_m, voila les tailles des modèles:

  • Gyro-S 54GB -> Charge à 100% en RAM
  • UD IQ1_M 61GB -> mmap et fini par swap et OOM!
  • GSQ-RCO Q2 63GB -> mmap et marche bien, plein de RAM libre
  • Gyro-M 85GB -> Charge à 100% en RAM


Pipould's

chris282 a écrit :


 
a voir si cela ne viens pas du type de load que fait Radiance, car clairement je n'ai jamais eu ce type de temperature sur la ram DDR5 en inférence ia locale.
 
le montage est propre en tout cas bien joué.


 
 
Exact, c'est vraiment la charge en inference qui fait monter la temperature, je pense que toute la ram est vraiment utilisee aussi, c'est surement pas comme un scenario de jeu ou CAO...
chris282

Pipould's a écrit :

 

Je suis passe de 72 -> 45c.

 

Je devais ramener de l'air dans le boitier, sinon je n'ai que un ventilo de 120. Donc celui ci pousse de l'air dans le boitier aussi. Niveau plastique c'est ~150gr. T'as des versions direct sur la ram mais je voulais un truc visse au boitier et pas accroche a la ram...

 


 
Pipould's a écrit :

D'ailleurs pour ceux qui sont en DDR5, je peux vous conseiller de mettre du cooling sur la ram.

 

https://i.ibb.co/ycq27nLD/image.png

 

Ma ram etait a 70c en inference, jamais vu autant... Avec Radiance.

 

a voir si cela ne viens pas du type de load que fait Radiance, car clairement je n'ai jamais eu ce type de temperature sur la ram DDR5 en inférence ia locale.

 

le montage est propre en tout cas bien joué.
Pipould's

the_fennec a écrit :


 
C'est peut être a cause de ton AIO, avec un rad CPU normal ta RAM reçoit de l'air.
 


 
Avec un top-down oui... Mais avec un ventirad tour pas vraiment.
 
Apres j'ai lu ici et la que la ddr5 chauffe pas mal en fait...
Pipould's

neo world a écrit :


propre ! :D
 
Tu es passé à combien de degrés maintenant ? En naïf avec un simple ventilateur devant la RAM c'était juste trop moche (ça économisait pas mal de plastique de juste rajouter ce qu'il faut pour installer le ventilo face à la CM au lieu de faire un tunnel) ou c'est carrément moins efficace que ton tunnel ?  
 
pas de découpe à l'arrache ni de scotch de que le topic aime tant ...  [:bibliophage:2]  :whistle:


 
Je suis passe de 72 -> 45c.
 
Je devais ramener de l'air dans le boitier, sinon je n'ai que un ventilo de 120. Donc celui ci pousse de l'air dans le boitier aussi. Niveau plastique c'est ~150gr. T'as des versions direct sur la ram mais je voulais un truc visse au boitier et pas accroche a la ram...
 
the_fennec

Pipould's a écrit :

D'ailleurs pour ceux qui sont en DDR5, je peux vous conseiller de mettre du cooling sur la ram.  
 
https://i.ibb.co/ycq27nLD/image.png
 
Ma ram etait a 70c en inference, jamais vu autant... Avec Radiance.


 
C'est peut être a cause de ton AIO, avec un rad CPU normal ta RAM reçoit de l'air.
 

crazytiti a écrit :

Je viens de tester "speed projection" ça me semble OK, il veux bien faire ce qu'il ne voulait pas faire et que ne voulait pas faire non plus une version "abliterated" :bounce:


 
Cool, t'as quel modèle? Dans la doc il est dit que ça marche pas avec Swift.
crazytiti Je viens de tester "speed projection" ça me semble OK, il veux bien faire ce qu'il ne voulait pas faire et que ne voulait pas faire non plus une version "abliterated" :bounce:
neo world

Pipould's a écrit :

D'ailleurs pour ceux qui sont en DDR5, je peux vous conseiller de mettre du cooling sur la ram.  
 
https://i.ibb.co/ycq27nLD/image.png
 
Ma ram etait a 70c en inference, jamais vu autant... Avec Radiance.


propre ! :D
 
Tu es passé à combien de degrés maintenant ? En naïf avec un simple ventilateur devant la RAM c'était juste trop moche (ça économisait pas mal de plastique de juste rajouter ce qu'il faut pour installer le ventilo face à la CM au lieu de faire un tunnel) ou c'est carrément moins efficace que ton tunnel ?  
 
pas de découpe à l'arrache ni de scotch de que le topic aime tant ...  [:bibliophage:2]  :whistle:

Pipould's D'ailleurs pour ceux qui sont en DDR5, je peux vous conseiller de mettre du cooling sur la ram.  
 
https://i.ibb.co/ycq27nLD/image.png
 
Ma ram etait a 70c en inference, jamais vu autant... Avec Radiance.
XaTriX han c'est sympa ça
neo world ça vient de finir le run de 128 épreuves. Taux de réussite tous niveaux inclus :
 
https://rehost.diberie.com/Picture/Get/f/568483  
 
 
je vous épargne les maths : en budget max il réussit 92,6% des épreuves (contre 84% en mode Xhigh budget 65K et 80,8% en mode Low thinking)
neo world Sinon j'avance sur mon outil de benchmark : 128 épreuves désormais
 
https://rehost.diberie.com/Picture/Get/f/568473  
 
4 modes d'évaluation : Low 65k tokens max pour la réponse, med 65k tokens max pour la réponse, High 65k tokens max pour la réponse et Max 128 ou 256k tokens de budget. Dans le budget thinking est toujours compris.
 
Y'a maintenant un editeur d'épreuves avec possibilité de les voir, importer ou exporter en MD (si vous êtes curieux de les voir pour faire votre propre moulinette qui les soumet à votre IA : faites péter vos MP :D)
 
https://rehost.diberie.com/Picture/Get/f/568475  
 
Je vais continuer à faire évoluer les épreuves (plutôt orientés sur mon environnement notamment avec du debug de proxmox / truenas / hosts depuis le MCP de Pulse https://github.com/rcourtman/pulse , des morceaux de wazuh pour le monitoring sécu, Authentik pour le portail d'ID / marketplace familial etc/ , Nextcloud ... ) en espérant trouver plus de trous dans la raquette dans l'entrainement de Qwen 3.8 mais so far :  [:implosion du tibia]
neo world ah ouais le uncensor-o-matic :D
the_fennec

neo world a écrit :


ça commence à être sexy. Je vais surveiller l'arrivée des modèles en uncensored :D


 
Pas besoin d'attendre:
https://github.com/Niko1221/Strata/ [...] by-default
 

Citation :


Experimental speed projection (experimental, off by default)
 
This is an experiment. It ships with Strata and stays off unless you turn it on. It is a 480 KB control vector for the original Qwen3.8-Flash-Next (data/experimental-speed-projection/, not Swift 1.5). After each of layers 4-44 the engine removes one direction from every hyper-connection stream: h -= (h . v) v.
 
What it changes. The vector's package describes it as a refusal-direction projection. With it the model declines far fewer requests, and removing refusals removes a safety behavior, so you are responsible for what the model writes with it on. It also shifts ordinary answers a little and costs 0.2-0.4% per token. What a chat's tokens/s does depends on the text, so measure it on your own prompts. The Monitor marks every request ESP or stock.


 
C'est une des options du setup, mais j'ai pas testé :o
moyen_moins perso, je trouve pas ça ouf, ça disait +5-6% vs MTP.  
sur les gros contexte, je trouve pas ça super flagrant.
l'avantage c'est que ça libère de la VRAM si j'ai bien compris, donc plus de place pour les experts :)
neo world je veux bien ton retour du dflash vs MTP. J'avais demandé ici mais le retour était pas dingue ^^
moyen_moins

Ce qui est validé et actif
- Control 0.2.12 : HWiNFO R9700 OK (temp/power/VRAM, 34 GB), DFlash2, cache 10 332 slots / 1 364 Mio, images: true.
- Tool calls : 85 tests OK / 3 skipped sur les tests 0.2.12, et un tool call forcé live OK (get_weather Paris).
- Vision CPU : image test en 7,8 s, CODE 4217 correct.
- Canari 27K : 1 491,5 tok/s prompt / 79,5 tok/s décodage, réponse 31415.
- Code : 5/5 tests OK.

 

Daily actuel
- 8080, config strata-iq4_xs_v31.json, cwd: control-0.2.12, drafting: dflash2.
- Moteur engine-0.1.57, DFlash2, PLE RAM, vision CPU, 262144.
- Lanceur run-iq4_xs_v31.bat : serveur Control 0.2.12 + Python .venv + PYTHONPATH=control-0.2.12.
- Un seul serveur écoute sur 8080 ; le 8081 est arrêté.
- HWiNFO affiche une limite de 300 W pour la R9700 au lieu de 285 W avec l’ancien chemin ; temp/power/VRAM restent corrects.
- Control 0.2.12 choisit --draft-conf 0.5 au lieu de 0.35 ; DFlash2 conservé, canari/qualité OK.

 

migré cet aprèm :)
neo world

the_fennec a écrit :

Citation :

Strata 0.2.12: a tuned DFlash2 drafter, faster prompts on 12 GB cards, Strix Halo and Mac, and tool-call fixes
 
The app and the Terminal are 0.2.12. Control and every engine package are 0.1.58. The update feed is sequence 122.
The DGX Spark (linux-aarch64) gets 0.2.12 too.
Highlights
 
    12 GB cards (RTX 3060 class): UD-IQ4_XS-v31 prompts read about 3 times faster, 87 to 264 tokens per second at 2K.
    Strix Halo (Windows): prompts x1.24 to x2.14 on UD-IQ4_XS-v31 and UD-Q4_K_XL.
    Mac (M5 Max): output +10.3% to +12.7% and prompts +11.7% to +13.9% on UD-Q4_K_XL and UD-IQ4_XS-v31.
    Tuned DFlash2 drafter: Strata's own copy of the helper model that guesses the next words; decode +2.4% to +5.0% on the RTX PRO 5000 and the DGX Spark.
    Radeon R9700: 32K prompts +8.6% to +11.6%.
    Tool calls: Claude Desktop's model name is accepted (#5312), plus fixes for #5409, #5276, #5281, #4622 and PRs #4828 and #4832.
 


 
Bon ça va peut être régler mon soucis :jap:


ça commence à être sexy. Je vais surveiller l'arrivée des modèles en uncensored :D
the_fennec

Citation :

Strata 0.2.12: a tuned DFlash2 drafter, faster prompts on 12 GB cards, Strix Halo and Mac, and tool-call fixes
 
The app and the Terminal are 0.2.12. Control and every engine package are 0.1.58. The update feed is sequence 122.
The DGX Spark (linux-aarch64) gets 0.2.12 too.
Highlights
 
    12 GB cards (RTX 3060 class): UD-IQ4_XS-v31 prompts read about 3 times faster, 87 to 264 tokens per second at 2K.
    Strix Halo (Windows): prompts x1.24 to x2.14 on UD-IQ4_XS-v31 and UD-Q4_K_XL.
    Mac (M5 Max): output +10.3% to +12.7% and prompts +11.7% to +13.9% on UD-Q4_K_XL and UD-IQ4_XS-v31.
    Tuned DFlash2 drafter: Strata's own copy of the helper model that guesses the next words; decode +2.4% to +5.0% on the RTX PRO 5000 and the DGX Spark.
    Radeon R9700: 32K prompts +8.6% to +11.6%.
    Tool calls: Claude Desktop's model name is accepted (#5312), plus fixes for #5409, #5276, #5281, #4622 and PRs #4828 and #4832.
 


 
Bon ça va peut être régler mon soucis :jap:
moyen_moins par contre, il peut pas cracher sur ses ancêtres ce modèle, les interfaces, c'est du pur qwen tout craché. :D
peu importe le quant, c'est toujours la même chose [:ddr555]
the_fennec

moyen_moins a écrit :

ce que j'appelle tool call foiré, c'est quand il doit s'y reprendre à 2 fois car le 1er coup, il a pas su ouvrir le fichier avec les bons arguments par exemple, qu'il les oublie ou qu'il a carrément pas fait comme il fallait du tout.

 

Moi c'est quand il s'arrête car Strata renvoie une erreur de syntaxe que le tool call. Genre un XML invalide.
moyen_moins ce que j'appelle tool call foiré, c'est quand il doit s'y reprendre à 2 fois car le 1er coup, il a pas su ouvrir le fichier avec les bons arguments par exemple, qu'il les oublie ou qu'il a carrément pas fait comme il fallait du tout.
the_fennec

moyen_moins a écrit :


iq3_s gsq-rco :)
mais je trouve qu'il jacte beaucoup pour un résultat pas ouf.
et pour l'instant le iq4_xs, c'est moins de token à générer pour "rien" mais le résultat est bof sur mon 1er test.
 
edit: par contre, j'ai l'impression qu'il chie moins de "tool calling", de ce côté là, c'est franchement mieux.


 
Avec Strata j'ai pas eu un seul tool call foiré avant d'utiliser UD 3.1 IQ1, que ça soit GSQ-RCO en Q2 ou Gyro-S (ou M).
neo world

moyen_moins a écrit :


iq3_s gsq-rco :)
mais je trouve qu'il jacte beaucoup pour un résultat pas ouf.
et pour l'instant le iq4_xs, c'est moins de token à générer pour "rien" mais le résultat est bof sur mon 1er test.
 
edit: par contre, j'ai l'impression qu'il chie moins de "tool calling", de ce côté là, c'est franchement mieux.


 :jap:

neo world Hy4 qui a l’air très prometteur dans le tier GLM / Deepseek / Kimi :
https://hy.tencent.ai/research/hy4?langVersion=en
 
Pas encore de date de disponibilité des open weights mais c’est annoncé :)

Forum MesDiscussions.Net, Version 2010.2
(c) 2000-2011 Doctissimo

Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)