Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Dernière réponse

Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

the_fennec

lestat67sel a écrit :

drap

:hello:

moyen_moins a écrit :

j'suis trop gourmand, j'ai rajouté 64Go de RAM DDR4 3600MT au 64 déjà présent mais l'IMC de mon 5900X a du mal à tenir la fréquence xmp, va falloir que je baisse, 3ème plantage depuis vendredi aprèm alors que c'était rock solid avant :'(

Pas glop, mais vaut mieux 128Go :love: @ 3200 que 64/3600. Perso j'ai ma 3200 a 2400, stabilité > vitesse !

Votre réponse

Nom d'utilisateur

Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !

Le ton de votre message

Votre réponse

Smilies

Liste des smilies perso
Wiki smilies
Chercher un smiley

Options

Activer votre signature
Désactiver les smilies
Activer la notification par email du sujet

Aperçu

Vous avez perdu votre mot de passe ?

Vue Rapide de la discussion

the_fennec

lestat67sel a écrit :

drap

:hello:

moyen_moins a écrit :

Pas glop, mais vaut mieux 128Go :love: @ 3200 que 64/3600. Perso j'ai ma 3200 a 2400, stabilité > vitesse !

moyen_moins

lestat67sel

drap

the_fennec

crazytiti a écrit :

Le Qwen 3.8 fn iq2_xs qui est "intégré"

ok :jap:

the_fennec

neo world a écrit :

log debug + nvtop + crash dump en suivant les instructions de ton IA ? Y'a pas grand chose en open source qui résiste à un claude en mode "Yolo, j'ai les tokens" [:cisco1:1] :o

J'ai mis Gyro-M sur le coup :D

crazytiti

the_fennec a écrit :

Cool, t'as quel modèle? Dans la doc il est dit que ça marche pas avec Swift.

Le Qwen 3.8 fn iq2_xs qui est "intégré"

neo world

the_fennec a écrit :

Bon je comprends pas mon soucis avec UD IQ1_m, voila les tailles des modèles:

Gyro-S 54GB -> Charge à 100% en RAM
UD IQ1_M 61GB -> mmap et fini par swap et OOM!
GSQ-RCO Q2 63GB -> mmap et marche bien, plein de RAM libre
Gyro-M 85GB -> Charge à 100% en RAM

log debug + nvtop + crash dump en suivant les instructions de ton IA ? Y'a pas grand chose en open source qui résiste à un claude en mode "Yolo, j'ai les tokens" [:cisco1:1] :o

the_fennec

Bon je comprends pas mon soucis avec UD IQ1_m, voila les tailles des modèles:

Gyro-S 54GB -> Charge à 100% en RAM
UD IQ1_M 61GB -> mmap et fini par swap et OOM!
GSQ-RCO Q2 63GB -> mmap et marche bien, plein de RAM libre
Gyro-M 85GB -> Charge à 100% en RAM

Pipould's

chris282 a écrit :

a voir si cela ne viens pas du type de load que fait Radiance, car clairement je n'ai jamais eu ce type de temperature sur la ram DDR5 en inférence ia locale.

le montage est propre en tout cas bien joué.

Exact, c'est vraiment la charge en inference qui fait monter la temperature, je pense que toute la ram est vraiment utilisee aussi, c'est surement pas comme un scenario de jeu ou CAO...

chris282

Pipould's a écrit :

Je suis passe de 72 -> 45c.

Je devais ramener de l'air dans le boitier, sinon je n'ai que un ventilo de 120. Donc celui ci pousse de l'air dans le boitier aussi. Niveau plastique c'est ~150gr. T'as des versions direct sur la ram mais je voulais un truc visse au boitier et pas accroche a la ram...

Pipould's a écrit :

D'ailleurs pour ceux qui sont en DDR5, je peux vous conseiller de mettre du cooling sur la ram.

https://i.ibb.co/ycq27nLD/image.png

Ma ram etait a 70c en inference, jamais vu autant... Avec Radiance.

a voir si cela ne viens pas du type de load que fait Radiance, car clairement je n'ai jamais eu ce type de temperature sur la ram DDR5 en inférence ia locale.

le montage est propre en tout cas bien joué.

Pipould's

the_fennec a écrit :

C'est peut être a cause de ton AIO, avec un rad CPU normal ta RAM reçoit de l'air.

Avec un top-down oui... Mais avec un ventirad tour pas vraiment.

Apres j'ai lu ici et la que la ddr5 chauffe pas mal en fait...

Pipould's

neo world a écrit :

propre ! :D

Tu es passé à combien de degrés maintenant ? En naïf avec un simple ventilateur devant la RAM c'était juste trop moche (ça économisait pas mal de plastique de juste rajouter ce qu'il faut pour installer le ventilo face à la CM au lieu de faire un tunnel) ou c'est carrément moins efficace que ton tunnel ?

pas de découpe à l'arrache ni de scotch de que le topic aime tant ... [:bibliophage:2] :whistle:

Je suis passe de 72 -> 45c.

Je devais ramener de l'air dans le boitier, sinon je n'ai que un ventilo de 120. Donc celui ci pousse de l'air dans le boitier aussi. Niveau plastique c'est ~150gr. T'as des versions direct sur la ram mais je voulais un truc visse au boitier et pas accroche a la ram...

the_fennec

Pipould's a écrit :

D'ailleurs pour ceux qui sont en DDR5, je peux vous conseiller de mettre du cooling sur la ram.

https://i.ibb.co/ycq27nLD/image.png

Ma ram etait a 70c en inference, jamais vu autant... Avec Radiance.

C'est peut être a cause de ton AIO, avec un rad CPU normal ta RAM reçoit de l'air.

crazytiti a écrit :

Je viens de tester "speed projection" ça me semble OK, il veux bien faire ce qu'il ne voulait pas faire et que ne voulait pas faire non plus une version "abliterated" :bounce:

Cool, t'as quel modèle? Dans la doc il est dit que ça marche pas avec Swift.

crazytiti

Je viens de tester "speed projection" ça me semble OK, il veux bien faire ce qu'il ne voulait pas faire et que ne voulait pas faire non plus une version "abliterated" :bounce:

neo world

Pipould's a écrit :

Pipould's

XaTriX

han c'est sympa ça

neo world

ça vient de finir le run de 128 épreuves. Taux de réussite tous niveaux inclus :

https://rehost.diberie.com/Picture/Get/f/568483

je vous épargne les maths : en budget max il réussit 92,6% des épreuves (contre 84% en mode Xhigh budget 65K et 80,8% en mode Low thinking)

neo world

Sinon j'avance sur mon outil de benchmark : 128 épreuves désormais

https://rehost.diberie.com/Picture/Get/f/568473

4 modes d'évaluation : Low 65k tokens max pour la réponse, med 65k tokens max pour la réponse, High 65k tokens max pour la réponse et Max 128 ou 256k tokens de budget. Dans le budget thinking est toujours compris.

Y'a maintenant un editeur d'épreuves avec possibilité de les voir, importer ou exporter en MD (si vous êtes curieux de les voir pour faire votre propre moulinette qui les soumet à votre IA : faites péter vos MP :D)

https://rehost.diberie.com/Picture/Get/f/568475

Je vais continuer à faire évoluer les épreuves (plutôt orientés sur mon environnement notamment avec du debug de proxmox / truenas / hosts depuis le MCP de Pulse https://github.com/rcourtman/pulse , des morceaux de wazuh pour le monitoring sécu, Authentik pour le portail d'ID / marketplace familial etc/ , Nextcloud ... ) en espérant trouver plus de trous dans la raquette dans l'entrainement de Qwen 3.8 mais so far : [:implosion du tibia]

neo world

ah ouais le uncensor-o-matic :D

the_fennec

neo world a écrit :

ça commence à être sexy. Je vais surveiller l'arrivée des modèles en uncensored :D

Pas besoin d'attendre:
https://github.com/Niko1221/Strata/ [...] by-default

Citation :

Experimental speed projection (experimental, off by default)

This is an experiment. It ships with Strata and stays off unless you turn it on. It is a 480 KB control vector for the original Qwen3.8-Flash-Next (data/experimental-speed-projection/, not Swift 1.5). After each of layers 4-44 the engine removes one direction from every hyper-connection stream: h -= (h . v) v.

What it changes. The vector's package describes it as a refusal-direction projection. With it the model declines far fewer requests, and removing refusals removes a safety behavior, so you are responsible for what the model writes with it on. It also shifts ordinary answers a little and costs 0.2-0.4% per token. What a chat's tokens/s does depends on the text, so measure it on your own prompts. The Monitor marks every request ESP or stock.

C'est une des options du setup, mais j'ai pas testé :o

moyen_moins

perso, je trouve pas ça ouf, ça disait +5-6% vs MTP.
sur les gros contexte, je trouve pas ça super flagrant.
l'avantage c'est que ça libère de la VRAM si j'ai bien compris, donc plus de place pour les experts :)

neo world

je veux bien ton retour du dflash vs MTP. J'avais demandé ici mais le retour était pas dingue ^^

moyen_moins

Ce qui est validé et actif
- Control 0.2.12 : HWiNFO R9700 OK (temp/power/VRAM, 34 GB), DFlash2, cache 10 332 slots / 1 364 Mio, images: true.
- Tool calls : 85 tests OK / 3 skipped sur les tests 0.2.12, et un tool call forcé live OK (get_weather Paris).
- Vision CPU : image test en 7,8 s, CODE 4217 correct.
- Canari 27K : 1 491,5 tok/s prompt / 79,5 tok/s décodage, réponse 31415.
- Code : 5/5 tests OK.

Daily actuel
- 8080, config strata-iq4_xs_v31.json, cwd: control-0.2.12, drafting: dflash2.
- Moteur engine-0.1.57, DFlash2, PLE RAM, vision CPU, 262144.
- Lanceur run-iq4_xs_v31.bat : serveur Control 0.2.12 + Python .venv + PYTHONPATH=control-0.2.12.
- Un seul serveur écoute sur 8080 ; le 8081 est arrêté.
- HWiNFO affiche une limite de 300 W pour la R9700 au lieu de 285 W avec l’ancien chemin ; temp/power/VRAM restent corrects.
- Control 0.2.12 choisit --draft-conf 0.5 au lieu de 0.35 ; DFlash2 conservé, canari/qualité OK.

migré cet aprèm :)

neo world

the_fennec a écrit :

Citation :

Strata 0.2.12: a tuned DFlash2 drafter, faster prompts on 12 GB cards, Strix Halo and Mac, and tool-call fixes

The app and the Terminal are 0.2.12. Control and every engine package are 0.1.58. The update feed is sequence 122.
The DGX Spark (linux-aarch64) gets 0.2.12 too.
Highlights

12 GB cards (RTX 3060 class): UD-IQ4_XS-v31 prompts read about 3 times faster, 87 to 264 tokens per second at 2K.
Strix Halo (Windows): prompts x1.24 to x2.14 on UD-IQ4_XS-v31 and UD-Q4_K_XL.
Mac (M5 Max): output +10.3% to +12.7% and prompts +11.7% to +13.9% on UD-Q4_K_XL and UD-IQ4_XS-v31.
Tuned DFlash2 drafter: Strata's own copy of the helper model that guesses the next words; decode +2.4% to +5.0% on the RTX PRO 5000 and the DGX Spark.
Radeon R9700: 32K prompts +8.6% to +11.6%.
Tool calls: Claude Desktop's model name is accepted (#5312), plus fixes for #5409, #5276, #5281, #4622 and PRs #4828 and #4832.

Bon ça va peut être régler mon soucis :jap:

ça commence à être sexy. Je vais surveiller l'arrivée des modèles en uncensored :D

the_fennec

Citation :

Bon ça va peut être régler mon soucis :jap:

moyen_moins

par contre, il peut pas cracher sur ses ancêtres ce modèle, les interfaces, c'est du pur qwen tout craché. :D
peu importe le quant, c'est toujours la même chose [:ddr555]

the_fennec

moyen_moins a écrit :

ce que j'appelle tool call foiré, c'est quand il doit s'y reprendre à 2 fois car le 1er coup, il a pas su ouvrir le fichier avec les bons arguments par exemple, qu'il les oublie ou qu'il a carrément pas fait comme il fallait du tout.

Moi c'est quand il s'arrête car Strata renvoie une erreur de syntaxe que le tool call. Genre un XML invalide.

moyen_moins

the_fennec

moyen_moins a écrit :

iq3_s gsq-rco :)
mais je trouve qu'il jacte beaucoup pour un résultat pas ouf.
et pour l'instant le iq4_xs, c'est moins de token à générer pour "rien" mais le résultat est bof sur mon 1er test.

edit: par contre, j'ai l'impression qu'il chie moins de "tool calling", de ce côté là, c'est franchement mieux.

Avec Strata j'ai pas eu un seul tool call foiré avant d'utiliser UD 3.1 IQ1, que ça soit GSQ-RCO en Q2 ou Gyro-S (ou M).

neo world

moyen_moins a écrit :

:jap:

neo world

Hy4 qui a l’air très prometteur dans le tier GLM / Deepseek / Kimi :
https://hy.tencent.ai/research/hy4?langVersion=en

Pas encore de date de disponibilité des open weights mais c’est annoncé :)