Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 77 78 79 80 81 82 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

chris282

id steam/psn : chris282_fr

Reprise du message précédent :

the_fennec a écrit :

Surtout avec une simple RTX 4060ti !
C'est intégré a Strata, tu vas juste sur le host/port et t'as un tab pour le chat, un autre pour ces stats et un dernier pour des info/options.

Il q2 a bien tenu toute la nuit, mais Claude a été trop gourmand en contexte pour la compaction alors ça a stoppé. Il fait des fois un prompt trop gros pour que la compaction reste dans les 110k.

propre, encouragements

chris282

id steam/psn : chris282_fr

Qwen3.6-35B-A3B est le modèle qui me plait le plus. je vais prochainement le faire tourner (d'ici les prochaines semaines) et discuter avec vous des résultats

moyen_moins

chat réincarné

J'aime bien le ornith 1.5 35b.
Je le préfère au qwen, même si la base c'est le qwen 3.5 35b
Ça tourne impec sur le bc-250

Message cité 1 fois

sloth

neo world a écrit :

https://www.usine-digitale.fr/intel [...] KBGX4.html
un MoU de 1000 milliards de paramètres made in France

Citation :

L’équipe de la start-up va d’ailleurs plus loin, en affirmant que Mistral Large 4 figurera, une fois ses poids publiés, parmi les meilleurs modèles ouverts au monde, et qu’il sera, de loin, le plus performant modèle ouvert développé en Europe comme aux États-Unis. « C’est un modèle qui va significativement réduire le gap entre nos modèles et les meilleurs modèles qui existent aujourd’hui. Nous allons sortir un modèle qui est essentiellement au même niveau que les meilleurs modèles chinois d’il y a un mois ou deux »

https://external-content.duckduckgo [...] ipo=images

On dirait un tweet de Trump :lol:
[:cuprage:1]

neo world

Ils l’ont appelé cette itération le chon . Pas super AI sayajin

the_fennec

f3nn3cUs z3rd4

tfpsly a écrit :

Et comment est la qualité de ton Qwen 3.8Next en Q2 vs Qwen 3.8 ? Utilisable, similaire, meilleure?

Je suis pas fixé encore, je peux faire tourner 27B en Q8, Next en Q2 mais il a l'air de se débrouiller mieux a première vue.
Je l'ai remis sur mon Linux pour Amiga. Avec 27B il avançait, mais était souvent bloqué a attendre que l’émulateur fasse un truc alors qu'il était stuck. Next semble toujours mettre un timer et se démerder.

Par contre le truc chiant que j'ai dernièrement avec Claude c'est ça:

Code :

Autocompact is thrashing: the context refilled to the limit within 3 turns of the previous compact, 3 times in a row. A file being read or a tool output is likely too large for the context window. Try reading in smaller chunks, or use /clear to start fresh.

C'est a cause de mon contexte a 110k. Faut que je trouve comment virer ça...

moyen_moins a écrit :

J'aime bien le ornith 1.5 35b.
Je le préfère au qwen, même si la base c'est le qwen 3.5 35b
Ça tourne impec sur le bc-250

Perso je préfère Qwen 3.6, j'ai toujours des trucs un peu zarbi avec Ornith au bout d'un moment.

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

Mimo 2.6 flash et glm 5.3 flash sur les Strix halo : https://youtu.be/jtyjgHsaTc0

morcok

savez vous comment utiliser strata avec opencode ?

Message cité 2 fois

the_fennec

f3nn3cUs z3rd4

morcok a écrit :

savez vous comment utiliser strata avec opencode ?

Tu pointes juste sur ton server strata c'est tout, rien de différent d'un llama.cpp ou autre.

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

morcok a écrit :

savez vous comment utiliser strata avec opencode ?

quand t'es feignant comme moi, tu mets un modèle gratuit, tu lui files l'url de ton strata/llama.cpp/lmstudio et tu lui dis de le rajouter dans la liste de modèles disponibles :whistle:

Message cité 1 fois

gremi

Vieux con des neiges d'antan

C'est exactement ce que j'ai fait

---------------
In aligot we trust.

the_fennec

f3nn3cUs z3rd4

Pour le fun j'ai lancé Strata avec Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS avec --low-ram auto qui swap les experts venant du SSD.

C'est plus lent, mais quand même plus rapide que llama.cpp :lol:

Par contre cette nuit l'auto compaction a fini par déconner:

J'ai l'impression que pour moi la gestion de contexte est un peu le problème récurent de Strata.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

t'avais testé avec le flag proposé (fit_max_tokens) dans le json du coup ? :??:

the_fennec

f3nn3cUs z3rd4

Il voulait pas démarrer avec, mais je vois en cherchant qu'il faut le mettre a la racine du json et pas dans les args

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

Bon, pas fameux Swift:

Il a fini par se reprendre, Strata doit avoir une détection de répétition.

Message édité par the_fennec le 07-10-2026 à 11:09:02

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

j'ao dl la version hip de strata, faut que je dégage la 9060XT pour install la 9700 pro et que je la foute à la place de la RX6700

d'ailleurs, pour la suite du BC-250, votre meilleur qwen 3.6 35B ?
j'aime bien le ornith mais pas bien config et je trouve qu'il hallucine méchant.

Message cité 1 fois

morcok

moyen_moins a écrit :

quand t'es feignant comme moi, tu mets un modèle gratuit, tu lui files l'url de ton strata/llama.cpp/lmstudio et tu lui dis de le rajouter dans la liste de modèles disponibles :whistle:

bah c'est ce que j'ai fait

Fournisseur personnalisé
Configurez un fournisseur compatible avec OpenAI. Consultez la documentation sur la configuration des fournisseurs.

ID du fournisseur
local
Lettres minuscules, chiffres, traits d'union ou traits de soulignement

Nom d'affichage
strata

URL de base
htpp://127.0.0.1:8080

Clé API
Facultatif. Laissez ce champ vide si vous gérez l'authentification au moyen des en-têtes.

Modèles
ID
strata

Nom
strata

Message cité 1 fois

moyen_moins

chat réincarné

bon, 9060XT sur le bc-250 et la 9700 pro avec la 9070XT...
déjà, en passant sur 1 carte au lieu de 2 (mismatch en plus) pour avoir 32GB => je passe d'une vingtaine de t/s à 40+ sur qwen 3.8 27B Q6_k

une fois que le test est terminé, je teste strata

edit: test du bc-250 en cours aussi

Message édité par moyen_moins le 07-10-2026 à 16:36:55

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

d'ailleurs, pour la suite du BC-250, votre meilleur qwen 3.6 35B ?
j'aime bien le ornith mais pas bien config et je trouve qu'il hallucine méchant.

Perso je reviens toujours sur Unsloth, mais sur la BC ça serait peut être mieux de mettre un 27B?

Message cité 1 fois

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

morcok a écrit :

Ton URL est pas bonne: htpp -> http

Message cité 1 fois

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

the_fennec a écrit :

Perso je reviens toujours sur Unsloth, mais sur la BC ça serait peut être mieux de mettre un 27B?

j'ai le gsq rco 27B, c'est vrai que je le teste jamais sans thinking ou en low sur cette plateforme.
je me souviens plus trop des performances, faudrait que je reteste (de mémoire incertaine, ça tournait entre 10 et 13 t/s sans MTP)

après, j'aime la vitesse des moe sur ce truc, j'avoue que llamaserver avec un mcp "recherche internet", ça remplace google sur certaines de mes demandes (genre compare x et y et fait un tableau etc.) et le thinking coute pas grand chose (j'étais entre 25 et 35t/s sur le ornith et la RX6700)

the_fennec

f3nn3cUs z3rd4

27B sans thinking c'est pas top top, mais bon il foire pas les tool calls au moins.

Tu utilises quoi comme MCP "recherche internet"?

Message cité 1 fois

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

C'est "exa" : il vient en "standard" avec le chatbot.
Suffit de cliquer sur "+" et de l'activer.
Il y a HF, git et context7 que je connais pas de dispo également.

Edit: par contre pour strata, combo ddr4 + lien pcie 3.0 lent, ça va bien me brider apparemment

Message cité 1 fois
Message édité par moyen_moins le 07-10-2026 à 18:52:19

morcok

the_fennec a écrit :

Ton URL est pas bonne: htpp -> http

arf mes gros doigts m'ont trahi

merci

Message cité 1 fois

moyen_moins

chat réincarné

par contre, je viens de voir ce que donnait le qwen 3.8 27B gsq rco sur la R9700 pro et j'obtiens ceci en performance (lmstudio en vulkan):

2026-10-07 18:53:17 [DEBUG]
22.10.683.661 I slot print_timing: id 0 | task 13028 | prompt eval time = 41221.46 ms / 19846 tokens ( 2.08 ms per token, 481.45 tokens per second)
22.10.683.666 I slot print_timing: id 0 | task 13028 | eval time = 290036.18 ms / 13933 tokens ( 20.82 ms per token, 48.04 tokens per second)
22.10.683.667 I slot print_timing: id 0 | task 13028 | total time = 331257.64 ms / 33779 tokens
22.10.683.667 I slot print_timing: id 0 | task 13028 | graphs reused = 16598
22.10.683.672 I slot print_timing: id 0 | task 13028 | draft acceptance = 0.89167 (10141 accepted / 11373 generated), mean len = 3.68
2026-10-07 18:53:17 [DEBUG]
22.10.685.170 I slot release: id 0 | task 13028 | stop processing: n_tokens = 56614, truncated = 0

vitesse correcte mais surtout, résultat "bon" du 1er coup sur mon petit test que je fais à chaque fois.
j'ai fais le même test sur un Swift Qwen3.8 27B Q6 et même si le résultat est plus "joli" et relativement rapide (38t/s ET moins de thinking) il était bugué au 1er jet.

tous ces clones plus ou moins raté de qwen 3.8 27B, ça commence à être un peu relou en fait

Message cité 1 fois
Message édité par moyen_moins le 07-10-2026 à 19:08:45

neo world

the_fennec a écrit :

27B sans thinking c'est pas top top, mais bon il foire pas les tool calls au moins.

Tu utilises quoi comme MCP "recherche internet"?

Tu laisses pas pi.dev faire ses recherches ?

J’ai rien ajouté et ils ont trouvé internet les miens

Message cité 1 fois

epsiloncentaury

VICTOIRE [:never let me down]

Cela fait bien une dizaine de jours que j'essaie (avec ma config toute pourrie) de piloter FreeCAD avec KoboldCpp via MCP.
Après pas mal de galères à faire le pont MPC avec freecad, j'ai pu utiliser Qwen 3.6 35B et après moult tentatives, il a réussi à me faire un cube avec perçage.

J'ai ensuite tenté un boulon avec son filetage.

Et après plusieurs tentatives ratées, il n'a pas pu faire mieux que ça :

Bon évidemment, c'est pas viable en l'état. C'est très lent avec beaucoup d'échecs. Qwen 3.6 a beaucoup de mal à piloter FreeCAD.

Ce matin, je tombe sur une vidéo de Strata. Je me suis dit ça, c'est pour ma config toute pourrie.. [:rofl]
Et ça ne m'a pas loupé. J'avais testé Qwen 3.8 27B, mais je dépassais pas les 4 tk/s. Là, avec Strata et Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS, je dépasse les 17 tk/s, puis les 27 tk/s avec Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS.

La première utilisation que j'ai voulu tester a été FreeCAD...
Je lui ai demandé ceci :
"Utilise les outils CadPilot disponibles pour créer une pièce mécanique simple dans FreeCAD.
Crée un nouveau document nommé "TestCube".
Génère un cube de 50mm x 50mm x 50mm centré sur l'origine (0,0,0).
Ajoute un trou traversant de diamètre 10mm au centre exact du cube, allant d'une face à l'autre.
Arrondis tous les bords extérieurs du cube avec un rayon de 5mm.
Affiche la vue isométrique finale."

Et il m'a fait ça très rapidement comparé à KoboldCpp, je dirais 2/3mn

Je lui ai montré la capture d'écran en lui disant que ce n'était tout à fait ce que j'avais demandé, et il m'a fait ça :

J'en revenais pas

Je lui ai ensuite demandé simplement : "Fais-moi un boulon M12 avec son écrou. Le boulon a une longueur de 80mm." Il a fait ça :

Incroyable ..

Message cité 5 fois
Message édité par epsiloncentaury le 07-10-2026 à 20:17:05

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

C'est "exa" : il vient en "standard" avec le chatbot.
Suffit de cliquer sur "+" et de l'activer.
Il y a HF, git et context7 que je connais pas de dispo également.

Edit: par contre pour strata, combo ddr4 + lien pcie 3.0 lent, ça va bien me brider apparemment

Le chatbot de quoi?

Strata, je suis en DDR4 et pcie3, mais j'ai "investi" j'ai pris une nouvelle CM pour le Prime days et je passerais en pcie4 \o/

Spoiler :

en vré c'est pour faire ma migration vers Promox tranquillou mais OSEF

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

par contre, je viens de voir ce que donnait le qwen 3.8 27B gsq rco sur la R9700 pro et j'obtiens ceci en performance (lmstudio en vulkan):

C'est pour ça que je laisse tomber les fine-tune c'est juste une perte de temps, ça marche le temps de faire une vidéo YT.

epsiloncentaury a écrit :

VICTOIRE [:never let me down]

Cela fait bien une dizaine de jours que j'essaie (avec ma config toute pourrie) de piloter FreeCAD avec KoboldCpp via MCP.
Après pas mal de galères à faire le pont MPC avec freecad, j'ai pu utiliser Qwen 3.6 35B et après moult tentatives, il a réussi à me faire un cube avec perçage.

https://img3.super-h.fr/images/2026 [...] ot_294.png

J'ai ensuite tenté un boulon avec son filetage.

https://img3.super-h.fr/images/2026 [...] ot_297.png

Et après plusieurs tentatives ratées, il n'a pas pu faire mieux que ça :
https://img3.super-h.fr/images/2026 [...] ot_298.png

Bon évidemment, c'est pas viable en l'état. C'est très lent avec beaucoup d'échecs. Qwen 3.6 a beaucoup de mal à piloter FreeCAD.

Ce matin, je tombe sur une vidéo de Strata. Je me suis dit ça, c'est pour ma config toute pourrie.. [:rofl]
Et ça ne m'a pas loupé. J'avais testé Qwen 3.8 27B, mais je dépassais pas les 4 tk/s. Là, avec Strata et Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS, je dépasse les 17 tk/s, puis les 27 tk/s avec Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS.

La première utilisation que j'ai voulu tester a été FreeCAD...
Je lui ai demandé ceci :
"Utilise les outils CadPilot disponibles pour créer une pièce mécanique simple dans FreeCAD.
Crée un nouveau document nommé "TestCube".
Génère un cube de 50mm x 50mm x 50mm centré sur l'origine (0,0,0).
Ajoute un trou traversant de diamètre 10mm au centre exact du cube, allant d'une face à l'autre.
Arrondis tous les bords extérieurs du cube avec un rayon de 5mm.
Affiche la vue isométrique finale."

Et il m'a fait ça très rapidement comparé à KoboldCpp, je dirais 2/3mn
https://img3.super-h.fr/images/2026 [...] ot_291.png

Je lui ai montré la capture d'écran en lui disant que ce n'était tout à fait ce que j'avais demandé, et il m'a fait ça :
https://img3.super-h.fr/images/2026 [...] ot_292.png
J'en revenais pas

Je lui ai ensuite demandé simplement : "Fais-moi un boulon M12 avec son écrou. Le boulon a une longueur de 80mm." Il a fait ça :

https://img3.super-h.fr/images/2026 [...] ot_299.png

Incroyable ..

Wow c'est balèze :jap:

Message édité par the_fennec le 07-10-2026 à 20:26:47

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

Tu laisses pas pi.dev faire ses recherches ?

J’ai rien ajouté et ils ont trouvé internet les miens

Je suis repartis sur claude-code, pas convaincu par pi.dev.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

epsiloncentaury

the_fennec a écrit :

Pour le fun j'ai lancé Strata avec Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS avec --low-ram auto qui swap les experts venant du SSD.

https://i.imgur.com/62JkvCO.png

C'est plus lent, mais quand même plus rapide que llama.cpp :lol:

Par contre cette nuit l'auto compaction a fini par déconner:
https://i.imgur.com/KpHyiEM.png

J'ai l'impression que pour moi la gestion de contexte est un peu le problème récurent de Strata.

T'a quoi comme machine ? Je suis plus rapide avec mes deux GTX 1080 :??:

Ok , faut pas regarder le prefill

Message cité 3 fois

neo world

the_fennec a écrit :

Je suis repartis sur claude-code, pas convaincu par pi.dev.

Tu avais quoi comme problème ? À date ça tourne bien chez moi. J’ai fait l’upgrade tout récemment vers le 1.0 d’ailleurs

Message cité 1 fois

neo world

epsiloncentaury a écrit :

Tu es en train de lancer une usine à fabriquer des modèles pour imprimante 3D ?

Beau boulot en tous cas !

Message cité 1 fois

b-tzu

Geek a toute heure...

epsiloncentaury a écrit :

Avec quoi comme infra ?
C’est quoi ce truc donc vous parlez depuis quelques jours, strata ?
Ça permet d’améliorer les perfs ia de à peu près tout ?
Ça peut aider pour la 3090 ?

Message cité 1 fois

---------------
Topic Ventes || Topic Jeux Vidéos || Topic Téléphonie (Rien pour le moment)

the_fennec

f3nn3cUs z3rd4

epsiloncentaury a écrit :

T'a quoi comme machine ? Je suis plus rapide avec mes deux GTX 1080 :??:

https://img3.super-h.fr/images/2026 [...] ot_296.png

Ok , faut pas regarder le prefill

Un Ryzen 5650GE 4060Ti 16GB 35GB RAM; c'est une VM Debian sur un ESXi avec 5 autres VMs

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

Tu avais quoi comme problème ? À date ça tourne bien chez moi. J’ai fait l’upgrade tout récemment vers le 1.0 d’ailleurs

Trop de custo a faire pour avoir des trucs de base comme l'auto-compaction. Trop la flemme

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

b-tzu a écrit :

Avec quoi comme infra ?
C’est quoi ce truc donc vous parlez depuis quelques jours, strata ?
Ça permet d’améliorer les perfs ia de à peu près tout ?
Ça peut aider pour la 3090 ?

C'est un Meta moteur d'inférence vibecodé avec des bouts de llama.cpp, vLLM et SGlang qui supporte uniquement Qwen Next.

https://github.com/Niko1221/Strata

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

epsiloncentaury a écrit :

T'a quoi comme machine ? Je suis plus rapide avec mes deux GTX 1080 :??:

https://img3.super-h.fr/images/2026 [...] ot_296.png

Ok , faut pas regarder le prefill

vous avez accès où à ces infos ? j'ai lancé strata et ça a l'air de fonctionner mais à part l'invite de commande, je vois rien :??:

Message cité 1 fois

epsiloncentaury

moyen_moins a écrit :

vous avez accès où à ces infos ? j'ai lancé strata et ça a l'air de fonctionner mais à part l'invite de commande, je vois rien :??:

Comment ça tu vois rien, tu n'as pas le WebUI ?

moyen_moins

chat réincarné

j'ai juste l'interface genre le llamaserver avec le truc de chat de base :??:

edit: ça doit être un bug ou un problème de cache de firefox car je faisais mumuse avant avec llama.cpp

Message cité 1 fois
Message édité par moyen_moins le 07-10-2026 à 23:08:08

epsiloncentaury

neo world a écrit :

Tu es en train de lancer une usine à fabriquer des modèles pour imprimante 3D ?

Beau boulot en tous cas !

Si ça fonctionne bien, je compte bien l'utiliser avec mes 4 imprimantes

Page : 1 2 3 4 5 .. 77 78 79 80 81 82

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM Locaux

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co	sécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux

Page générée en 0.141 secondes