Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Au quotidien je suis

21.9 %

7 votes

1. Satisfait de mon setup d'inférence

21.9 %

7 votes

2. ça va mais c'est pas assez rapide

6.2 %

2 votes

3. ça va mais mon IA manque de skills

0.0 %

0 vote

4. ça plantouille pas mal quand même

0.0 %

0 vote

5. quelle IA ? j'attend la generation de modèle super intelligence rated :o

12.5 %

4 votes

6. Je souhaite en priorité plus de tok/s

15.6 %

5 votes

7. Je souhaite en priorité plus de skills (cyber, reverse engineering, code ...)

9.4 %

3 votes

8. Je souhaite en priorité moins d'hallucinations

6.2 %

2 votes

9. Je souhaite en priorité plus de sécurité (prompt injection, trojan, vols de credentials ...)

6.2 %

2 votes

10. Je souhaite en priorité moins de code spaghetti :-(

Total : 36 votes (4 votes blancs)
Sondage à 3 choix possibles.

Ce sondage est clos, vous ne pouvez plus voter

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 93 94 95 96 97 98 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

epsiloncentaury

Reprise du message précédent :

moyen_moins a écrit :

whisper, c'est le speech to text ? à l'époque sur home assistant, ce qui marchait le mieux pour le français, c'était Vosk [:paysan]

Vosk est très leger et fait le job sur les commandes simples, mais sur de longues phrases, Whisper et bien meilleurs tout en étant plus lourd. 1.5go en Vram en medium si je me rappelle bien.

Vosk travaille à l'ancienne sur les phonèmes, alors que Whisper travaille sur des Transformers. Vosk est très leger dans 60mo et tient très bien dans un raspberrypi. Mais il est largué sur de longues phrases. Il lui manque surtout ce qui faite la voix humain, ponctuation, majuscule....

Message édité par epsiloncentaury le 31-10-2026 à 23:44:25

moyen_moins

chat réincarné

même le gros modèle ? de mémoire, il y avait 2 tailles :??:

Message cité 1 fois

epsiloncentaury

moyen_moins a écrit :

même le gros modèle ? de mémoire, il y avait 2 tailles :??:

Ce n'est pas une question de taille, mais de philosophie. Vosk fait du mot a mot à a "robote". Tu n'auras jamais l'approche humaine avec, surtout sans la ponctuation, majuscule,etc. Wihsper va comprendre le sen de ta phrase pour la traduire en texte, là ou Vosk va mécaniquement traduire des mots. C'est beaucoup plus facile ensuite pour l'ia de comprendre ton propos. Tout devient plus fluide.

moyen_moins

chat réincarné

les résultats en fr de whisper étaient vraiment pas ouf à l'époque, ça a bien du changer alors

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

epsiloncentaury a écrit :

J'arrive à faire tourner IQ3-XXS sur ma trottinette. Ma ram DDR4 2400 56go, fait de bric et de broc (3modeles differents) est à raz la gueule [:rofl]

https://img.super-h.fr/images/2026/ [...] b59bd5.png

ça tourne pas mal quand même :jap:

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

chris282 a écrit :

trouvaille intéressante
je suis très content qu'il y ait des découvertes et des forks, mais pas content que les développements s'éparpillent entre X projets.

Le dev d'Avalon a des PRs ouvertes chez llama.cpp mais c'est peu probable qu'ils les mergents, le problème est que ce sont des opti spécifiques à du hardware et que llama.cpp est généraliste.

---------------
Faudra que je teste un jour :o

alanou

Remembering M.P.

moyen_moins a écrit :

les résultats en fr de whisper étaient vraiment pas ouf à l'époque, ça a bien du changer alors

Pareil, jamais réussi à avoir quelquechose de correct avec Whisper, alors qu'en anglais c'est quasi parfait. A ma connaissance les modèles datent de 2022 à 2024 et n'ont pas été update depuis.
Il y'a des distill et des quants améliorés spécifiques FR celà dit.

Un parakeet est à peine moins bon, et nettement plus léger et rapide. Ici il y a pas mal de tests en FR par exemple https://huggingface.co/LaToucheCarr [...] -Q6_K-GGML

Message édité par alanou le 01-11-2026 à 12:06:24

---------------
Bolidage tête rouge - ateliers certifiés ISO0069

epsiloncentaury

Je suis en train de modifier mon Jarvis en secrétaire et Assistant local, grace à GML 5.3, Le tout avec OpenCode et gratuitement.

C'est pas du full local, c'est du semi-local, mais sans clé API, entièrement gratis. Mes modèles locaux et mon PC n'ont pas la puissance pour piloter sérieusement les applis Mais opencode via ses modèles gratuits le peut.

La gratuité des modèles est présentée comme temporaire pour la plupart d’entre eux, liée à une période de collecte de retours. Cela peut durer pas mal de temps en faisant attention.

Beam Free : présenté pour le travail de code et d’agent le plus difficile. Il semble être le plus costaud de la liste. Il est étiqueté « Limited Time » sur la page OpenCode Go, donc il risque de ne pas rester gratuit longtemps.

DeepSeek V4.1 Flash Free recommandé pour le code agentique léger, et il lit aussi les images. C’est un bon choix par défaut, et il donne de bons résultats.

GLM-5.3-Flash Free : cité pour le travail frontend, et il lit les images, vidéos et PDF. Il peut bien convenir à une interface comme ton clone de Tinkercad.

Nemotron 3 Ultra Free : présenté comme offrant la meilleure précision de raisonnement parmi les modèles ouverts, mais il ne lit que du texte. Il est utile pour les problèmes de logique ou de calcul compliqués.
https://forum-images.hardware.fr/ic [...] tation.gif
MiMo-V2.6-Flash Free : le seul de la liste à lire l’audio et la vidéo. C’est plutôt un modèle polyvalent.

Là GLM 5.3, est en train de modifier mon Jarvis pour en faire une secrétaire (libreOffice) et un assistant impression 3D via OpenScad. Je sais pas si cela va bien fonctionner mais extrement marrant a voir..

resumé , je passe les etapes de codages:

Citation :

Mes questions pour toi :

Quelle est la méthode la plus simple et la plus robuste pour connecter mon script Python à LibreOffice ? (Utiliser l'API UNO de LibreOffice, utiliser l'extension MCP "Nelson MCP", ou utiliser PyAutoGUI pour simuler les touches ?)

Comment dois-je modifier mon code jarvis.py et mon fichier .kcpps pour que Gemma comprenne qu'il a un nouvel outil à sa disposition (Tool Calling) et qu'il génère un appel de fonction propre ?

Peux-tu me donner un exemple de code Python pour le fichier libreoffice_tool.py qui prendrait une chaîne de caractères (le courrier généré par l'IA) et créerait un document LibreOffice propre ?

Je précise que je suis sur Windows 11 et que je code en Python 3.10+ (via Miniconda). Mon objectif est de rester 100% local et gratuit.

Bonne idée de compétence, et bonne nouvelle : c'est une des plus simples à ajouter avec une fiabilité quasi totale, à condition de ne pas piloter LibreOffice pendant la génération. Je vous détaille tout, et je vous crée directement le fichier libreoffice_tool.py prêt à déposer à côté de votre jarvis.py.

1. Quelle méthode pour connecter Python à LibreOffice ?
Comparatif honnête des trois pistes que vous citez :

Méthode Verdict Pourquoi
Générer le .odt directement en Python, puis l'ouvrir dans Writer Recommandée Zéro dépendance à LibreOffice au moment de la création, déterministe, rapide, rescapable si l'IA se trompe
API UNO Possible mais overkill Puissante (contrôle en direct d'un document ouvert), mais fragile sur Windows : il faut lancer soffice --accept=socket..., gérer les verrous de profil utilisateur, la connexion qui tombe… de la plomberie pour rien ici
PyAutoGUI À proscrire Dépend de la position de fenêtres, du clavier, de la langue. Une mise à jour et tout casse
"Nelson" MCP Inutile pour ce cas Une surcouche de plus alors que 30 lignes de Python suffisent ; le MCP n'a d'intérêt que si votre architecture évolue vers ce standard
Le principe : l'IA ne remplit pas un document ouvert, elle produit des champs structurés, et Python écrit le fichier. Puis, si vous voulez le revoir, on lance simplement soffice.exe chemin_du_fichier.odt.

2. Tool calling : les modifications à faire
Le .kcpps
Passez les deux clés à true :

"jinja": true,
"jinja_tools": true
"jinja": true active le rendu du chat template du modèle ;
"jinja_tools": true active le support du format OpenAI (tools / tool_calls) sur l'endpoint /v1/chat/completions.
Redémarrez KoboldCpp après la modification.

Le jarvis.py
Comme vous avez déjà la plomberie pour SearXNG, il vous manque trois choses : le schéma de l'outil, l'envoi de tools dans la requête, et une branche dans le routeur. Voici le squelette (je vous ai mis l'outil sous forme de TOOL_SCHEMA importable dans le fichier créé ci-dessous) .....

......Est-ce que je peux etendre ça a d'autre outils ?
Oui, absolument — et l'architecture que vous avez s' colonise très bien. Une fois que vous avez le chemin « Gemma → tool call → argents JSON → fonction Python → résultat », chaque nouvel outil n'est qu'une fonction de plus dans le schéma et une ligne de plus dans le dispatcher. C'est la force du tool calling : c'est un standard, pas un hack.

Les outils qui se marient bien avec votre setup (100% local)
Outil Usage Facilité
write_letter déjà fait —
export_pdf Convertit votre .odt en PDF (soffice --headless --convert-to pdf); trivial, 10 lignes
open_file / open_folder « Jarvis, ouvre mes factures »
create_folder / organize_files Rangement de dossiers téléchargements
list_events / add_event Agenda local (ics ou SQLite)
calc Calculs précis que le LLM rate (dates, %, division)
TTS/lecture de mail LibreOffice peut aussi lire des .csv/.xlsx — même recette qu'odfpy (openpyxl)
OCR / visite de pages Complète votre SearXNG existant

Dès que je l'ai, je m'occupe de tout : lecture du code, ajout de libreoffice_tool.py, modification de jarvis.py et du .kcpps, tests de syntaxe. Et sachez que c'est une très bonne pratique de travailler sur une copie d'abord — je n'interviendrai que dans « jarvis bis », votre original restera intact.

Testé pour de vrai : un courrier de test a été généré et LibreOffice l'a lu sans erreur
Modifié : jarvis.py (7 points précis, vous pouvez relire chaque ligne)

Import du module + compétence annoncée dans le SYSTEM_PROMPT (Jarvis répondra désormais « oui » si vous demandez si il sait faire un courrier)
LETTER_CUES : détection orale (« fais-moi un courrier », « écrits-moi une lettre »...) — testée sur 9 phrases réelles, avec garde-fous (« traduis une lettre en anglais » ne déclenchera pas de courrier )
Le pipeline complet, calqué sur votre architecture web : want_letter → mini-requête LLM qui produit le courrier en JSON → création du fichier → compte rendu injecté dans la question pour que Jarvis envoigne sa confirmation
Le mode secours fonctionne : si Gemma répond en texte brut au lieu du JSON, le document est quand même mis en page
Détails comptables : stats (temps et nom du fichier pour l'interface), messages console [courrier], et l'option --letter off pour tout désactiver sans toucher au code
Modifié : LISEZ-MOI-Jarvis.txt — la procédure complète est documentée dedans.

Une bonne surprise pour vous : aucune modification du Kit_Jarvis.kcpps n'a été nécessaire. En étudiant votre code j'ai vu que votre recherche web ne passe pas par les tool calls OpenAI mais par détection de mots-clés + injection — j'ai construit le courrier selon ce même principe, plus fiable à coup sûr sur votre modèle (dont le template ne supporte pas nativement les tool calls).

Installation : odfpy a été installé dans votre env xtts (le même Python que celui de votre .bat).

Ce qu'il vous reste à faire (2 étapes)
Ouvrez libreoffice_tool.py et remplissez le bloc USER en haut : votre nom, votre adresse, votre ville. C'est votre en-tête d'expéditeur — l'IA ne l'inventera jamais.
Tétez en réel : lancez Lancer-Jarvis-Micro.bat, puis dites : « Jarvis, fais-moi un courrier pour la mairie ». Comptez 20 à 40 s de préparation (Gemma tape le courrier en JSON), puis Jarvis annonce le résultat et le fichier s'ouvre dans Writer.
Un dernier point : si vous testez maintenant, démarrez sur des demandes simples puis enrichissez (les demandes à une personne, avec des pièces précises...). Quand on aura vu le comportement réel en cond., on pourra : ajuster le seuil de détection, ouvrir une prochaine brique agenda, PDF, etc. — même modèle à 3 lignes de plus.

Message cité 1 fois
Message édité par epsiloncentaury le 01-11-2026 à 12:24:17

the_fennec

f3nn3cUs z3rd4

Leak d'un modèle Anthropic:

Citation :

numbat

~14T param, 114 layers, hybrid GDN/MLA, MoE (1,224 experts, top-48 + 1 shared), NVFP4. Internal codename numbat, Anthropic's next Mythos-class training run. numbat is the codename referenced in the Claude Code source leak (Mar 2026). This is a checkpoint from that training run, pulled mid-pretraining.
...

The 772 shards total ~7.72 TB of tensor data. Each shard is safetensors format, under 10.6 GB per file.

OSEF mais c'est marrant d'avoir un peu de détails sur les modèles Anthropic, 8TB le merdier :pt1cable:

Je met pas le lien HF, ça serait mal

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

Encore un nouveau moteur, fork de llama.cpp:
https://github.com/Betelgeuse-AI/Betelgeuse

https://www.reddit.com/r/LocalLLaMA [...] iq4_xs_at/

Citation :

Betelgeuse running Qwen 3.8 Flash Next IQ4_XS at 24 tok/s on 2x8GB DDR4 (14 tok/s on a single 16GB stick) + RTX 3060 12GB — 0 dropped experts, 100% byte-exact

What I'm working on next:
We're currently bringing this exact streaming + victim-cache architecture over to DeepSeek V4.1 Flash (1017)—early testing under development is already sitting around ~25 tok/s on the same hardware class.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

epsiloncentaury

Bordel Jarvis a bien ouvert Libreoffice. :ouch:

Il est même un peu trop rapide a l'ouverture du courrier qu'il s'envoie a lui même, c'est hilarant. [:rofl]

Apparemment ce sont des bugs connus. Cela s'appelle le syndrome de perroquet. GLM est en train de corriger ça. Je ne pensais pas que cela fonctionnaire réellement ...

moyen_moins

chat réincarné

the_fennec a écrit :

Encore un nouveau moteur, fork de llama.cpp:
https://github.com/Betelgeuse-AI/Betelgeuse

https://www.reddit.com/r/LocalLLaMA [...] iq4_xs_at/

Citation :

Betelgeuse running Qwen 3.8 Flash Next IQ4_XS at 24 tok/s on 2x8GB DDR4 (14 tok/s on a single 16GB stick) + RTX 3060 12GB — 0 dropped experts, 100% byte-exact

What I'm working on next:
We're currently bringing this exact streaming + victim-cache architecture over to DeepSeek V4.1 Flash (1017)—early testing under development is already sitting around ~25 tok/s on the same hardware class.

ça accélère depuis strata, c'est cool
les modèles de + en + perfs, c'est cool mais de plus en plus efficaces, c'est cool aussi

Message cité 1 fois
Message édité par moyen_moins le 01-11-2026 à 18:27:34

epsiloncentaury

moyen_moins a écrit :

ça accélère depuis strata, c'est cool
les modèles de + en + perfs, c'est cool mais de plus en plus efficaces, c'est cool aussi

Pour l'instant aucun fork n'intègre Pascal. Seul Strata pense à nous .. [:haussmann:3]

moyen_moins

chat réincarné

j'essaie d'utiliser qwen 3.8 FN pour faire un clone de Nitro, un jeu de 90 sur Atari via Godot et c'est pas gagné, je pense qu'on arrive aux limites de ce qu'il est capable de faire ou du quant :??:
il essaie pendant des heures de corriger des problèmes, je sais pas ce qu'il fait car j'ai toujours les mêmes soucis présents malgré les "corrections" de bugs: gestion de la caméra, gestion de la ligne d'arrivée [:paysan]
j'ai l'impression qu'il tourne en rond.

bon après, le dev SW, c'est pas mon métier

Message cité 2 fois

neo world

moyen_moins a écrit :

Avec quel harness ? Comment il test ses bugs ?

Tu peux éventuellement faire un passage avec open code review. Il est assez bon pour trouver des bugs / défauts

moyen_moins

chat réincarné

j'utilise opencode avec le skill superpowers
faudrait que j'essaie autre chose, je sais pas [:paysan]

neo world

Essaie OCR. Ca coûte que des jetons sur ta machine :jap:

Putnam

epsiloncentaury a écrit :

Je suis en train de modifier mon Jarvis en secrétaire et Assistant local, grace à GML 5.3, Le tout avec OpenCode et gratuitement.

C'est pas du full local, c'est du semi-local, mais sans clé API, entièrement gratis. Mes modèles locaux et mon PC n'ont pas la puissance pour piloter sérieusement les applis Mais opencode via ses modèles gratuits le peut.

La gratuité des modèles est présentée comme temporaire pour la plupart d’entre eux, liée à une période de collecte de retours. Cela peut durer pas mal de temps en faisant attention.

https://img.super-h.fr/images/2026/ [...] 795.th.png

Beam Free : présenté pour le travail de code et d’agent le plus difficile. Il semble être le plus costaud de la liste. Il est étiqueté « Limited Time » sur la page OpenCode Go, donc il risque de ne pas rester gratuit longtemps.

DeepSeek V4.1 Flash Free recommandé pour le code agentique léger, et il lit aussi les images. C’est un bon choix par défaut, et il donne de bons résultats.

GLM-5.3-Flash Free : cité pour le travail frontend, et il lit les images, vidéos et PDF. Il peut bien convenir à une interface comme ton clone de Tinkercad.

Nemotron 3 Ultra Free : présenté comme offrant la meilleure précision de raisonnement parmi les modèles ouverts, mais il ne lit que du texte. Il est utile pour les problèmes de logique ou de calcul compliqués.
https://forum-images.hardware.fr/ic [...] tation.gif
MiMo-V2.6-Flash Free : le seul de la liste à lire l’audio et la vidéo. C’est plutôt un modèle polyvalent.

Là GLM 5.3, est en train de modifier mon Jarvis pour en faire une secrétaire (libreOffice) et un assistant impression 3D via OpenScad. Je sais pas si cela va bien fonctionner mais extrement marrant a voir..

[/quote]

C'est une sorte de trial de leur offre Go, il y a une limtie non explicite que tu n'as visiblement pas atteinte

j'aime bien deepseek v4.1 flash aussi. Nemotron super hallucine vite dans mes essais

the_fennec

f3nn3cUs z3rd4

Heretic 2.0 released: Model modification for everyone
https://www.reddit.com/r/LocalLLaMA [...] ation_for/
https://github.com/p-e-w/heretic

Citation :

Your time is precious, so here's the TL;DR for this release:

Directional abliteration is replaced by Arbitrary-Rank Ablation (ARA), a novel steering method that I developed from scratch for Heretic. It's vastly superior to abliteration, and has been used with great success by enterprising testers for several months. Now it is the default (classic abliteration remains available as an option).

Heretic has been completely rebuilt around plugins. Scorer plugins define what Heretic optimizes for. Modifier plugins implement the actual steering method. Plugins are easy to write, can be loaded directly from a simple Python file, and have a well-defined API.

Heretic can now run non-interactively, which among other things has enabled us to implement full end-to-end tests for much tighter quality control. Model support has been expanded to include models with hyper-connections, and support for thinking models has been substantially improved.

Heretic 2.0 is not backwards compatible with Heretic 1.x configurations. See the migration guide for what you need to change in order to make your old configurations work.

Bon, je pense que ceux sont intéressés vont attendre des modèles tout fait

Message cité 1 fois

---------------
Faudra que je teste un jour :o

neo world

the_fennec a écrit :

[b]Heretic 2
…
Bon, je pense que ceux sont intéressés vont attendre des modèles tout fait

Je suis en Qwen 3.8 flash next Q4_K_XL decensuré à la Mano sans aucun bench (j’aime vivre dangereusement ) par hui hui dans sa V2. J’ai jamais rencontré un problème. Le thinking FR fait parfois des petites fautes / tournures cheloues mais dans la reponse c’est parfait. J’ai eu aucun refus même avec des demandes absurdes : il me prévient quand même de challenges légaux / régulation / physique mais bro voilà ta réponse.

Il est aussi à l’aise pour me parler des manifestations et les répressions / assassinats à la place tiananmen sans se faire prier (en gros : il s’est passé quoi à la place tiananmen et pourquoi c’était controversé ? et boom il se met à table )

J’ai quand même l’inconvénient de devoir designer des bridages moi même comme une attaque type prompt injection pourrait en faire une parfaite machine à spam faute de gardes fous :pt1cable:

crazytiti

http://crazytiti.free.fr/

the_fennec a écrit :

https://github.com/freriadoc/Avalon

src: Avalon Just Beat Strata by 47% on AMD (9x Faster)
https://www.youtube.com/watch?v=0F63pTS8Gt0

Un fork de llama.cpp qui annonce être plus rapide que Strata sur QFN!

C'est cool mais comment on faire marcher le bouzin ?
Ya un port windows : https://github.com/ppkrol/Avalon_windows
Mais je ne trouve pas sur quoi cliquer :pt1cable:
Me dites pas de demander à l'IA, elle se perd dans le github original puis me sort le git de rocm...

Message cité 2 fois

---------------
Le PC est une drogue... Mes modèles 3D qui me rapportent des points :-D https://makerworld.com/fr/@crazytiti https://www.printables.com/fr/@Crazytiti_1456354

neo world

crazytiti a écrit :

Pour moi c'est un fork à l'arrache avec zero doc à jour (ça remonte à la version d'origine) et les programmes d'installation sont dans le même état. Perso j'y toucherai pas même avec un baton. En plus les commits viennent de claude ce qui me fait dire qu'il a fait quelques changements tactiques genre un .bat pour le cmake sans aller plus loin

Citation :

```bat
call "C:\Program Files (x86)\Microsoft Visual Studio\18\BuildTools\VC\Auxiliary\Build\vcvars64.bat" -vcvars_ver=14.44
set PATH=%HIP_PATH%bin;%PATH%
cmake -S . -B build -G Ninja -DGPU_TARGETS=gfx1100 -DGGML_HIP=ON ^
-DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ -DCMAKE_BUILD_TYPE=Release ^
-DCMAKE_PREFIX_PATH="CProgram Files/AMD/ROCm/7.2" -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF
cmake --build build --target llama-server llama-cli llama-bench
```

C'est un peu léger. La prochaine fois il ajoutera un "make no mistakes, do not halucinate" aux instructions si l'auteur veut quelques étoiles en plus sur son repo

Maintenant si je voulais avalon sur mon windows que j'aime d'amour ( -non- ) je passerai par WSL : c'est un linux, il peut tout à fait jouer du rocm donc t'as la plupart des avantages de linux dans devoir redémarrer ton ordi entre gaming et IA :
https://rocm.docs.amd.com/projects/ [...] o_wsl.html

je sais pas si ce sera parfait pour ton cas (l’accélérateur et la RAM : oui mais est-ce qu'il y aura des contraintes pour en choper assez vs ton hote windows ... probablement) mais sur le papier c'est mieux qu'un fork démarré à la pisse

Message édité par neo world le 02-11-2026 à 03:04:17

pich_mu

-re

Après avoir fait mes premiers tests d’IA locale en avril dernier, avec un setup a base de LM Studio - Roo code - VS Code, j’avais un peu laissé tomber depuis, plus trop de besoins.

Bon j’ai eu une idée ce weekend ( :whistle: ), donc j’ai passe mon dimanche a remettre en route mon setup.

Roo code n’existe plus déjà, donc je suis passé sur Continue. Toujours LM Studio qui fait tourner le modèle.

Pour le modèle justement j’ai commencé par Qwen 3.5 9B que j’avais déjà, ben très déçu il est très nul pour utiliser les outils (il codait la plupart du temps via powershell :pt1cable: ). J’ai perdu une demi journée avec lui en essayant d’inclure de plus en plus de règles mais c’était presque pire…

En soirée je suis passé sur Qwen 3 30B en Q3. Avec un contexte de 32k il sature mes 16Go de VRAM a 93%, il est environ 2x plus lent que Qwen 3.5 (je tourne a environ 11tk/s) par contre la qualité du code et l’efficacité en mode Agent n’ont rien a voir.

Bon je suis content j’ai un truc qui tourne. vous en pensez quoi ? Le choix du modèle est le bon ou y a mieux ? Continue c’est bien ?

Faut que je branche un MCP navigateur pour faire des tests en environnement réel maintenant, des conseils ?

Merci :jap:

Message cité 1 fois
Message édité par pich_mu le 02-11-2026 à 06:17:56

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

Un MCP te permet d'interagir avec un soft, mais ça ne retourne pas forcément les infos utiles au debug/feedback de l'agent. Il faut que tu trouves un moyen d'avoir une sortie "texte" de ce qu'il se passe. Tu peux aussi demander des screenshots et faire de la vision, mais c'est moins rapide, et ça marche pas si le rendu est cassé.

Limite c'est mieux de lui dire de tout faire en code, soit GDscript ou C#.

T'es partis d'un projet vide ou d'un template/exemple?

Message cité 1 fois

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

crazytiti a écrit :

Laisse tomber ce repo, il n'y a rien de plus que le Avalon de base à part ce plan:
https://github.com/ppkrol/Avalon_wi [...] ab9806efe9

Message cité 1 fois

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

pich_mu a écrit :

C'est quoi ton hard et ton OS? Tu veux faire quoi?
Si tu veux la meilleure perf, LM Studio (et Ollama) sont complètement largués. Pareil pour Qwen 3/3.5, il y a beaucoup mieux maintenant selon ce que tu veux faire.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

pich_mu

the_fennec a écrit :

Ça va trop vite :pt1cable:

Hard : 64Go DDR4 3600 et RTX5080
OS : W11
Besoin : codage site web et appli en tout genre

Tu me conseille quoi ?

Message cité 1 fois

Bitman

STAY APART

j'ai le Qwen3.6-35B-A3B-MLX-4bit il est plutot futé, tu mettrais quoi sur un mac m6 /omlx/32go ?
le 27b me faisait tout le temps des blocages de ram a cause du contexte, ca finissait par plus rentrer

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

pich_mu a écrit :

Ça va trop vite :pt1cable:

Hard : 64Go DDR4 3600 et RTX5080
OS : W11
Besoin : codage site web et appli en tout genre

Tu me conseille quoi ?

Strata sans hésiter:
https://github.com/Niko1221/Strata/

Prends Qwen Flash Next en IQ2_XS voire IQ3_XXS avec 200k de contexte pour commencer. Tu peux essayer d'autres quants, moi je tourne avec Gyro-S et 200k de contexte car j'ai que 36GB de RAM. Tu peux même tenter Deepseek 4 flash!

Perso je tourne avec Claude code, ça marche vraiment très bien:
https://github.com/Niko1221/Strata/ [...] ta-connect

Message cité 1 fois

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

Bitman a écrit :

Je connais pas trop les MLX, ça m'a l'air d'être un format très limité.

Tu devrais essayer llama.cpp avec Qwen3.8-27B-GSQ-RCO-IQ3_S-mtp.gguf avec 128k de contexte en kv8 ça devrait te laisser pas mal de RAM libre.

Si tu est aventureux tu peux essayer Splash avec Qwen Flash Next et du streaming d'experts:
https://github.com/incoai/splash
https://www.reddit.com/r/MacStudio/ [...] en38_next/

Kapista a l'air pas mal aussi:
https://github.com/nace-ai/kapitsa

Message édité par the_fennec le 02-11-2026 à 09:29:04

---------------
Faudra que je teste un jour :o

crazytiti

http://crazytiti.free.fr/

the_fennec a écrit :

Laisse tomber ce repo, il n'y a rien de plus que le Avalon de base à part ce plan:
https://github.com/ppkrol/Avalon_wi [...] ab9806efe9

En plus j'ai potassé la vidéo, les optis en question sont très spécifiques à la 7900XT et ses 20go.
Pas dit qu'il y ait un super gain sur un 9070, je vais attendre que ça se tasse.

Message cité 2 fois
Message édité par crazytiti le 02-11-2026 à 09:45:02

---------------
Le PC est une drogue... Mes modèles 3D qui me rapportent des points :-D https://makerworld.com/fr/@crazytiti https://www.printables.com/fr/@Crazytiti_1456354

the_fennec

f3nn3cUs z3rd4

crazytiti a écrit :

En plus j'ai potassé la vidéo, les optis en question sont très spécifiques à la 7900XT et ses 20go.
Pas dit qu'il y ait un super gain sur un 9070, je vais attendre que ça se tasse.

On dirait que je me suis fait click bait

---------------
Faudra que je teste un jour :o

moyen_moins

chat réincarné

the_fennec a écrit :

Limite c'est mieux de lui dire de tout faire en code, soit GDscript ou C#.

T'es partis d'un projet vide ou d'un template/exemple?

en fait, cet enfoiré s'est installé un godot (j'suis sous opencode2 en wsl) et fait ses tests/simu tranquillement sans que je vois rien. [:paysan]
il arrive à reproduire des choses à priori mais pas forcément celles que moi j'observe.
pas la vision activée par contre.
j'suis parti d'un prompt qui résumait le jeu en 4-5 points, les mécanismes, le fun etc., il m'a proposé une archi via godot.
pour l'instant, j'ai pas mis de mcp godot comme dans "luke's dev lab", c'est vrai que j'aurai pu. [:paysan]

Message cité 1 fois
Message édité par moyen_moins le 02-11-2026 à 11:03:01

moyen_moins

chat réincarné

crazytiti a écrit :

En plus j'ai potassé la vidéo, les optis en question sont très spécifiques à la 7900XT et ses 20go.
Pas dit qu'il y ait un super gain sur un 9070, je vais attendre que ça se tasse.

j'ai demandé à l'ia par rapport à ma conf => c'est trop jeune, pas dit que les gains attendus soient là dans mon cas.
strata marche bien, c'est peut être plus le quant qui laisse à désirer maintenant.
soit je suis très mauvais (très probable ) mais je vois pas strata chez moi arrivait à faire ce que fait the_fennec avec son gyro/q2
la diff de skills [:tinostar]

Message cité 1 fois

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

Godot c'est très bien, il a bien choisis!

Mets ton propre Godot, ya pas d'install c'est just un exe a mettre dans un dossier. Le MCP devrait pas mal aider a debug, tout en bouffant moins de contexte je pense.
Mais il faut cette boucle ou l'agent peut observer le résultat d'une manière ou d'une autre.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

Ya pas de problème de skills, opencode c'est le mal

---------------
Faudra que je teste un jour :o

alanou

Remembering M.P.

https://github.com/alanoo81/deepsee [...] x-cmp170hx

Ma recette pour Deepseek v4.1 Flash 1017 avec 4 x CMP 170hx

Basée sur la recette la plus utilisée par la communauté.
Experts 2 bits remplacés par 3 bits (essayé les 4 bits, pas de changement de qualité au delà des mesures de bruit).
KV cache compact, lossless.

Meilleure qualité (particulièrement en FR), meilleur KV pool, même vitesse (280 tk/s en c=1, 600+ en c=8).

Message cité 1 fois

---------------
Bolidage tête rouge - ateliers certifiés ISO0069

moyen_moins

chat réincarné

the_fennec a écrit :

j'ai godot sur mon pc (windows) mais faut que je mette le mcp oui, j'y avais pas pensé et les boucles de debugs sont de plus en plus longues ("raisonnement" à max)
je me demande si le dernier coup, il a pas activé du logging dans le dossier du jeu lors de ses modifs, j'avoue hier j'ai eu ma claque de ce truc, besoin de coupé

me suis pris la tête sur un autre sujet, arriver à claquer une image linux avec un kernel pas trop vieux pour un SBC en faisant un pot pourri de toute ce que j'ai pu trouver (SoC Allwinner, comme d'hab, c'est la misère) sur le gpu, le npu etc.
j'ai relancé une compil/image ce matin avant de me barrer, je verrai le résultat ce soir.

the_fennec

f3nn3cUs z3rd4

Intéressant c'est quoi ton SBC?

Message cité 1 fois

---------------
Faudra que je teste un jour :o

pich_mu

the_fennec a écrit :

Ok merci :jap: je vais essayer strata. C’est un ollama/LM Studio like ?

Quand tu dis que tu utilise Claude code, tu n’a pas un setup 100% local ?

Édit : de ce que je comprend, Strata est mieux que LM Studio pour faire tourner de gros modèle, mais je vais être limité par ma vram si j’importe de gros modèle, non ? Et si je balance entre ram et vram les perfs vont en prendre un coup ?

Message cité 1 fois
Message édité par pich_mu le 02-11-2026 à 12:30:36

neo world

alanou a écrit :

Propre !

Page : 1 2 3 4 5 .. 93 94 95 96 97 98

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM Locaux

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co	sécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux

Page générée en 0.103 secondes