Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
3471 connectés 

 


Ma famille de modèles préferée du quotidien ...
Ce sondage expirera le 01-11-2026 à 10:00




Attention si vous cliquez sur "voir les résultats" vous ne pourrez plus voter

 Mot :   Pseudo :  
  Aller à la page :
 
 Page :   1  2  3  4  5  ..  85  86  87  88  89  90
Page Suivante
Auteur Sujet :

Infra IA : aide au choix et troubleshot de LLM Locaux

n°54336
the_fennec
f3nn3cUs z3rd4
Posté le 22-10-2026 à 14:59:21  profilanswer
 

Reprise du message précédent :

b-tzu a écrit :

i5 10e gen cest quand meme tres vieux. mais je vais tester du coup. et je suis pas du tout habitué a linux. je vais laisser claude gerer meme ca


 
Faut pas se fier aux générations, ça veut rien dire. Un i5 10th avec 32GB de RAM, un SSD et une ventilation propre te fera une très bonne machine de dev.
 
Jusqu’à pas longtemps mon server de virtualization était sur un Ryzen 5 3600, j'ai 7 VMs dont celles qui font de l'inférence et une autre avec la VM de dev avec claude dessus.
Une VM NAS, une autre pour l'encoding auto, etc. Mon PC gamer était en 10th gen, je viens de le passer en 11th :sol:.
 
Si tu connais pas Linux mets un truc pas prise de tête:
Mint, Debian, Fedora ou Ubuntu
 
Perso même si je connais relativement bien Linux je me fais plus chier je dis à mon agent du moment de faire le taf ou régler mes problèmes. (et avec CachyOS il chôme pas :o)

Message cité 1 fois
Message édité par the_fennec le 22-10-2026 à 15:00:40

---------------
Faudra que je teste un jour :o
n°54337
neo world
Posté le 22-10-2026 à 15:01:25  profilanswer
 

Ça me semble canon : https://www.dealabs.com/bons-plans/ [...] r5-3436619
 
Faudrait voir si on peut ajouter 32GO dans un second temps si y a bien deux memory banks disponibles mais sinon les 32GO actuels de revendront sans problème. Faudra jouer au vautour dans la cat achat/vente pour trouver un kit 64GO à un prix pas trop abusé :jap:

n°54338
neo world
Posté le 22-10-2026 à 15:02:39  profilanswer
 

morcok a écrit :

Salut,
 
Moi j'ai plus vieux : I9 7900X, 64Go de ram, 3060 12Go et ça marche très bien, peut pas aussi vite que vos 5090, mais j'en suis très content :)
Pour les updates je me fais pas chier, je télécharge les sources et je fais un start-here.bat
 
ça serait plus rapide avec git mais j'oublierais de lire le change log donc je le fais à la mano
 
 
Zero soucis depuis la 0.1.39, je suis aussi passé brièvement en beta de la 0.2.0 et pas de soucis à ce moment non plus
 
Je lui fait coder du Django, j'ai longtemps tenté avec Qwen 3.8 ça marchait pas et c'était très lent avec lmstudio.
Là c'est strata + opencode, c'est bien plus rapide et plus d'hallu


Nos 5090 ? On veut des noms  [:biiij:4] :o

n°54339
the_fennec
f3nn3cUs z3rd4
Posté le 22-10-2026 à 15:12:06  profilanswer
 

moyen_moins a écrit :


non, je suis toujours en 0.1.45
je me demande si je vais pas lui demander de faire un fork pour garder le fonctionnement actuel avec les màj du moteur des nouvelles versions :o


 
Pour le moment je bouge pas de version!


---------------
Faudra que je teste un jour :o
n°54340
neo world
Posté le 22-10-2026 à 15:12:33  profilanswer
 

the_fennec a écrit :


 
Faut pas se fier aux générations, ça veut rien dire. Un i5 10th avec 32GB de RAM, un SSD et une ventilation propre te fera une très bonne machine de dev.
 
Jusqu’à pas longtemps mon server de virtualization était sur un Ryzen 5 3600, j'ai 7 VMs dont celles qui font de l'inférence et une autre avec la VM de dev avec claude dessus.
Une VM NAS, une autre pour l'encoding auto, etc. Mon PC gamer était en 10th gen, je viens de le passer en 11th :sol:.
 
Si tu connais pas Linux mets un truc pas prise de tête:
Mint, Debian, Fedora ou Ubuntu
 
Perso même si je connais relativement bien Linux je me fais plus chier je dis à mon agent du moment de faire le taf ou régler mes problèmes. (et avec CachyOS il chôme pas :o)


Je confirme, c’est a peu prêt sur cette generation que de gros efforts sur la consommation au repos ont été faits en plus :)

n°54341
the_fennec
f3nn3cUs z3rd4
Posté le 22-10-2026 à 15:36:21  profilanswer
 

neo world a écrit :


Je confirme, c’est a peu prêt sur cette generation que de gros efforts sur la consommation au repos ont été faits en plus :)


 
J'ai un laptop en 12th avec les cores "économes" et c'est juste de la merde :lol:


---------------
Faudra que je teste un jour :o
n°54342
the_fennec
f3nn3cUs z3rd4
Posté le 22-10-2026 à 15:37:19  profilanswer
 

neo world a écrit :

Ça me semble canon : https://www.dealabs.com/bons-plans/ [...] r5-3436619
 
Faudrait voir si on peut ajouter 32GO dans un second temps si y a bien deux memory banks disponibles mais sinon les 32GO actuels de revendront sans problème. Faudra jouer au vautour dans la cat achat/vente pour trouver un kit 64GO à un prix pas trop abusé :jap:


 
Oui et non, ça devrait être une machine à 500 balles :(


---------------
Faudra que je teste un jour :o
n°54344
moyen_moin​s
chat réincarné
Posté le 22-10-2026 à 16:15:02  profilanswer
 

the_fennec a écrit :


 
Pour le moment je bouge pas de version!


dans les dernières versions, le gpu se garde moins de marge s'il gère pas l'affichage.
avant 0.2, c'était pas le cas il me semble.
plus d'experts en VRAM, encore plus de token/s :o

n°54346
the_fennec
f3nn3cUs z3rd4
Posté le 22-10-2026 à 16:24:36  profilanswer
 

moyen_moins a écrit :


dans les dernières versions, le gpu se garde moins de marge s'il gère pas l'affichage.
avant 0.2, c'était pas le cas il me semble.
plus d'experts en VRAM, encore plus de token/s :o


 
Oui, je comprends pas trop comment ça marche cette limite. J'ai pas de desktop, mais ça foire quand je vais trop bas, il me semble je peux aller de 700 a 500, mais pas plus bas, j'irais bien 0 :o


---------------
Faudra que je teste un jour :o
n°54347
moyen_moin​s
chat réincarné
Posté le 22-10-2026 à 16:27:34  profilanswer
 

de base il gardait 1.5Go je crois, ça descend à 500Mo un truc du genre  
doit y avoir une quantité de vram réservée pour l'accélération GPU et le moteur de decode video.

n°54348
neo world
Posté le 22-10-2026 à 16:38:04  profilanswer
 

the_fennec a écrit :


 
Oui et non, ça devrait être une machine à 500 balles :(


Je suis plutôt d’accord. Après on est en 2026  [:billy-bob jambonbeur]

n°54350
moyen_moin​s
chat réincarné
Posté le 22-10-2026 à 16:50:32  profilanswer
 

nouveau MoE à tester : unsloth/flint-GGUF
quasi 40B, 2.5B actif par token

Citation :


 It is designed to investigate codebases, fix bugs, implement features, and write tests

n°54353
neo world
Posté le 22-10-2026 à 17:18:37  profilanswer
 

Gufo qui implémente le Yarn dans sa dernière mouture ! A moi le million de contexte sur flash next !  [:cretino]

n°54360
the_fennec
f3nn3cUs z3rd4
Posté le 22-10-2026 à 18:38:40  profilanswer
 

moyen_moins a écrit :

nouveau MoE à tester : unsloth/flint-GGUF
quasi 40B, 2.5B actif par token

Citation :


 It is designed to investigate codebases, fix bugs, implement features, and write tests



 
Intéressant, sur le papier il tient tête a Qwen 3.6 35B! (mais pas 3.8)
https://huggingface.co/RecursiveSI/flint


Message édité par the_fennec le 22-10-2026 à 18:39:01

---------------
Faudra que je teste un jour :o
n°54366
moyen_moin​s
chat réincarné
Posté le 22-10-2026 à 20:07:12  profilanswer
 

Je me méfie mais j'ai envie de tester.  :D
J'attends une màj de llama.cpp

 

edit: llama.cpp le prend en charge, je teste en ud3_k_xl sur le bc-250 :o


Message édité par moyen_moins le 23-10-2026 à 17:07:37
n°54410
moyen_moin​s
chat réincarné
Posté le 23-10-2026 à 15:19:15  profilanswer
 

Comparaison 27b vs 3.8 coder : https://youtu.be/xiMAxAQAfC4
27b pour moi.

n°54418
crazytiti
http://crazytiti.free.fr/
Posté le 23-10-2026 à 18:39:07  profilanswer
 

Salut  [:haltias]
J'ai mon strata Qwen3.8 sur ma rx9070 qui ne fait pas de vision car je suis sous windows.
J'utilise opencode, si je lui dit de ne pas utiliser de vision ça va.
Mais quelquefois j'oubli et donc j'ai un

Code :
  1. [strata] 400 invalid request: this server was started without the vision encoder (run setup again and choose 'vision'), so it cannot read images


qui se rapporte dans opencode :
https://rehost.diberie.com/Picture/Get/f/564331
Le truc c'est qu'après ma session opencode est bloqué, elle marche avec un autre model qui a du vision (les gratuits qui sont fournis) mais si je rebascule sur mon qwen j'ai toujours la même erreur.
Comment le faire sortir de cette impasse et ne pas perdre ma session ?
Nb : j'ai essayé de tout couper, rebooter et relancer => idem :sweat:

Message cité 1 fois
Message édité par crazytiti le 23-10-2026 à 18:41:50

---------------
Le PC est une drogue... Mes modèles 3D qui me rapportent des points :-D https://makerworld.com/fr/@crazytiti https://www.printables.com/fr/@Crazytiti_1456354
n°54449
moyen_moin​s
chat réincarné
Posté le 23-10-2026 à 20:46:44  profilanswer
 

crazytiti a écrit :

Salut  [:haltias]
J'ai mon strata Qwen3.8 sur ma rx9070 qui ne fait pas de vision car je suis sous windows.
J'utilise opencode, si je lui dit de ne pas utiliser de vision ça va.
Mais quelquefois j'oubli et donc j'ai un

Code :
  1. [strata] 400 invalid request: this server was started without the vision encoder (run setup again and choose 'vision'), so it cannot read images


qui se rapporte dans opencode :
https://rehost.diberie.com/Picture/Get/f/564331
Le truc c'est qu'après ma session opencode est bloqué, elle marche avec un autre model qui a du vision (les gratuits qui sont fournis) mais si je rebascule sur mon qwen j'ai toujours la même erreur.
Comment le faire sortir de cette impasse et ne pas perdre ma session ?
Nb : j'ai essayé de tout couper, rebooter et relancer => idem :sweat:


Dans ton modèle.json, doit falloir passer un args genre no-vision
Utilise un modèle gratuit pour te corriger le json.
Ça devrait mieux marcher après.
Edit: j'ai quasi la même config et j'ai pas ce souci.

 

De mon côté, j'ai quelques euros chez DeepSeek et je lui ai demandé qu'il me mette à jour le 0.1.45 en 0.1.48 sans l'application ni le terminal.
Ça a l'air de fonctionner après quelques tests.

 

J'ai vu qu'il y avait aussi une version non censurée du gsq rco mais DeepSeek me dit que ça peut faire foirer le tool calling. Venant d'un modèle "censuré"  :whistle:


Message édité par moyen_moins le 23-10-2026 à 20:47:33
n°54455
crazytiti
http://crazytiti.free.fr/
Posté le 23-10-2026 à 21:04:49  profilanswer
 

J'ai essayé avec l'option --vision no et --vision cpu (mais qui ne fonctionne pas d'après les sources officielles)
=> toujours pareil.
Mon problème c'est surtout qu'opencode ne dit pas "ok pas de vision on va faire autrement" il reste bloqué sur ce message dans la session en question (je peux ouvrir une autre session qui va marcher)


---------------
Le PC est une drogue... Mes modèles 3D qui me rapportent des points :-D https://makerworld.com/fr/@crazytiti https://www.printables.com/fr/@Crazytiti_1456354
n°54456
M300A
Posté le 23-10-2026 à 21:05:49  profilanswer
 

Dans ta config OpenCode tu dois indiquer que le modèle supporte la vision


---------------
:wq
n°54465
moyen_moin​s
chat réincarné
Posté le 23-10-2026 à 22:15:51  profilanswer
 

strat a dit :


strata launch --model iq3_s --vision off --no-tui
Dans ~/.config/opencode/opencode.jsonc, ton modèle strata déclare déjà :
"capabilities": { "tools": true, "input": ["text"], "output": ["text"] }
Donc OpenCode n'enverra jamais d'images à Strata — c'est le réglage qu'il fallait, il est déjà en place. Rien à changer de ce côté.
En résumé : le « non » à la vision se dit au lancement de Strata avec --vision off (ou --vision no au setup / suppression des deux éléments dans le JSON), et ton OpenCode est déjà configuré en conséquence.


Message édité par moyen_moins le 23-10-2026 à 22:17:30
n°54476
crazytiti
http://crazytiti.free.fr/
Posté le 23-10-2026 à 23:22:52  profilanswer
 

oui je n'ai pas "capabilities": { "tools": true, "input": ["text"], "output": ["text"] }

 

Mais chatgpt m'a dit de faire /undo dans opencode et effectivement ça permet de remonter dans le temps et de reprendre la demande en ajoutant "sans vision" :bounce:


Message édité par crazytiti le 24-10-2026 à 14:26:07

---------------
Le PC est une drogue... Mes modèles 3D qui me rapportent des points :-D https://makerworld.com/fr/@crazytiti https://www.printables.com/fr/@Crazytiti_1456354
n°54483
moyen_moin​s
chat réincarné
Posté le 24-10-2026 à 12:20:47  profilanswer
 

strata "compatible" deepseek flash.
bon, faudra pas être pressé par contre :o

n°54499
the_fennec
f3nn3cUs z3rd4
Posté le 24-10-2026 à 16:07:02  profilanswer
 

moyen_moins a écrit :

Comparaison 27b vs 3.8 coder : https://youtu.be/xiMAxAQAfC4
27b pour moi.


 
Il a aussi le même soucis que moi quand Strata s’arrête tout seul!


---------------
Faudra que je teste un jour :o
n°54505
the_fennec
f3nn3cUs z3rd4
Posté le 24-10-2026 à 16:35:13  profilanswer
 

ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017
https://www.reddit.com/r/LocalLLaMA [...] flash1017/
 
https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
 

Citation :


 At 2.00 bpw the model matches the base model on every benchmark evaluated. All numbers were measured at reasoning effort 50.

  • IQ1_M (1.75 bpw, 120.7 GB backbone): AIME25 100.00, GPQA-Diamond 88.38 against 90.91, LiveCodeBench v6 88.57 against 89.71. Task average 92.32, retaining 98.7%.
  • IQ2_XXS (2.00 bpw, 138.2 GB backbone): AIME25 100.00, GPQA-Diamond 90.91, LiveCodeBench v6 89.71, identical to the base model. Task average 93.54, 100.0% of the base.
  • IQ2_XS (2.25 bpw, 155.2 GB backbone): results to follow.


Running it
 
llama.cpp does not support DeepSeek-V4.1 yet, so the GGUFs do not run there for now. They run in Strata, which serves every build on a single NVIDIA GPU with 12 GB of VRAM, with a one-click installer and an OpenAI-compatible endpoint on localhost.  


 
ça donne envie d'upgrade :o


---------------
Faudra que je teste un jour :o
n°54510
saxou
:o
Posté le 24-10-2026 à 16:56:12  profilanswer
 

Hello ! Je ne trouve pas d’endroit où poser la question…
 
J’ai une machine suffisamment puissante pour générer des images en local, mais je rencontre quelques problèmes. Par exemple, Python 3.12 ou 3.13 ne semble pas être compatible, et Windows m’envoie bouler.  
 
Du coup, je me demande si ce serait pas mieux de faire ça sous Ubuntu plutôt que sous Windows ?


---------------
PSN: Saxou GT: Sax0u
n°54512
M300A
Posté le 24-10-2026 à 17:00:24  profilanswer
 

saxou a écrit :

Hello ! Je ne trouve pas d’endroit où poser la question…

 

J’ai une machine suffisamment puissante pour générer des images en local, mais je rencontre quelques problèmes. Par exemple, Python 3.12 ou 3.13 ne semble pas être compatible, et Windows m’envoie bouler.

 

Du coup, je me demande si ce serait pas mieux de faire ça sous Ubuntu plutôt que sous Windows ?

 

C'est une question sérieuse ?


---------------
:wq
n°54514
saxou
:o
Posté le 24-10-2026 à 17:01:28  profilanswer
 

Oui


---------------
PSN: Saxou GT: Sax0u
n°54518
the_fennec
f3nn3cUs z3rd4
Posté le 24-10-2026 à 17:39:23  profilanswer
 

saxou a écrit :

Hello ! Je ne trouve pas d’endroit où poser la question…
 
J’ai une machine suffisamment puissante pour générer des images en local, mais je rencontre quelques problèmes. Par exemple, Python 3.12 ou 3.13 ne semble pas être compatible, et Windows m’envoie bouler.  
 
Du coup, je me demande si ce serait pas mieux de faire ça sous Ubuntu plutôt que sous Windows ?


 
 
Python c'est toujours le bordel :o
https://xkcd.com/1987/
https://imgs.xkcd.com/comics/python_environment.png
 
 
Installe cette version:
https://www.python.org/ftp/python/3 [...] -amd64.exe
src: https://www.python.org/downloads/release/python-31317/
 
Ensuite ouvre une console cmd et fais:

Code :
  1. python --version


 
Si ça marche pas ou renvoie pas 3.13.17 c'est que tu as problème de path.
Tu veux installer quoi?
 
Avant de passer ma VM IA sous Debian; tout marchait bien sous Windows (IA et génération d'image).
 
N'oublie pas, sous Python, il faut toujours faire un venv et l'activer sinon c'est le bordel.


---------------
Faudra que je teste un jour :o
n°54520
saxou
:o
Posté le 24-10-2026 à 18:18:53  profilanswer
 

cest goooood jai généré ma premeire image.
 
Bon faut que je trouve des bon modeles à ajouter.


---------------
PSN: Saxou GT: Sax0u
n°54526
the_fennec
f3nn3cUs z3rd4
Posté le 24-10-2026 à 20:40:27  profilanswer
 

C'est quoi ta config? T'es sur ComfyUI?


---------------
Faudra que je teste un jour :o
n°54527
saxou
:o
Posté le 24-10-2026 à 20:54:12  profilanswer
 

9070 XT 32GO de ddr. oui comfyui!


---------------
PSN: Saxou GT: Sax0u
n°54547
Tronklou
❤❤ Vrp Bambulab à mi-temps ❤❤
Posté le 25-10-2026 à 10:19:12  profilanswer
 

https://github.com/Zagitta/gpu-unlock

 

Et idem pour les 4xxx  :D


---------------
Victime de girafophobie, mais se soigne.
n°54548
saxou
:o
Posté le 25-10-2026 à 10:46:49  profilanswer
 

Ca existe pour AMD ca ? :o


---------------
PSN: Saxou GT: Sax0u
n°54552
the_fennec
f3nn3cUs z3rd4
Posté le 25-10-2026 à 11:44:11  profilanswer
 


 
 :love:  
https://github.com/JustAResearcher/gpu-unlock-ada
 
Faut que je teste ça :o


---------------
Faudra que je teste un jour :o
n°54565
moyen_moin​s
chat réincarné
Posté le 25-10-2026 à 14:10:03  profilanswer
 


[:xp1700]

saxou a écrit :

Ca existe pour AMD ca ? :o


si seulement... et encore, c'est moins pire qu'avant côté AMD je trouve, il y a 2-3 mois, c'était support minimal.

n°54569
moyen_moin​s
chat réincarné
Posté le 25-10-2026 à 14:40:10  profilanswer
 

J'ai testé la R9700 en pcie 4.0 16x et la 9070XT en pcie 3.0 2x en helper : pas rentable, le pcie 3.0 ralentit trop les échanges.
Semaine prochaine, je m'occupe de changer cette carte mère.
le prefill 32K qui passe à 1000t/s+ alors qu'avant ça plafonnait à 270... [:ocube]

 

edit: même le decode il fait +30% [:ocube]²²


Message édité par moyen_moins le 25-10-2026 à 14:47:15
n°54586
alanou
Remembering M.P.
Posté le 25-10-2026 à 18:50:20  profilanswer
 

https://img3.super-h.fr/images/2026/10/25/snapshot_969742110153943165.jpg
 
Build complete  :o  
 
Asrock rack Romed8-2t
Epyc 7F52 (8 CCD)
8 x 64 Go ECC 3200
4 x CMP 170 Hx 8 Go, unlock 64 Go
2 x 1 To nvme  
Noctua U9 SP3
Alim Corsair WS3000
Boîtier FSP U500 (par dépit car aucune dispo sur les Phanteks Enthoo Pro 2)
Ventilation ducts et plenums maison imprimés 3D, 2 Arctic S12038-4k contrôlés par un Corsair Commander Pro
 
Je commence les tests demain  :jap:


Message édité par alanou le 25-10-2026 à 18:51:02

---------------
Bolidage tête rouge - ateliers certifiés ISO0069
 Page :   1  2  3  4  5  ..  85  86  87  88  89  90
Page Suivante

Aller à :
Ajouter une réponse
 

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & cosécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux


Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)