Forum | HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop

3280 connectés

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM Locaux

Recherche :

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 43 44 45 .. 60 61 62 63 64 65 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Infra IA : aide au choix et troubleshot de LLM Locaux

n°46169

the_fennec

f3nn3cUs z3rd4

Reprise du message précédent :
Qwen 3.8 27B Quantizations Q1 - Q8 compared
Luke's Dev Lab
https://www.youtube.com/watch?v=WNMnbba35VI

Il teste la création d'une board Kanban, une lampe sous Blender et un un jeu dans Godot!
TL;DR: Q2 est viable en code, Blender/Godot Q4 au moins.

---------------
Faudra que je teste un jour :o

n°46170

neo world

T’es une mine d’or à chaîne YouTube

n°46174

the_fennec

f3nn3cUs z3rd4

Merci l'algo Youtube

---------------
Faudra que je teste un jour :o

n°46175

moyen_moins

chat réincarné

Je suis vraiment surpris des résultats en Q2 XL.
Vraiment, pour 9Go, on commence à pouvoir faire des trucs.

Message cité 1 fois

n°46179

neo world

https://buzz.xyz/
https://github.com/block/buzz
https://next.ink/brief-article/buzz [...] ck-dorsey/

Et dans un autre registre :
https://github.com/block/berd

faudra que je test un jour

Message édité par neo world le 24-08-2026 à 22:03:47

n°46180

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

neo world a écrit :

[:gidoin] C'est une fois tous les 30 ans qu'Apple est vaguement compétitif dans ses prix. Faut pas louper le créneau

Je parlais a moyen_moins, nos message se sont croisés :sweat:

Je voulais dire qu'entre son usage de lm studio, windows, des riser en pcie x1 ou a peine mieux... c'était juste pas étonnant que ca marche juste pas :whistle:

---------------
Victime de girafophobie, mais se soigne.

n°46187

moyen_moins

chat réincarné

Ça plante pas
Mais les perfs en token/e c'est ps ouf. Mais j'ai de la VRAM :whistle:

n°46190

moyen_moins

chat réincarné

Big Blue a écrit :

https://rehost.diberie.com/Picture/Get/f/538333

J'ai pas OC comme sur SteamOS, c'est pas plus mal, j'avais des problèmes d'instabilité, niveau mémoire par contre c'est top, je suis entrain à l'aise avec 262k de contexte :love:

On va tenter IQ2_M +192k, ça devrait être mieux

c'était quel version du modèle que t'as essayé ?
en bartowski, le iq2_xs est déjà à 11.3Go. :??:

Message cité 1 fois

n°46195

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

Je suis vraiment surpris des résultats en Q2 XL.
Vraiment, pour 9Go, on commence à pouvoir faire des trucs.

Oui, il faut pas hésiter a tester des petits quants, c'est mieux que rien. Il me semble avoir eu de "bons" résultat avec Qwen3-Coder-Next-UD-IQ2_XXS il y a longtemps.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46196

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

c'était quel version du modèle que t'as essayé ?
en bartowski, le iq2_xs est déjà à 11.3Go. :??:

Chez Unsloth UD-Q2_K_XL fait 10GB et sinon il avait parlé d'abliterated, il y a un IQ2_M de 10.3GB ici:
https://huggingface.co/HauhauCS/Qwe [...] e-MTP-GGUF

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46197

neo world

Qwen 3.8 obliterated est sorti hier.

Étonnamment résistant aux hallucinations. les paramètres de chargement de modèle aident aussi beaucoup à gagner en rapidité vs le modèle de base. Bonne cuvée

pour les intéressés y'a un paramétrage spécifique pour les long running agents

Message cité 1 fois
Message édité par neo world le 25-08-2026 à 09:43:35

n°46205

the_fennec

f3nn3cUs z3rd4

C'est celui-la?
https://huggingface.co/OBLITERATUS/ [...] BLITERATED

Ya quand même pas mal de settings changés:

Citation :

temperature 0 Greedy decoding produces the most complete, code-rich outputs. Temps above 0.5 degrade quality significantly.
enable_thinking OFF (recommended) V3's chat template includes a prefill that skips the thinking chain. Thinking ON works but may produce longer responses. Thinking OFF gives the most direct, substance-rich answers.
...

Agentic / Long-Context Use
temperature 0.1–0.3 Slight randomness helps break deterministic loops. Pure greedy (0.0) can get stuck.

Je pense que le fait d'avoir besoin d'une température aussi basse signifie que le modèle est bien (trop) altéré. Ça risque d’entraîner des boucles logique sur les longs process...

Mais bon, m'en fout, je fais pas de RP

---------------
Faudra que je teste un jour :o

n°46206

neo world

ben sur les petits tests que j'ai fait avec lui (en mode chat) il m'a convaincu

Toujours en train de monter le reste de l'infra donc pas d'agentique digne de ce nom encore :pt1cable:

Message cité 1 fois

n°46208

moyen_moins

chat réincarné

the_fennec a écrit :

Oui, il faut pas hésiter a tester des petits quants, c'est mieux que rien. Il me semble avoir eu de "bons" résultat avec Qwen3-Coder-Next-UD-IQ2_XXS il y a longtemps.

J'avais testé pas mal de versions de qwen coder next et sur pas mal de prompts, je récupérais pas toujours du code fonctionnel en dessous de Q4. C'était pas les versions UD ceci dit.

the_fennec a écrit :

Chez Unsloth UD-Q2_K_XL fait 10GB et sinon il avait parlé d'abliterated, il y a un IQ2_M de 10.3GB ici:
https://huggingface.co/HauhauCS/Qwe [...] e-MTP-GGUF

C'est sans le MTP je suppose ?

Message cité 1 fois

n°46211

the_fennec

f3nn3cUs z3rd4

moyen_moins a écrit :

J'avais testé pas mal de versions de qwen coder next et sur pas mal de prompts, je récupérais pas toujours du code fonctionnel en dessous de Q4. C'était pas les versions UD ceci dit.

C'était avant Qwen 3.5 et 35B/27B, j'avais moins d'exigences Maintenant ce modèle n'a plus d’intérêt je pense.

moyen_moins a écrit :

C'est sans le MTP je suppose ?

Oui, le MTP est a coté pour un peu plus de 900MB.

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46212

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

ben sur les petits tests que j'ai fait avec lui (en mode chat) il m'a convaincu

Toujours en train de monter le reste de l'infra donc pas d'agentique digne de ce nom encore :pt1cable:

On verra hors contexte hyperscaler RP/pron

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46213

neo world

the_fennec a écrit :

On verra hors contexte hyperscaler RP/pron

y'a la secu aussi :jap:

Message cité 1 fois

n°46214

the_fennec

f3nn3cUs z3rd4

Je viens me me commander un Ryzen 5 5650GE sur Ali pour remplacer mon 3600. Je vais tenter un passthrough iGPU pour ma VM Windows, et ainsi libérer la 4060Ti pour une VM dédiée!
Passer a un 35W TGP ne fera pas de mal pour la conso de mon server Ça et les 32GB de DDR4 pour passer a 64GB, je vais être le roi du pétrole!

---------------
Faudra que je teste un jour :o

n°46215

neo world

pas mal, on a toujours pas eu la photo dubazard en dehors des bc250 [:-lilith-]

Message cité 1 fois

n°46216

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

y'a la secu aussi :jap:

Je suis intéressé :jap: j'ai l'impression que la décompilation de firmware est un peu bridée.
Je voudrais aussi trouver des exploits sur un petit drone DJI Tello qui traîne dans un tiroir.

---------------
Faudra que je teste un jour :o

n°46217

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

pas mal, on a toujours pas eu la photo dubazard en dehors des bc250 [:-lilith-]

Il me semble en avoir posté il y a un moment, mais en voila des relativement fraîches:

Le server avec la carte 10G avant que je la crame

En situation, avec les BC250 sur la droite un peu moins en vrac. J'ai penser les mettre dans un HP NL54 qui traine, mais trop compliqué.

Si vous vous demandez ce qu'est le gros tuyau sur la droite, c'est une découpeuse laser, et sur le coté une P1S AMS.

---------------
Faudra que je teste un jour :o

n°46221

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

Les vrais ont des bambulab [:couscous_jambon_beur]

Message cité 1 fois

---------------
Victime de girafophobie, mais se soigne.

n°46222

neo world

[:theredled]

moi je prends en l'état

Message cité 1 fois

n°46224

moyen_moins

chat réincarné

the_fennec a écrit :

C'était avant Qwen 3.5 et 35B/27B, j'avais moins d'exigences Maintenant ce modèle n'a plus d’intérêt je pense.

pareil, je n'utilise quasiment plus.

the_fennec a écrit :

Oui, le MTP est a coté pour un peu plus de 900MB.

pour du MoE c'est déjà moins "grave". :jap:

edit: c'est pas du MoE [:paysan]

Message édité par moyen_moins le 25-08-2026 à 13:57:58

n°46229

the_fennec

f3nn3cUs z3rd4

Tronklou a écrit :

Les vrais ont des bambulab [:couscous_jambon_beur]

:jap:

neo world a écrit :

[:theredled]

moi je prends en l'état

Tu prends quoi, contre quoi?

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46230

croustx

Modoadorateur

neo world a écrit :

Qwen 3.8 obliterated est sorti hier.

Étonnamment résistant aux hallucinations. les paramètres de chargement de modèle aident aussi beaucoup à gagner en rapidité vs le modèle de base. Bonne cuvée

pour les intéressés y'a un paramétrage spécifique pour les long running agents

Heu moi je l'ai depuis une semaine

n°46232

the_fennec

f3nn3cUs z3rd4

Faut pas hésiter a partager les liens HF et les retours

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46233

neo world

the_fennec a écrit :

:jap:

the_fennec a écrit :

Tu prends quoi, contre quoi?

p'têtre un accès à l'imprimante 3D contre une pinthe / verre de soft ou d'alcool plus ou moins fort ?

Message cité 1 fois

n°46237

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

p'têtre un accès à l'imprimante 3D contre une pinthe / verre de soft ou d'alcool plus ou moins fort ?

ça peut se faire, c'est juste que je dois être a 600 bornes de toi (Finistère)

---------------
Faudra que je teste un jour :o

n°46238

neo world

ecoute je note de prioriser la Bretagne dans les prochaines années pour les vacances et j'te dis

n°46239

the_fennec

f3nn3cUs z3rd4

Au moins tu seras "au frais"

---------------
Faudra que je teste un jour :o

n°46240

neo world

C'est pas ce que j'ai entendu cet été

Message cité 1 fois

n°46241

the_fennec

f3nn3cUs z3rd4

Nouveaux Macs:
https://www.apple.com/fr/mac-studio/
https://www.apple.com/fr/mac-mini/

Un chouilla d'emphase sur l'IA et le prix

Message cité 1 fois

---------------
Faudra que je teste un jour :o

n°46242

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

C'est pas ce que j'ai entendu cet été

On a eu chaud, mais ça devait être bien pire dans d'autres régions en France je pense. Au moins il y a du vent et la mer pour se rafraîchir.
Bon j'ai quand même arrêté mes BC250 quelques jours

Message cité 1 fois
Message édité par the_fennec le 25-08-2026 à 16:48:31

---------------
Faudra que je teste un jour :o

n°46243

neo world

12500€ la version 256GB avec un disque de 1TB

a version 512 "Option de mémoire à 512 Go pour la M5 Ultra disponible fin octobre"

Le pire c'est que c'est compétitif [:pikitfleur:4]

n°46245

neo world

the_fennec a écrit :

On a eu chaud, mais ça devait être bien pire dans d'autres régions en France je pense. Au moins il y a du vent et la mer pour se rafraîchir.
Bon j'ai quand même arrêté mes BC250 quelques jours

j'ai rien arreté du tout. c'était tropical au sous sol

n°46246

the_fennec

f3nn3cUs z3rd4

Le m6 est bloqué a 32GB pour 1500 balles.

12k :pt1cable: au moins le double pour la version 512 :ouch:

ça va devenir plus rentable de faire sa RAM a la maison ...

Le tuto pour ceux que ça intéresse:
https://www.youtube.com/watch?v=h6GWikWlAQA

Spoiler :

il fait 16 bits il me semble

La vidéo d'après c'est pour le RGB DIY :love:

---------------
Faudra que je teste un jour :o

n°46248

neo world

bon Kimi K3 UD-Q4_K_XL en cours de téléchargement. Souhaitez moi bonne chance

Message cité 1 fois

n°46249

Tronklou

❤❤ Vrp Bambulab à mi-temps ❤❤

Finalement des 2080ti 22gb ou des mi50 c'est lowcost

---------------
Victime de girafophobie, mais se soigne.

n°46251

the_fennec

f3nn3cUs z3rd4

neo world a écrit :

bon Kimi K3 UD-Q4_K_XL en cours de téléchargement. Souhaitez moi bonne chance

1.5TB c'est pour de l'archivage?

---------------
Faudra que je teste un jour :o

n°46254

neo world

Nope ce soir ça tournera sur le strix halo via colibri :jap:

Page : 1 2 3 4 5 .. 43 44 45 .. 60 61 62 63 64 65

Page Précédente

Ajouter une réponse

FORUM HardWare.fr

Intelligence Artificielle

Infra IA : aide au choix et troubleshot de LLM Locaux

Sujets relatifs
[Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co	sécurité de l'IA / agentique et des Devs en roue libre
Plus de sujets relatifs à : Infra IA : aide au choix et troubleshot de LLM Locaux

Forum MesDiscussions.Net, Version 2010.2
(c) 2000-2011 Doctissimo

Page générée en 0.075 secondes

Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)