Reprise du message précédent :

 
Perso j'utilise Unsloth : https://github.com/unslothai/unsloth
Il est connu pour son fine tuning de modèle mais il fait très bien ce que tu demandes :
- tu l'installes
- tu choisis un modèle (il y a moyen de lui demander les modèles qui tiennent sur ta config et tu auras un boule verte, un "tight" ou un "OOM" (out of memory))
- tu attends qu'il d/l le modèle
- tu peux jouer avec
 
Je n'utilise pas LM, donc je ne peux pas comparer, mais Unsloth est à ma connaissance open-source si c'est un critère.
 
Il est encore en beta et les mises à jour sont fréquentes. Mais il tourne bien.

 
Pour du chat ça ira, après c'est plus chaut si tu veux faire du code, utiliser Openclaw ou Hermess
 
Pour le dimensionnement il y a deux cas:
* modèle dense, genre Qwen 27B, Muse ou Gemma 31B: tout doit tenir dans tes 8Go y compris le contexte.
* modèle MoE, genre Qwen 35B ou Gemma 24B, tu peux mettre des bouts en VRAM (le plus le mieux) et le reste en RAM.
 
Tu devras utiliser des modèle quantifiés (compressés) GGUF, tu peux essayer Gemma 12B "qat" pour commencer:
https://huggingface.co/unsloth/gemma-4-12B-it-qat-GGUF
 
Ensuite selon ce que tu veux vraiment faire, tu pourras essayer d'utiliser des modèles ou outils plus spécialisés.
 
Il ya plein de choix pour faire tourner le modèle. Unsloth Studio est nouveau et semble bien.
 
Perso je préfère utiliser llama.cpp directement, prends le zip "Windows x64 (Vulkan)" met le fichier de modèle et lance en utilisant la commande:
https://unsloth.ai/docs/models/gemm [...] deployment
https://github.com/ggml-org/llama.cpp/releases
 
Ensuite si ça marche et que ça te plais tu pourras essayer d'installer CUDA pour aller plus vite.

Mais du coup la démarche qui consiste à maximiser le modèle selon son GPU (voire à stocker un peu en RAM)
C'est différent de sizer le LLM par rapport à un besoin.

Est ce qu'on a des abaques sur les capacités d'un 30B Q4 vs autre chose.

Comment rendre tangibles les capacité d'un modèle donné pour pouvoir humainement choisir le bon ?
Genre Twingo ou 4x4 ou Ferrari Mais pour faire quoi

 
800 tu es gentil. Ca se vend 1200 euros. 800 c'etait y'a 6-8 mois.

 
Moi ce qui m'a aidé c'est de savoir que certains modèles sont dédiés à la vision (analyse d'images), d'autres au texte pur, d'autres font les deux, certains ne font que de la création d'images...
 
Quand à la "qualité", j'ai pris le parti d'en télécharger quelques-uns (Gemma 4 petit, le 26B MoE, un petit qwen de 0,8 B, le dernier qwen, un modèle dédié vision de chez qwen...) et je teste.
 
Pas sûr d'avoir trouvé le "meilleur" modèle qui fait un peu tout. Peut-être que qwen est moins con que Gemma, mais de toutes façons en petits modèles pour nos petites machines (j'ai une 16GB), on ne va pas atteindre le raisonnement d'un cloud (je laisse aux autres le soin de me contredire )

ça chauffe dur ces bc-250...

 
Il y a beaucoup de manuel et de subjectif dans la sélection de modèles. Ça dépends beaucoup de ce que tu veux réellement faire. De plus, beaucoup d'articles/vidéos/posts conseillent des trucs, juste pour faire du click et ne l'utilise pas vraiment derrière. Pareil pour ceux qui parlent d'Openclaw/Hermes en local, en réalité ils utilisent tous un modèle cloud...
 
Quelques conseils:
1 - Utiliser des modèles de base, genre Qwen, Gemma, Muse, etc.
2 - Prendre des modèles bien quantifiés: Unsloth est très bon.
3 - Utiliser des outils simple, llama.cpp
4 - Fais marcher ta config simplement, tu verras plus tard pour le reste...
 

 
En effet j'ai du repasser l'une des deux en 24CU car elle plantait au bout d'un moment.

 
Sur LBC et Vinted on trouve encore quelques exemplaires autours des 800 balles, sur eBay il y a eu des ventes à moins de mille balles dans l'été mais oui, ça peut partir autour des 1200 €, voir plus.
 
Si c'est uniquement pour les 24 GB de VRAM et animer un LLM à la maison, autant regarder du côté d'une Arc Pro B65, il y a 32 GB de VRAM et une garantie d'au moins deux ans. Alors oui, y'a pas CUDA.

j'ai pas ouvert les ailettes, j'ai mis un 120mm qui souffle dans les ailettes  via un adaptateur imprimé en 3d mais pas assez de pression, j'en ai rajouté un qui souffle sur les ailettes mais tant que c'est pas ouvert, ça sert à pas grand chose
105W de conso rien que dans le bios ...

 
 
 
Dans LM STUDIO puis dans My Model (CTRL +3 pour le modèle sélectionné, dans le bandeau vertical en haut à droite clic sur <> Loald Model.
 
 
ça affiche ce menu:  
 

 
 
Reste en 8192 Tokens, en CPU reste en 4 Threads car plus haut c'est plus lent et la concurence Threads CPU et déchargement GPU, l'IA devient débile même pour un truc simple, c'est à cause du nombre de threads CPU donc le plus bas possible.
Après, il faut trouver des réglages afin que l'IA ne tourne pas dans une boucle de raisonnement, et aussi ne bouffe pas ses Tokens inutilement en étant trop bavarde.
 
Le déchargement GPU à une énormé insidence sur la quantité de VRAM utilié, le nombre de Tokens aussi, augmenté Thread CPU décharge la VRAM du GPU vers la mémoire central au prix d'être débile.
 
Thread CPU sur la version Terminal de Llama Server c'est l'option -t suivie du nombre de Threads à alouer au moteur Llama.cpp.
Déchargement GPU correspond à -ngl suivit d'un nombre de 0 à 99 dans la version Terminal.
 
ça ressemble à ceci:

 
ou encore à ceci:
 

 
 
 
 
Tu devrais avoir un nombre de Tokens entre 16 Tokens par seconde et 24 Tokens par seconde, plus c'est haut mieux c'est, en texte seul c'est surtout la quantité de VRAM qui limite la puissance plus que le GPU.
 

Je lurk toujours une rtx pro 4500 32Gb

 
Pareil, j'ai un Artic pro 12 mais ça suffit pas sur celle-la, l'autre ça passe. Après j'ai pas repast et ya aussi la loterie, les APUs sont pas passé pour une PS5, ya bien une raison.  
 

 
Et moi une 170hx a 200 balles

You can offload most of Qwen3.8-Flash-Next's KV cache to RAM with little decode slowdown
https://www.reddit.com/r/LocalLLaMA [...] _kv_cache/
 
^ sur vLLM
 

 
   
 
Faut que je grate ce sujet!
 
A voir aussi:
[Release] SOTA GGUFs for Qwen3.8-Flash-Next: GSQ-RCO Providing Near Baseline Performance
https://www.reddit.com/r/LocalLLaMA [...] xt_gsqrco/
 
https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
 

 
Je DL le IQ3_XXS, mais le Q2 pourrait valoir le coup aussi!

On verra mais sur AE, je pense pas avoir acheté la crème...

²²²

 
T'as bien découpé les ailettes ?

j'attends ton tuto

 
Non, je pense pas le faire. D'ailleurs les températures sont bien meilleures dans le boîtier imprimé qu'a l'air libre. Je dois toujours modifier le STL pour que ça soit plus propre...
 

 
ça vient

Oé enfin si c'est pour remplacer des GPUs a 10k par des barrettes de RAM à 4k l'unité, on avance pas des masses  

le coup du KV cache en RAM c'est sur VLLM
 

VLLM c'est un truc d'homme  

C'est pas pour ceux qui ont des petits GPUs

Bon, là j'en ai marre j'en suis à plus de 40 itérations de la simple recopie d'une bête forme géométrique somme toute assez simple.
Déjà que d'habitude ça lui prend entre 20 et 48 minutes pour faire de la merde, mais là c'est pire que tous.
 
Je ne suis certes pas un génie en prompting, j'en suis même sûrement très très loin y a des notions que je me maitrise pas, surtout pour des modèles Locaux et sûrement qu'il y a un truc qui m'échappe, mais là j'abandonne !!!
 
 
Il y a juste la forme géométrique à recopier avec le fond blanc:
 
https://www.dropbox.com/scl/fi/p3ln [...] je060&dl=1
 
Et il me pond ceci:
 
https://www.dropbox.com/scl/fi/ihod [...] pxp0l&dl=1
 
 

 
 
Donc je pense que:
 

 
 
Je crois que le pire c'est que c'est bien pire qu'avec les ancienne version à la fois de LM STUDIO et du moteur Llama.cpp
 
Avant, il y arrivait presque bon ça lui prenait entre 20 minutes et une heure, mais c'était passable:
 
https://www.dropbox.com/scl/fi/t04e [...] mrcd5&dl=1
 
https://www.dropbox.com/scl/fi/392p [...] rmo9t&dl=1

 
Un truc de riche, il lui faut plus de VRAM et pas moyen de panacher, genre Windows, Linux, ReactOS, Vulkan, COBOL

 
Un LLM n'a pas la notion de 3D/2D ou géométrie, la vision peut extraire des tags/notions mais il n'y pas de lien logique entre ce que tu vois et le SVG.
 
Pour y arriver il te faut une boucle comme en programmation (étape 4 serait compilation/tests):
1 - vision de l'image
2 - generation du svg
3 - generation de l'image du svg
4 - comparaison: est-ce que l'image du SVG est assez similaire?
5 - oui -> exit; non -> boucle en 1
 
Idéalement il faut utiliser un MCP ou une skill/outil dédiée a la génération de SVG.

LLM sur ReactOS avec une matrox mystique émulée  

bon, configuration du bc-250 en cours.
dès que le bc-250 seul fonctionne, je teste avec le gpu en plus

edit: test rapide
Qwen3.5-9B Q4_K_M | Vulkan | pp512 : 271 tok/s  |  tg128 : 44,9 tok/s
Qwen3.5-35B-A3B IQ2_M (10,6 GiB) | pp512 : 365 tok/s | tg128 : 77,7 tok/s

 
+une paire de Voodoo 2 en SLI pour l'inférence

 
  ça marche! T'es en 24CU?

manque le DRAM disk
 

 
 
Ca fera très moderne avec un bi P3. Facilement un token toutes les 10 minutes

j'étais en 24 CU ouais.
là, ça refait une tentative mais avec 40 CU.
par contre, j'arrive pas à gratter encore de la VRAM, ça échoue

Ça a existé ça ? Jamais vu

Ceci dit j'ai vu passer que Facebook avait bricolé un adapteur PCI-E DDR4 pour ajouter de la ram sur les serveurs DDR5 faute de dispos

 
T'es a combien en VRAM?
 
Perso j'ai ça pour grub:

 
Ça me permet de monter assez haut, 15GB grand max, mais la limite est fine entre le max et le kernel qui tue le process.
 
Autrement j'ai ça dans mon script pour lancer llama.cpp:

 
Ya plein de trucs commentés mais ça peut te donner des idées peut être.
 
T'as quoi qui tourne en background?

Hop !
Triss est passé en mode agent, et gère la comm avec Cline sur Vscode
évidement en local, et en vocal...
Ah, vous noterez que Cline peut continuer a overthink tant qu'il veut, pendant que je cause et contrôle son status en papotant avec Triss  

C'est le Qwen 3.8 27B qui fait les deux
https://youtu.be/IzPfxbHqfqU

Les 14Go sont bien là, fallait faire un cold boot.
Par contre pour le moment, pas de RX6700 visible.

Installation très propre

oui mais la RX6700 est là  

edit: c'est juste un peu lent de charger les modèles par l'usb3

J'approuve l'install
 
Il dit quoi lspci?

le prof en train de bench l'ia pour corriger les copies a sa place  

 

 
FTFY

Uhuhu Enfoiré