Reprise du message précédent :
Certains utilisent ici kolboldCpp ?  
 
Parce que je trouve étonnant qu'il n'ait pas plus de succès vu tout ce qu'il peut faire en local.  
Je suis tombé dessus un peu par hasard au départ, parce que je cherchais surtout une solution qui fonctionne avec ma première config assez particulière. J’avais essayé pas mal de trucs avant, avec des résultats plus ou moins convaincants. C'est le seul à pourvoir exploiter CUDA/VULCAN de manière très simple et efficacement pour un débutant comme moi.    
 
C'est qu'au fil des semaines que j'ai découvert toutes ses fonctionnalités. Son interface web est aussi bourrée de fonctionnalité,  mais le design est très moche, je trouve..  
 
https://img3.super-h.fr/images/2026 [...] 065076.png
 
C'est bien simple, il peut tout faire. Petit à petit, j’ai découvert le côté vision, images, audio, Whisper, TTS, puis les embeddings, les outils, MCP, etc. Certaines choses restent encore assez mystérieuses pour moi...  
 
Je me suis également rendu compte que j’étais complètement passé à côté de la Wiki, qui m’aurait probablement permis de comprendre beaucoup plus simplement et surtout rapidement le fonctionnement de l’ensemble.
 
Et maintenant je découvre même les deux packs tout-en-un qui permettent de réunir plusieurs de ces fonctions avec des modèles déjà préparés.  
PackV2:
https://img3.super-h.fr/images/2026 [...] ot_711.png
 
Tout passe par des fichiers de modèles que KoboldCpp sait gérer, principalement des .GGUF ou des .bin. Pas besoin d’installer Whisper à part, de monter un serveur TTS séparé ou de faire communiquer une multitude de logiciels entre eux.  Je peux même faire des recherches Web une fois configurer le MCP.  
Et franchement, je trouve ça assez incroyable de pouvoir générer des images, parler avec l’IA, lui faire écouter de l’audio, utiliser la vision, le tout au même endroit, avec une configuration qui est loin d’être puissante.  
 
https://img3.super-h.fr/images/2026 [...] 710.th.pnghttps://img3.super-h.fr/images/2026 [...] 709.th.pnghttps://img3.super-h.fr/images/2026 [...] 708.th.pnghttps://img3.super-h.fr/images/2026 [...] 707.th.png
 

Bon lm studio sur cpu, avec deux xeon silver 4114 en avx2 et 96Gb de DDR4 2400
 
Qwen3.8-27b@q6_k_m
 
C'est lent, moins de 2T/s

 
Perso je reste sur llama.cpp car j'ai les updates bien plus vite et ya pas de bidouilles spéciales a faire en plus. Si un nouveau modèle ou une nouvelle fonctionnalité sort, je me pose pas de questions, il marchera d'abord sur llama.cpp. De plus ça me permet d'utiliser le max de mémoire, rien de gâché avec des UI ou fonctionnalités que j'utilise pas. Dernier point, j'ai 3 machines, donc support RPC obligatoire.
 

 
C'est pas mal pour du CPU!
essaye ik_llama.cpp il a des tunings CPU

Je vais chercher le carton avec la paire de xeon gold 6138 que j'avais pris pour l'upgrade, et lui coller 192Go de ram de plus voir.

Bon j'ai passé mon WE a tester Qwen3.8-Flash-Next-GSQ-RCO-GGUF:
https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
 
J'ai testé Q2_0 et IQ3_XXS.
Après pas mal de tuning j'arrive a mettre l'un et l'autre a 100% en VRAM,  
 
Q2_0 => 90/s en PP et 16/s en TG
IQ3_XXS => 80/s et 9/s
 
Mais après plusieurs heures de processing le IQ3_XXS s'est mis a boucler et juste générer des ////
 
Donc retour aux valeurs sure et Unsloth

 
Manque plus que des GPU
 

 
J'ai une 1650 Super 4GB si tu veux

Na c'est juste pour des tests, au pire j'ai une 2080 dans mon pc et les bc250

Vieux proliant ?

 
ML350 gen10
 
Il me manque 3 stick de 16Go pour avoir 2x196Go, c'est beaucoup mais ça permet de tester avec plus de ram sur un seul noeud numa.
 
J'attends aussi une carte pcie vers nvme x4 pour mettre les modèles sur du ssd rapide en raid 0 software (j'ai des 256...), actuellement je suis sur un raid de disques sas 10k.
 
En tous cas je trouve que les réponses avec des gros modèles sont sympa, en restant cohérentes sur des réponses longues, c'est juste très lent    

Un autre Qwen 3.8 en Q4 qui tient en 12.9gb - ce qui permet avec 16gb de VRAM d'avoir un context bien plus large - je teste avec context_size=120000. Plus lent (27 à 40 tk/s) que Qwen3.8-27B-Uncensored-IQ4_XS_4BPW.gguf (45 à 60 tk/s), mais beaucoup moins de phase de compression du contexte. A voir si ce n'est pas plus efficace au final...
 
https://huggingface.co/hitsfmdj/Qwe [...] .2BPW-16GB

Si tu as besoin de ce contexte c’est très bien mais note que la compression sera moins fréquente mais plus longue avec un gros contexte et sur le pre processing sera plus long à chaque fois que ça ne tombe pas en cache

Après l'avoir testé rapidement, je le trouve plus con que Qwen3.8-27B-Uncensored-IQ4_XS_4BPW, partant dans des modifications non nécessaires et n'ayant rien à voir avec le problème. Il a imaginé un bug et est parti s'entêter dans un coin de ma code base qui n'avait rien à voir.
Je reste sur Qwen3.8-27B-Uncensored-IQ4_XS_4BPW avec un contexte de 62k.

Pour ceux que ça intéresse, voici le lien vers le Diagramme de Llama.cpp: https://gitdiagram.com/ggml-org/llama.cpp

 
Si tu veux tu peux tester --no-kv-offload qui mets le KV cache en RAM au lieu de VRAM. Chez moi ça je perds un bin tier en PP (90->60) sur Qwen Next, mais ça peut le faire si tu as de la RAM rapide. Tu peux peut être rattraper en augmentant le -ub et si t'as plein de RAM essayer le KV non compressé.

bon, finalement, qwen 3.8 27B gsq rco m'a fait des trucs assez moyens avec le mode de réflexion en LOW
faudrait que je recommence en mettant peut être MEDIUM mais flemme (déjà 10h+ de génération de tokens en LOW à 25t/s de moyenne et du pp à 300t/s)
faudrait vraiment qu'une boite propose une carte dédiée inférence avec 48Go de mémoire et une BP pas ridicule (entre une 4090 et une 5090 pour "limiter" l'envolée des prix)

Bon, halogen pour strix a sauve mon espoir dans cette machine ! Ca marche vraiment bien :-)

Pas mal de gens se sont plains sur HF de ça et le gars a répondu que le tuning n'est fait que en xhigh. J'ai eu des soucis avec son Qwen Next, je repasse sur Unsloth. Au final pas de miracle, il vaut mieux rester sur des providers fiables pour pas perdre son temps.

oui, fallait que la communauté fasse encore des miracles mais c'est vraiment une super nouvelle

Faudrait que je tente un iq4xs (j'ai besoin de contexte mais pas envie que le truc soit brain dead sur les "connaissances" ) mais les dernières releases unsloth marchaient pas chez moi, je les avais un peu laissé de côté. le Q4+ d'atomic chat semblait pas mal mais lent.

 
Il est un peux moins débile, mais lent:
 
Voir les options:

 
L'image:
 
Le prompte:

 
Résulat du SVG par l'IA:
 

 
https://www.dropbox.com/scl/fi/u618 [...] 5cxzg&dl=1
 
On y est presque.

 
Atomic chat, pareil que GSQ RCO en pire, au final pour arriver a un Q4 qui fait la taille d'un Q2, tout est en Q2 dedans sauf deux tensors. Au bout d'un moment j'avais des boucles de //// dans le thinking.
 
C'est quoi qui n'allait pas avec Unsloth? T'est sur llama.cpp?

j'avais des "the model has nothing to say" bien que le modèle se chargeait comme il fallait.
j'ai pas testé avec llama.cpp directement mais avec lmstudio (flemme ) ça merdait.
et leur truc d'inférence à unsloth là, j'aimais pas

edit: on tombe sur de ces trucs sur hugginface => https://huggingface.co/Atomic-Germ/ [...] 17.8B-GGUF

Nouveau Mini-PC MSI sous NVIDIA RTX Spark : le EdgeMesa N AI+
 
Plutôt mignon :
 

 
Toujours pas de prix...
 
https://videocardz.com/newz/msi-ann [...] gb-lpddr5x
 
Quelle est la proba que les prix soient dingues, et que ça fasse encore augmenter tout ce qui est déjà sur le marché ? Ça semble se dessiner...
 
Le DGX Spark voit son tarif exploser avant l'arrivée des RTX Spark:
 
https://videocardz.com/newz/dgx-spa [...] pcs-launch
 
J'attends vraiment les perfs du M5M et M5U pour me décider  

 
Tu as du prendre un UD3 que LMStudio supporte pas, pas besoin D'Unsloth Studio, tout est dans llama.cpp, mis a par le MTP pour Qwen Next il me semble.

 
Ça va être hors de prix et se vendre comme des petits pains

bon, faut que je tente, de toute façon, ça fait partie des points qu'il fallait que je valide pour le truc sur lequel je planche.
donc direct llama.cpp.

 
Bien, un de plus dans le droit chemin

De toute façon, pas le choix, ça fait partie des choses à valider (le choix du "moteur" : local (via llamaserver ou lmstudio) ou "cloud" )

Toi aussi par la sainte lumière tu as été touchée, mais n'oublie pas ton fidèle allié le scotch pour allez encore plus loin

je vais faire plus sale encore
mon adaptateur nvme pcie arrive (via câble occulink), je vais relancer le bc-250 à base de ventilateurs qui tiennent avec des rilsan et compagnie

Le riselan, tout de suite le gout du luxe

Version b11070 du moteur Llama.cpp:
 
 
 
Configuration:

 
Prompte:
 
image à copier :

 
 
 
Résultat généré par Llama.cpp version b11070:

 
Résultat au format PNG:
 
 

 
Bon le point C est légèrement trop bas, il n'aurait pas du créer de ligne entre F et C, le point F aurait dû être sensiblement plus bas que le point C.
Mais c'est un bon début.
En fait on revient à la case départ
 
le tout réalisé en: 4 367 tokens; 26min 38s; 2.73 t/s
 
Across all turns
Prompt tokens evaluated           241 tok
Tokens generated                   4 367 tok
This turn · KV cache
Prompt                                    241 tok
Generated                             4 367 tok
KV cache total                       4 608 tok
Avg speed                                  2.7t/s

 
 
Ça commence lentement à prendre forme, de quoi je n'en sais rien, mais ça prend forme !!!
 
 
Marrant avant y a genre 14 jours, j'avais vers 20 Tokens par seconde.

Vidéos du jour.
 
Can You Run Any LLM in Jev Mode Using llama.cpp?
Codacus
https://www.youtube.com/watch?v=bcGO7xre46o
 
TL;DR: Intéressant d'en savoir plus sur la hype Jev ... ça me sera pas utile
 
Bonsai 2 27B tested - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=ZzLHGHMXkEw
 
TL;DR:

Petite mise à jour d'Open WebUI : https://github.com/open-webui/open- [...] ag/v0.11.4
 

 
Effectivement
 

J'ai obtenu un ticket pour tester JEV. Ce sera dans le pipe pour les prochaines semaines par curiosité (une second avis pour un pouillème de ce que coute un modèle chinois pas cher )
 
pour le truc bonsai je vis pas comment ça aurait pu finir autrement : soit tout le monde faisait de la grosse de merde depuis trois ans et ils faisaient un cadeau à l'humanité soit les poids servaient en fait à quelque chose    
 
merci pour le partage

Globalement j'ai jamais eu de "pépite cachée" dans les models : soit c'est génial et tout le monde en parle, soit c'est de la merde et tu vois que des bench sortis par les auteurs

@neo, bon courage pour le test de Jev, ça n'a pas l'air évident!
 
@Tronklou
Ya aussi le cas tout le monde en parle mais c'est quand même de la merde, genre les tunings de DavidAU

Swift-Qwen3.8-27B-PARO-int5

2× Radeon AI PRO R9700
TP2
8 sequences
8192-token chunk
262,144 maximum context
DFlash speculative decoding

et c'est bien ou c'est pas bien?

Ça a l’air plus qu’utilisable même pour une petite équipe