Reprise du message précédent :
Question pour les pros ou amateurs éclairés

Pour un projet avec pas mal de RAG et de l'analyse de texte avec raisonnement (no code), quelle version de qwen 3.8 il vaut mieux prendre sachant que je souhaite contexte max et que j'ai que 30Go de VRAM dispo environ ?
J'hésite entre UD_IQ4_XS chez unsloth ou du UD_Q4_K_XL mais il y a 3Go de diff et la taille du contexte est vraiment un critère important.
En Q6, j'arrive à gratter que 66k de contexte par exemple

Bah si dual de 2080ti 22 she une cm rincee en ddr3 et t'as du Qwen 3.8 parfaitement utilisable.

je sens que le prix des 2080 ti vont s'envoler rapidement pour ceux qui hésitent et aimeraient vraiment en acheter n'attendez pas septembre pour vous décider

Les modèles avec 22Go de VRAM ?
Ca perf comment une 2080 ?

assez pour que ce soit une bonne alternative aux mac / strix et bidouille a base de BC250 montées à l'envers dans le sens du vent  
 
https://ai-muninn.com/en/blog/qwen3 [...] r-parallel

200€ la 2080ti sur leboncoin.

pour 600€, tu en prends 3 et a une bête de course

Juste prévoir le NVLink  qui va coute aussi cher que la carte

Celles sur leboncoin ont que 11GB de VRAM, il faut les faire moder ensuite.

 
Ba t'en prends 2x plus

 
T'as combien de VRAM?
Tu gardes le MTP?
 
Difficile a dire sans bien connaître ton projet. Normalement un RAG sert a ne renvoyer que ce qui est important au lieu du doc complet pour préserver le contexte.
 
Il y a une belle diff entre les deux:

 
https://unsloth.ai/docs/basics/dynamic-3.0-ggufs

Sur leboncoin, il y a aussi pas mal de RIG de minage à vendre, à base de 10x 3060.
 
Ca peut etre une bonne solution aussi

 
Ce qui donne 400 euros pour 22GB sur LBC au lieu de 300 sur Alibaba.
Tu devrais demander a la pince de faire les calculs pour toi .

32Go de VRAM mais on va dire 30 exploitables (c'est plus stable comme ça).
MTP pas obligatoire. Si présent tant mieux, sinon
Le RAG sera là pour l'accès aux doc applicables à mon projet (normes/standard etc.)

edit: sinon je coupe la poire en 2 et Q4_K_S

 
 
Il y a des versions "Unsloth abliterated" ?

 
Ya pas des rigs de 170hx apachère?
 

 
Avec 30GB tu mets large un Q6 avec ton kv cache en Q8 non ?

 
Il le font pas eux-même, mais je pense que beaucoup de fine-tunes sont basés dessus ou Bartowski

niet, max kv cache avec le Q6 : ~66k
et q8/q5_1, tu gagnes peut être ~8-9% en plus
j'ai testé un 3.6 35B hier soir et sur les données synthétiques, le résultat était correct mais avec quelques trucs bizarres.
et y'avait pas masse info à aller chercher

 
Mais bien trop souvent c'est tout en pcie 1x, donc faut vraiment garder ca pour le prix unitaire de la cg et éventuellement l'alim.

 
T'es sous Windows ou Linux?
Tu peux montrer ton utilisation VRAM?
 
Veux mieux garder le KV cache a Q8, de toute manière Qwen utilise massivement les keys, rogner sur les values sert a rien.
 
T'as testé 27B? 35B est beaucoup plus gros, surtout la 3.8 qui a bien fondu!

toujours sous windows
justement, j'ai pas testé le 27B qui est beaucoup plus lourd et je me demandais si pour la qualité que je souhaite obtenir, valait pas moeux l'utiliser malgré tout mais avec un quant <Q6 pour gratter du contexte (le max)

 
 
Sur linux en headless, j'ai Qwen 3.6 en 27b Q4.
150k de contexte.
 
Et ça passe nickel.

 
Lourd? Tu veux dire lent?
Parce qu'il est beaucoup plus petit que 35B.

[Megathread] Qwen3.8-Flash-Next - Release Day
https://www.reddit.com/r/LocalLLaMA [...] lease_day/
 
Pas mal d'info

 
T'as quoi comme matos avec ça ?

 
RTX3090 avec un vieux PC

Lourd en pp et tg
J'ai facile 300-400t/s en pp et 30+ t/s en tg sans MTP avec le 35B en Q6

Quel Q4 ? on a le choix entre 4 Q4 maintenant

 

https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
https://unsloth.ai/docs/models/qwen3.8-next
 

 
Bon, je DL quand même
 
C'est pas dans la main de llama.cpp:
https://github.com/ggml-org/llama.cpp/pull/27742
 
Un peu d'espoir:

Qwen 3.8 27B Cold Fusion tested - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=wR_cLfRLBDs
 

 
TL;DR c'est nul

je susi en train de backuper mon K3 telechargé hier (spoiler, c'est long, je vais upgrader le port du strix halo du Gbe vers 2,5Gb/s quand ce sera fini) ça devrait laisser de temps à décanter les bonnes quantisation. Je peux héberger les deux modèles mais pas les exposer en simultané.
 
Mais je sens que ça va finir avec Qwen 3.8 27b en modèle pour le tout venant et 3.8 flash next pour le debug, planification, orchestration (sauf si en terme de tokens/s le MoU aide bien). Le gain est pas si énorme en qualité de dev par rapport au 27b. C'est une sacrée réussite pour un modèle si "petit"

Gemini qui m'a fait télécharger kimi k3 sans safetensors ... ils sont nécessaires pour colibri. Je dois retélécharger 1,5Tib    
 

pour ceux qui font de la veille de harness :
https://ryanalberts.github.io/best-of-Agent-Harnesses/
 
La partie pick by use case est potentiellement pratique (pas encore testé. Telechargement en cours toussa

En iq4 peut être ouais
En Q6, j'aime bien
Mais j'ai pas retesté les derniers ud3 d'unsloth

Il y avait de l'orage ce soir, une micro-coupure et une des BC250 a reboot
 

 
J'aurais pas tenu la semaine entière

faut leur mettre un mini onduleur. J'en ai collé un dans la baie (700Wh. le truc doit probablement tenir 5-10 minutes max avant de partir en RTT mais au moins pas de problème de micro coupure ou de surtensions

 
Te presse pas pour Qwen Next, vu les discussions dans la PR c'est pas pour demain:
https://github.com/ggml-org/llama.cpp/pull/27742
 
Mais un gars semble confirmé qu'un grosse partie du modèle, les n-gram embeddings n'ont pas besoin d'être en VRAM, ni même en RAM sur le long terme! Avec "un peu" d'offload CPU, on pourrait faire tourner ce modèle avec 32GB de VRAM? Si c'est le cas l'arch Qwen 4 va tout défoncer! (on se hype comme on peut )

 
J'en avait un, mais je l'ai viré. Il bouffait pas mal de jus et m'a fait une coupure quand sa batterie a lâché

 
Il compare le modèle de base vs le fine-tune avec des quants similaires. Le fine-tune, bouffe plus de token, boucle et fait plus d'erreurs
 
Je suis toujours en UD2, Q8_K_XL n'as pas de version UD3  

j'en suis toujours au telechargement de K3 safetensors (huggingface me cap sévère là. J'en suis à 800GO mais bon ça peut tourner toute la nuit j'ai d'autres projets en cours )
 
Je démarre aussi la partie lemonade en esperant pouvoir tourner sur deux pattes :
colibri pour les truc qui sont trop gros passera pas mais j'ai deux SSD NVME de 2TO et 128GB de RAM  
lemonade pour le plus serieux
 
Encore un peu de bidouille sécurité sur la protection de nextcloud accessible sans VPN (première fois de ma vie que je fais ça à la maison. Les scans depuis internet sont intensifs   ) et je peux enfin attaquer le harness et Qwen 3.8 flash next le retour

faut changer la batterie à peu près tous les ans (ils passe son temps à la charger / décharger pour ne pas faire de micro coupure). Dans le mien c'est une batterie 12v type scooter
 
Les vrais auront prévu la double arrivée electrique
Les autres négocieront une coupure de service avec le métier (femme et enfants )

La flemme