Reprise du message précédent :

 
J'avais trouvé un listing a $600 sur globalsources.com, mais sans surprise:
 

Yep je pense que la limite est dynamique et donc les modèles n’arrive pas à évalué la quantité de mémoire vraiment dispo.  
 
Par contre j’ai lancé une grosse modif de script, content de voir que ça tournait en local … tout à tourné en fallback sur deepseek

T'as aussi des 2080 Ti 22 Go, en dual avec pont NVLink tu t'en sors à moins de 1000 €.
Je pense que c'est le bon sweet spot : CUDA, vieux mais pas trop, prix au Go de VRAM qui tient la route et surtout NVLink qui permet de l'exploiter sur de vieilles plateformes pas chères.
 
Une CMP sera plus perf, mais si c'est une 10 Go, à la fin tu n'auras que 40 Go de VRAM, et 60 Go c'est pas intéressant je trouve.
Pour moi les paliers c'est plutôt : 32/40 Go puis directement 128 Go et après 256 Go. Les tailles intermédiaires, c'est payer du Go en plus pour rien dans mon usage..
 
Sinon petit pavé dans la mare : https://github.com/FlashML-org/FreeToken
 
Pour les MoE c'est sacrément intéressant : co-exécution CPU/GPU avec répartition dynamique des experts selon les bandes passantes réelles de la machine.  
Les experts restent en RAM et la VRAM sert en gros de gros cache LRU, FreeToken décide en temps réel quels experts charger sur le GPU et lesquels calculer directement sur le CPU.
 
Pour le prefill il fait aussi du double buffering : pendant que le GPU calcule un layer, les experts du suivant sont déjà transférés en VRAM.  
Et il ajoute des checkpoints sur le KV/recurrent state aux endroits logiques du contexte, ce qui permet de ne recalculer que la partie modifiée lors des tool calls ou changements de contexte.
 
En pratique :

 
 
L'auteur annonçait déjà sur X travailler sur le support des RTX 2XXX et du dual GPU

 
Pas mal, faut que je regarde le meilleur modèle pour ce type de setup

 
Tu utilises auto fit?
Sinon ngl et moe-cpu contrôlent le spli, mais sur une carte UMA comme la BC250 ça n'a aucun intérêt. Avec un modèle de 10GB, ça prends 10GB plus les buffers et le KV cache, pas de miracle.

C'est la même sur le Strix halo, t'as 512 en  mem video et tout le reste en gtt

Raaaahhhh ou j'hésite à prendre un dual de 2080ti a 44GB pour ma plateforme a base de 6700k et 32gb de ddr3

c'est très nvidia oriented non ?

bon, la mise à jour unsloth de leur modèle qwen 3.8 27B refuse de fonctionner chez moi en UD_Q6M.
je teste la davidAU en Q6_Low et sans budget thinking, elle a l'air de se tenir dans les clous et pas de raconter sa vie (ou pas)
edit: par contre, pas l'impression que le MTP fonctionne

edit: DavidAU 3.8 27B Q6 Low vs Atomicchat Q6 27B => 20min thinking vs 38min et malgré le temps de réflexion plus bas, meilleur résultat.

Tiens d'ailleurs,  
 
J'ai une config avec un 6700K, une Z170M DDR3 et 32 GB de DDR3.  
 
La carte a 1 PCIE3 16x et 1 PCIE3 4x
 
J'hesite a prendre une double 2080ti 22GB moddees pour avoir 44GB et me faire un second serveur d'inference...  
 
Des gens ont des retours ?  
 
Merci d'avance

 
On peut quand même apprécier l’approche professionnelle et adaptée du serveur posé à l’arrache au milieu de la pièce (mais sur une moquette quand même. On est pas des animaux )

L’Aventure avec un grand A. Tu as regardé le coût vs deux b60 ou une b70 ?
 
Le support constructeur risque quand même d’être moins aléatoire

c'est combien le meilleur prix pour du B70 ? on dirait que c'est aussi cher qu'une R9700 pro (~1600 balles)
de ce que je vois c'est passablement hors de prix pour des perfs inférieures non ?

 
1600 balles une B70...
 
Clairement le but pour moi est de recycler la vielle mobo et ram...

Bon, je teste ce qwen 3.8 via lmstudio (flemme ) et en mode extra high sans limite de budget de thinking, ça fait des trucs vraiment chouettes.
Là, j'ai repris le même prompt, limité le budget à 4096 tokens et le résultat est de suite moins flatteur et ne marche pas du 1er coup.
Va falloir que je teste différentes tailles pour savoir c'est quoi le bon compromis.

J'ai pas OC comme sur SteamOS, c'est pas plus mal, j'avais des problèmes d'instabilité, niveau mémoire par contre c'est top, je suis entrain à l'aise avec 262k de contexte

On va tenter IQ2_M +192k, ça devrait être mieux

 
C'est pas parce qu'on est pro qu'on fait toujours les choses proprement
 

 
Je trouve que limiter le thinking avec le budget donne toujours des résultats aléatoires. Je trouve que c'est mieux de le désactiver complètement ou passer en low vu que c'est possible sur Qwen 3.8. Avec 4k tokens il doit tout juste reprendre ton prompt et à peine commencer à l'analyser, surtout si tu as laisser le thinking en xhigh.

 
Debian FTW
T'as unlock le CPU aussi?

J'dois être neuneu mais je vois rien dans Lmstudio pour baisser le niveau de reasoning.
Je vais tenter un autre template jinja.

C'est pas toi, c'est Lmstudio

Yep

C’est bien stable sous debian, je suis sur que c’est utilisable au quotidien

un gemma 4 12b c'est pas "mieux" qu'un gros MoE de 35B trop quantized ?

J’ai déjà essayé Gemma 4, c’est une cata sous Hermes, il gère mal les appels d’outils.

Perso je trouve que même en Q8 Gemma 31B se loupe pas mal sur le tooling.

Premiers retours des équipes depuis l'upgrade sur Qwen 3.8 27B : un bond en avant indéniable, la confiance monte pour certains même laisser leur slot Claude.

ok.
si c'est pas indiscret, tu t'en sers pour quoi de tous ces tooling calls ?

perso, sur un prompt, j'ai préféré la réponse de qwen 3.8 27B à celle d'ox alpha sur opencode go

Config définitive (jusqu'à la semaine prochaine quand un nouveau modèle sortira )  
 
Ornith 1.5 35B-A3B IQ2_M + 192k + vision + 40 CU + reasoning illimité
 
meilleur intelligence et plus de ram dispo
 
Je pense du coup vraiment racheter une b250 juste pour ça, j'ai une alim SFX et un SSD de 256go, 130€ la carte ... a voir les test pratique

 
Quel harness pour Qwen dans ta comparaison ? J'suis encore très indécis sur les différentes possibilités. OpenCode à l'air de manger plein de contexte, je sais pas si la compaction marche vraiment bien.

Gestion domotique, serveur, gestion des scripts sur le serveur.  
 
De mon téléphone via télégram je gère toutes la domotique/informatique du domicile quoi, plus besoin de sortir le MacBook et un terminal

aucun pour qwen, prompt à la con dans lmstudio et le résultat en xtra high vs ox alpha max dans opencode en 1er jet, rien à voir.
le prompt en gros c'est générer une page html avec une roue façon la roue de la fortune et de personnaliser les résultats obtenus avec humour (running gag du boulot).
bon évidemment, les temps pour obtenir les résultats par contre
 
je viens de tester un nouveau template jinja qui change le niveau de thinking et le passe en medium de base et c'est moins impressionnant mais quasi fonctionnel au 1er jet.
bien plus utilisable au quotidien (contexte, temps de réponse en mode thinking).

J'ai remarqué que ça gênait pas trop les équipes d'attendre plus longtemps pour plus de qualité ici
 
Je vois quand même un gap entre médium et xhigh, même pour des tâches moins pointues.
 
Maintenant j'aimerai un 35B MoE pour les non-devs

Tu as les flags sous la conversation, tu clic sur extra high et tu sélectionnes le niveau que tu veux avant d’envoyer ton message. Ils ont mis à jour LM studio genre 5h après la sortie du modèle pour ça

Ornith qui me fait du débogage de Deepseek v4 flash exp je m’y attendais vraiment pas

p'têtre en B50 dans ce cas pour moins de 450 balles ?  
 
https://www.idealo.fr/prix/20771609 [...] 5015064237
 
Faut regarder les perfs par contre. C'est peut être pas très malin si nvidia supporte encore bien les 20xx au niveau de cuda

 
Vu que j'ai viré little-coder je vais peut être repasser en xhigh.  
 
Une vidéo de Luke's Dev Lab qui compare les thinking levels:
https://www.youtube.com/watch?v=z64J6bC16iQ
 
medium c'est quand même pas mal.

 
Est-ce que c'est pas mieux de partir sur une Radeon pour 50 euros de plus?

 
De mon coté c'est du dev, Gemma tiens pas longtemps sans foirer un tool call.
 
Qwen 3.8 s'en sort mieux:

 
Franchement dans TON cas de figure, vaut mieux soit viser du mono gpu avec du model dense, ou du dual avec nvlink pour sauter le pcie au fraise en cas de tensors //  
Ou alors t'es aps exigeant sur la vitesse et tu prend du hard pas cher au gb : 3060/mi50
 

 
Totalement, comme 90% des nouveautés. Pour le moment l'IA c'est principalement tournée vers nvidia, après vulkan/rocm et en bon dernier intel quand ils se réveillent tous les 4 matins...  
 

 
Y a des retours en dual 2080ti 22gb ici :  
https://github.com/weicj/2080Ti-LLM-Toolbox
https://www.kernelcrash.com/blog/ol [...] 025/03/10/
 
 

 
Si, largement.
La B70 a 1200e ca s'entendais, mais entre le support pourris, la petite communautée... ca vaut pas les 50 balles d'économisés.  

 
C'est tentant effectivement...  
 
Je prends ca et j'ai un deuxieme 3.8 a full context..

How Fast Can One RTX 3060 Actually Run 35B (llama.cpp enhancement)?
https://www.youtube.com/watch?v=k_LostFpatg
 
Vidéo intéressante de Codacus sur les experts MoE, il parle d'un patch qu'il fait pour llama.cpp mais explique aussi comment les experts fonctionnent aussi.