Reprise du message précédent :

Oui mais ce n'est pas assez gros.
Au mieux tu montes à 8 barrettes par CPU, ça fait que 32GB avec des barrettes 4GB.
Et le plus gros cpu en ddr3 (excepté 2-3 modèles exotiques en v3/v4 pour lesquels c'est compliqué de trouver une carte mère) c'est l'e5-2697v2, 12c/24t en Ivy-bridge, pas d'AVX2 et du PCI-e 3.0 max.

C'est pour ca que j'ai pris des barrettes en 32gb  

De DDR3?
 
edit: ça doit être ça qu'on avait sur les servers a 192GB de RAM
 

Oui en ddr3, tu trouve encore dans les 80e les lot de 128gb en lrdimm

faut taper dans le bisocket (assez fréquent en workstation et pléthorique en rackable) ou si tu veux vraiment y aller all in t'as des quad socket avec des cartes d'extension de RAM. Les plus gros (Dell R920 ou équivalent chez HP / IBM / Bull) prennent 96 barettes d'un coup. Il t'en manque au final
 
Ou plus exotique encore les cartes PCI express de NVRAM (vraiment utile si tu as un truc qui fait beaucoup d'ecriture au point d'épuiser la flash. Attention faut une batterie de secours et des backups

Vous essayez vraiment de faire tourner en LLM en DDR3 ?

Chacun fait comme il peut

Ca m'amuse maintenant vos conneries et je me tâte à upgrader ma machine. J'ai un Ryzen 16cores, les tout premier et je pense upgrade à 4x 32Gb de DDR4 et plus tard choper un gpu sympa (si un jour les rtx6k redescendent sur terre).

Je peux faire tourner quelque chose quand même avec ça ou ça sert a rien ? Les 128G de ddr4 c'est pas du tout cadeau donc si c'est inutile je vais pas dépenser pour rien

Non, en CPU pure aucun intérêt, surtout un modèle a 100Go.
 
T'as combien actuellement? Si c'est genre 32Go, tu peux essayer un ik_llama avec Qwen 35B Q4_K_M pour voir.

vu le monstre que tu as au travail à ta place je ne mettrai pas trop de sous là dedans si c'est que pour de l'IA : plus facile de couper la prod un weekend ou autre pour faire des essais
 
Éventuellement achète un AMD AI Strix Halo ou mieux un Nvidia Spark ou encore mieux un Apple M5 Max : tu as 128GB utilisables dans de bonnes conditions et tu attends encore 5 ans pour que le marché secondaire soit inondé de H100 ou de 6000 pro à vile prix
 
Probablement une bonne idée de t'équiper maintenant si tu en as le besoin. Plus les modèles locaux seront efficaces plus ce sera difficile de t'équiper à prix correct pour encore quelques bonnes années

Je regarde la semaine prochaine à mon retour.

Et ce n'est pas pour faire tourner des modèles, j'ai un vieux gen8 sur lequel je fais tourner quelques services qui consomment un peu de RAM C'est ouf, les deux Xeon pas tout récents tiennent le coup, par contre ça swap à mort par moment.

Assez simple, sur de longues sessions il est assez rapide pour être une alternative a du SaaS...

J'ai testé de mon côté unsloth/muse-glimmer-30b Q4_K_XL
 
Très bon sur la partie recherche web / idéation. Je ferais des tests comme chef d’orchestre à côté de Qwen 3.x sur mon Strix Halo en remplacement de GLM 5.1

Il se débrouille tres bien avec les appels outils, dans mes workflows technique il s'en sort mieux que gemma ou qwen 3.6 27b  
Par contre pour le reste je lui prefere le 3.6.
J'ai hâte d'etre demain pour le 3.8

Qwen 3.8 2.4T 1bit IQ1_S 508GB
https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF
 
https://www.reddit.com/r/LocalLLaMA [...] _s_medium/
 
C'est dingue que ça marche encore et que ça donne des résultats a ce niveau!

Pendant ce temps chez Unsloth...

La carte de 27B est la:
https://huggingface.co/Qwen/Qwen3.8-27B
 
faut scroller un peu
 

 
Ah interessant,
"To disable preserved thinking, refer to the examples here."
+ "low: efficient reasoning optimizing for speed and cost"
 
Sans raisonnement/think, les réponse simples arrivent en 0.3s au lieu de 3s en moyenne.
Et ce temps de gagné, c'est avoir la réponse en quasi temps réel ; il ne reste plus que le temps de géneration du chunk audio qui prend elle aussi 2 à 3s TTFA ( time to first audio)
Guère plus qu'une conversation où un humain reflechirait un temps aussi avant de repondre  

Putain mais le prix des NVIDIA CMP 170HX part deja en sucette... 1500 balles !
 
https://www.ebay.de/sch/i.html?_nkw [...] m570.l1313
 

prenez des bosgame pc à ce prix : y'a une garantie et des maj au moins

 
J'ai deja un strix et franchement j'hesite a le revendre...

pour le remplacer par plus adapté ou pas besoin finalement ?

J' étais bien chaud aussi pour un 395+ 128gb, mais au final je trouve que c'est un peu batard : pas de NVIDIA donc pour image/vidéo c'est un peu la mort.
Énormément de vram... Ou pas : finalement avoir 24gb ça suffit pour les tops petit modèles, et 128 reste trop peu pour les gros vraiment intéressant.

De ce fait je pense simplement partir sur un server avec 24/32gb de vram et ce sera largement suffisant.

Après je peut me tromper,mais c'est mon ressenti

C'est également mon ressenti. En ce moment c'est soit qwen 27B, soit 128Go de RAM/VRAM ça n'est pas suffisant, il faudrait à minima le double pour avoir un modèle avec un vrai gap au-dessus du qwen 27B en openweight.

je pense que tu as raison. Hors cas d'usage où tu veux pouvoir tourner en temps réel sur quelques modèles (spe planification / tool / architecture + un spe codeur + documentation par exemple)
 
ou c'est bien pour expérimenter du colibri à quasi 2 tokens / secondes au lieu de 0.5. Ce qui ne change pas grand chose.
 
Par contre ça prend de la valeur depuis son achat. C'est un bon asset
 

Encore une heure à patienter    https://huggingface.co/Qwen/Qwen3.8-27B

 
J'ai consulté des vendeurs qui affichaient encore des prix descends, moins de 200 euros, juste après avoir vu pour le unlock, ils m'ont tous fais des devis a 1200, ça fait un moment que c'est partis en sucette. Je pense que vu le peu de retours, ce sont des data centers qui doivent tout chopper ...

Pareil pour les 395+ 128gb, je me dis que les gros modèles n'ont pas une vitesse suffisante, donc on doit rester sur du Qwen 27B/35B...

J'ai aussi eu des retour du revendeurs chez qui ont voulais en acheter : l'unlock est pas aussi fiable que prévus apparemment. Il a eu pas mal de retours de gens mécontent qui voulais spécialement les gpu pour cet usage et qui se révèlent pas stable avec

 
Disons que c'est une taille de ram un peu batarde : trop gros pour les petits models, trop petit pour les gros models. Le top ce serais une version 256 voir 512 pour justifier l'achat  

 
Quelle surprise, on se demande bien pourquoi NVidia a convertis ces A100 en 170hx
 

 
Est-ce que le GPU a assez de puissance pour faire tourner un DS4 seul?
Genre c'est un peu comme si on avait des 3060 avec 64GB de VRAM....

Plutôt des 6800 avec beaucoup de vram de ce que je lis, en gros avec nos bc250 ont as une config dans le même esprit avec les mêmes limites du fait d'avoir du amd et pas du nvidia.
 
Pipould's et neo world devraient pouvoir mieux en parler vus qu'ils en ont
 
Edit : ayé dispo https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
 
Edit 2 : les servers sont en PLS  

 
Ben en utilisant la ram t'as ds4, qwen 3.5 122b, qwen 3 next coder...  
 
Sinon pour de mulitples modeles charges en //
 
Mais pour de l'agentique simple, go 48GB avec qwen 27b et basta

En // c'est plutot chargé et dispo ? Car sinon a chaque fois tu divise encore les tok/s de sortie drastiquement non ?

Salut, je me suis mis a faire de la génération d'images récemment avec Stability Matrix. (C'est le seul truc que j'arrive à faire tourner avec ma CG) Et bien entendu LMstudio, qui me permet de faire un peu de powershell mais aussi traiter des gros pdf de contrats / administratif.
Mon matos:
9850x3D
32 Go
RX6950XT
Nvme 2T
Win 11 dédié à ça (Dual boot avec Bazzite pour le gaming) j'ai essayé avec Linux mais impossible de faire fonctionner la CG
Au plaisir d'échanger

Welcome ! tu arrives pile pour le nouveau Qwen

 
T'as quoi comme pp/tgs avec DS4?
Qwen 122B et Coder Next sont des vieux tromblons, 27B est au dessus, peut être même 35B.

 
DL en cours, 50Mo/s ça va.
 
Bordel le truc est devant Opus 4.6 sur certains benchs:

Merci je vais tester ça ce souwar

Pour le qwen 27b, vous partez sur quelle quantization ?
J'ai déjà eu des fails sur des trucs assez simples en q4 auparavant, en général je suis sur du q5 ud xl min en général pour avoir ce que je veux.
Bon, ça vient peut être de la qualité de mes prompts aussi

Qwen3.8-27B-UD-Q8_K_XL avec MTP de base, 4GB de moins que 3.6
 
https://progressive-gale-c3jf.pagedrop.io
 
13 tg/s 5min de génération    
 
 
pour rappel: