Reprise du message précédent :
6GB et pas de tensor core (donc ça va consommer beaucoup en prime). Tu voulais en faire quoi ? ^^

Si l'idée est de faire un barbecue c'est pas mal en soit  

Ça semble être le meilleur usage en effet. Faut voir si les ailettes marquent bien les viandes avec un joli pattern

 
Des GTX 1660 en gros, pas de A100 planqué .

 
un rig IA à pas cher

c'est vraiment pas cher ? Pour 2500 balles t'as plus de RAM, de perfs pour 1/5ème de l'enveloppe énergétique avec un strix halo ...

C'est genre 200€ les 10 cartes

c'est même pas le prix de la gddr. un beau presse papier pas si cher de mon point de vue ^^

Les cmp sont bridées en pcie exprès par nvidia (x4 en 1.0 je crois, a confirmer) + pas de tensor core comme dit plus haut, donc prompt processing a la ramasse. le chargement du model va déjà prendre 3 plombes
 
apres au dela du cas des cmp, l'historique de cette année sur les models locaux est assez clair pour moi : ça sert a rien de faire la course a la vram a domicile. un 27b ou 30b d'aujourd'hui est deja au niveau du gpt oss 120b sortie l'an passé, et les petits models continuent de monter a chaque release. avoir enormement de vram te donne de l'avance sur le moment, mais cette avance se fait bouffer par le progrès des petits models en quelques mois. donc mettre du fric dans de la vram, et surtout dans du matos déjà obsolete...  
 
Le mieux c'est le plus gros mono gpu que tu peut te payer, et si le budget suit pas, 2 cartes d'occas pour taper les 24/32gb. une rx6800 se trouve autour de 250 balles et tu tape direct du 30b a3b dessus, mono ou dual tu reste sur une cm normale en x8/x8, alim standard, zero riser... L'économie est là je pense : car si tu commence a faire des gros lot de gpu faut avoir de quoi les utiliser.  
 
Apres pour le barbecue...    
 

D'un coté du pourrait avoir 60GB de VRAM, de l'autre ça va te bouffer 1200W
 
Je suis de l'avis de tout, c'est pas un bon plan

https://modelscope.cn/models/Qwen/Qwen3.8-27B

 
 
 
OSEF
https://modelscope.cn/models/Qwen/Qwen3.8-2.4T-A95B

Moi qui comptais faire nuit blanche sur le 27b ce soir

Eclate toi
 
https://huggingface.co/Qwen/Qwen3.8-2.4T-A95B
 
5TB le merdier!

978 téléchargement  
C'est là que tu vois l'élite en action  

Mais combien sur HFR ? J’ai la place sur un RAID 0 de 3 ssd ou le NAS. Même le stocker est un bordel

La place j'ai, la vram non  

Avec mes HDDs qui traînent je pourrais le stocker, mais c'est tout. Je comprends par trop l'intérêt de publier des modèles si gros. Ils donnent tout leur or, ya que leurs concurrents qui peuvent utiliser des modèles comme ça.
 
Sinon, ma prise du jour:

 
Je demande au gars qui garde allumé les serveurs ESXi au bureau en attendant qu'ils meurent si il y a pas de la RAM qui traîne. Je les gérais il y a longtemps et je suis dégoûté d'avoir laissé passé des lots de 200GB de DDR (3?) qui sont partis a la presse. Il me dit qu'on peut regarder ... J'ai pris 4 barrettes dans ce qu'il reste: 4x 4Go DDR3 ECC Je sais, ça me servira a rien, mais c'est pour le principe  

UDIMM ?

Pas forcément : au prix d'une vielle cm de workstation avec plusieurs pcie, ca peut te faire une base suffisante pour exploiter des gpu par la suite.
Pour les modèles qui tiennent en vram, au final la vitesse de la ddr, l'age du cpu....
 
 

Le premier intérêt c'est d'envoyer un message aux investisseurs qui ne font pas la différence entre une amélioration incrémentale de LLM et un pas dans la direction de l'AGI
 
sinon belle prise. Si tu les garde. assez longtemps ça peut aider à financer la retraite / un appartement en bord de mer

 
Même pas, RDIMM
 

 
j'avais mis un screen pourris pour faire monter le suspense.

Si tu en veux d'autres j'en ai plein des comme ça.

Je m'en doutais à la tête des radiateurs, on est vraiment dans le useless  

T'as as 2x 16Go DDR4 plutôt
 

attends que ce soit rentable de dessouder les puces

Plus simple, dans pas longtemps la DDR3 vaudra de l'or, je pourrais me faire de la thune pour acheter de la DDR4, oh wait ...

Non, j'ai principalement de la ddr3 reg ecc, au max en 16GB
Au mieux j'ai fait deux machines avec : 1x e5-2697v2 + 128GB (8*16GB) ; 2x ee5-2697v2 + 224GB (12*16GB + 4*8GB).
Si je mets ma 7900XTX 24GB sur la deuxième serveur, devrait y avoir moyen de faire tourner DeepSeek V4 flash.

 
Ya plus ça fait un 404
   
 

 
Pas mal ça bouffe pas trop de jus?  

 
C'est un peu le même principe que les gros devs opensource non? Il y a des boites qui fournissent du compute sans développer de modèle (les vendeurs de pelles   )

Tu en aurais quelques-unes qui ne servent pas ? Faut que je regarde en rentrant de vacances, j'ai un HPE Gen 3 don't il manque un peu de mémoire.

 
Quand tu open-source un projet, tu peux espérer avoir des retours, genre bugs, CVE, voire des contribution. En plus tu mets pas tout ton projet "de prod", juste des librairies/outils. Par exemple Netflix à ouvert plein de trucs, mais pas la plateforme elle même.
 
La avec Qwen max je vois pas trop ce qu'ils peuvent en retirer directement. Peut être juste qu'ils ont mis des instructions cachées pour planter des backdoors ...
 

 
 
C'est politique.
 
En donnant de l'open source gratos, tu ralenti le développement du payant américain.

C'est aussi une question de pénétration du marché, du closed source chinois hébergé uniquement chez eux séduirait beaucoup moins.
Et de toutes façons ils font encore face à de grosses restrictions hardware, donc même raison: avoir plus d'utilisateurs que ce qu'ils pourraient assurer.
 
Je n'y bite rien mais je ne crois pas non plus que tous les détails pratiques de mise en prod soient systématiquement publiés.

 
Et surtout ca donne une super image de la Chine, ils auraient jamais réussis a convaincre autant d'utilisateurs payants sans montrer patte blanche.

et ça oblige les ricains à se sortir les doigts du *** en tech pour une fois. Tout le monde y gagne

J'ai approximativement ça en DDR3 REG ECC :
60x 4096 MB PC3-10600R CAS 9 Samsung M393B5273CH0-CH9  
4x 4096 MB PC3-8500R CAS 7 Nanya NT4GC72B4NA1NL-BE  
4x 4096 MB PC3-8500R CAS 7 Elpida EBJ41HE4BAFA-AE-E  
12x 4096 MB PC3-10600R CAS 9 Nanya NT4GC72B8PB0NL-GC  
2x 4096 MB PC3-8500R CAS 7 Hynix HMT151R7BFR4C  
1x 4096 MB PC3L-10600R CAS 9 Micron MT18KSF51272PDZ-1G4M1HE  

Et peut-être une ou deux 8GB, je ne sais plus. Le reste en 16GB et 8GB sont dans les deux machines mentionnées avant.

Ça vaut rien, c'est de la ddr3, et ça ne va que sur des Xeons ou presque
J'ai de la DDR2 aussi, mais c'est pareil ça ne vaut rien

 
Je pensais que les "petits" modèles couvraient l'aspect politique. Mais pourquoi pas, c'est une bonne explication .
 
 
 

Je pense que si t'es capable de mettre en prod des modèles de plusieurs TB, que ça soit Qwen ou autre ne pose pas trop de problèmes. Si j'ai bien suivis c'est du vLLM partout. Après ya peut être des tweaks qui sont propio pour les gros contextes.

Je pense que ça va prendre de la valeur encore. Si tu jettes un coup d’œil sur eBay tu as régulièrement du matos de serveur / workstation avec genre la moitié des banques mémoire de populées. C’est pas aussi efficient que les serveurs format cpu de laptop mais si t’as besoin de RAM tu as déjà un gros morceau du problème

Oui mais ce n'est pas assez gros.
Au mieux tu montes à 8 barrettes par CPU, ça fait que 32GB avec des barrettes 4GB.
Et le plus gros cpu en ddr3 (excepté 2-3 modèles exotiques en v3/v4 pour lesquels c'est compliqué de trouver une carte mère) c'est l'e5-2697v2, 12c/24t en Ivy-bridge, pas d'AVX2 et du PCI-e 3.0 max.