Reprise du message précédent :

 
Tout dépends du modèle que tu comptes charger et du nombre d'utilisateurs, si c'est du MoE pour un utilisateur le CPU et la RAM peuvent aident. Si c'est du dense multi-user, je ne pense pas que ça sera vraiment utile. Après je dis ça juste avec ma petite expérience avec llama.cpp, pour VLLM je sais pas.
 
C'est quoi les CPUs des Xeon récent avec de la DDR5?

 
Je sais pas comment ils ont fait, mais déà le fait de pas le mettre en face de Qwen 3.6, c'est un peu dommage
 
Sinon les retours sont pas forcément très bon, pas mal de problème de tool calls:
https://huggingface.co/deepreinforc [...] iscussions
 
Il y a un an le fine tuning pouvait être intéressant, mais clairement plus maintenant. Vu que ça coûte rien en GPU par rapport à un training complet, je vois pas pourquoi les concepteurs de LLM ne l'auraient pas déjà fait...

Ca sera de l'epyc en ddr5. Quelques utilisateurs simultanés max, je pense que je vais essayer de faire tourner un Deepseek Flash complet mais j'ai pas encore réfléchi à ce qui était possible. Peut être qu'un deepseek pro ou un gml 5.2 salement quantisé peut marcher aussi mais j'ai peur que ça soit moins bon.

 
Dflash passe sans soucis:
https://huggingface.co/deepseek-ai/ [...] /tree/main
 
GLM 5.2 en IQ4_XS, mais avec un paquet d'experts en CPU, mais je pense que c'est plus pour le fun qu'autre chose:
https://huggingface.co/unsloth/GLM-5.2-GGUF

Je sais bien . Mais ça reste marrant à lire, surtout dans le contexte tarifaire actuel.

Merci pour la vidéo, j'étais passé à côté ! En pauvre que je suis c'est plutôt le 9b que je compte tester que le 35 (même si avec un peu d'offload ça rentrerait aussi en q4), mais ça reste très intéressant comme comparaison.