Ca reste un usage normal, pas de raison que les llm "abîme" quoi que ce soit, sinon a ce compte là n'importe quel usage qui consomme a les même soucis :D
Ca reste un usage normal, pas de raison que les llm "abîme" quoi que ce soit, sinon a ce compte là n'importe quel usage qui consomme a les même soucis :D
Pas tant que ça, des grosses compile ou de l'inférence ça bouffe la batterie de mon m4 en une grosse heure. Ça te bouffe un cycle inutilement si t'as moyen d'être branché.
Ca reste un usage normal, pas de raison que les llm "abîme" quoi que ce soit, sinon a ce compte là n'importe quel usage qui consomme a les même soucis :D
b-tzu
Si je crée une appli qui affiche du contenu généré par ia. Je ne sais pas encore à quel dosage. Comment estimer ce qui est plus intéressant entre prendre un gros serveur gpu / ia et faire tourner un modèle local ou utiliser un API d’une ia connue?
Pas tant que ça, des grosses compile ou de l'inférence ça bouffe la batterie de mon m4 en une grosse heure. Ça te bouffe un cycle inutilement si t'as moyen d'être branché.
Merci pour la vidéo, j'étais passé à côté ! En pauvre que je suis c'est plutôt le 9b que je compte tester que le 35 (même si avec un peu d'offload ça rentrerait aussi en q4), mais ça reste très intéressant comme comparaison.
C'est quoi ton hard?
Un Q4 ça commence a bien marcher!
En "fine tunant" certaines parties du modèle pour réussir les benchs, ils en cassent d'autres, notamment le tool call ce qui est autrement plus gênant que foirer un bench synthétique!
Merci pour la vidéo, j'étais passé à côté ! En pauvre que je suis c'est plutôt le 9b que je compte tester que le 35 (même si avec un peu d'offload ça rentrerait aussi en q4), mais ça reste très intéressant comme comparaison.
Ca sera de l'epyc en ddr5. Quelques utilisateurs simultanés max, je pense que je vais essayer de faire tourner un Deepseek Flash complet mais j'ai pas encore réfléchi à ce qui était possible. Peut être qu'un deepseek pro ou un gml 5.2 salement quantisé peut marcher aussi mais j'ai peur que ça soit moins bon.
Tout dépends du modèle que tu comptes charger et du nombre d'utilisateurs, si c'est du MoE pour un utilisateur le CPU et la RAM peuvent aident. Si c'est du dense multi-user, je ne pense pas que ça sera vraiment utile. Après je dis ça juste avec ma petite expérience avec llama.cpp, pour VLLM je sais pas.
C'est quoi les CPUs des Xeon récent avec de la DDR5?
Ca sera de l'epyc en ddr5. Quelques utilisateurs simultanés max, je pense que je vais essayer de faire tourner un Deepseek Flash complet mais j'ai pas encore réfléchi à ce qui était possible. Peut être qu'un deepseek pro ou un gml 5.2 salement quantisé peut marcher aussi mais j'ai peur que ça soit moins bon.
Il y a un an le fine tuning pouvait être intéressant, mais clairement plus maintenant. Vu que ça coûte rien en GPU par rapport à un training complet, je vois pas pourquoi les concepteurs de LLM ne l'auraient pas déjà fait...
Normalement je vais les avoir mes 4 RTX 6000, par contre forcément avec le prix du matos, on aura pas exactement ce qu'on voulait.
Est-ce embêtant si on est très léger niveau CPU / RAM, genre 2x 32 cores et 256G de ram ? On upgradera ça plus tard. Ce que je veux éviter c'est une connerie du genre "t'a au moins besoin d'autant de ram que de vram car pour charger le modèle c'est un swap atomique"
:jap:
Tout dépends du modèle que tu comptes charger et du nombre d'utilisateurs, si c'est du MoE pour un utilisateur le CPU et la RAM peuvent aident. Si c'est du dense multi-user, je ne pense pas que ça sera vraiment utile. Après je dis ça juste avec ma petite expérience avec llama.cpp, pour VLLM je sais pas.
C'est quoi les CPUs des Xeon récent avec de la DDR5?
