Reprise du message précédent :

 
Ada ou Blackwell ? Parce que ça fait une belle diff de VRAM dispo.

Blackwell server edition 96gb

ça commence à faire une belle puissance de feu. Prévu pour servir des utilisateurs en parallèle ou juste toi ?

On peut monter à 4 ou 5 utilisateurs parallèles mais on ne sera que 2 utilisateurs sérieux et pas tout le temps. En vrai on devrait pas trop ce marcher dessus, si c'est le cas on s'accordera oralement pour ne pas défoncer la machine.

ce luxe

Je n'exclue pas que certains se sentent concernés et se mettent à bosser avec, mais ça reste avec une probabilité faible

perso je ne leur dirais rien

apres si vraiment cest la et ca fait de la peine, genre ca passe des heures a se tourner les pouces, on veut bien te donner un coup de main ! pour la science

Moi tout seul je peux faire tourner le truc 24/24, pas d'inquiétudes

Tu l'utilise pour quoi ?

c'est ça l'esprit de ce topic : aucun hardware ne sera abandonné
 
MAJ du titre du topic du coup

Bof bof le titre

Propose

IA locale: llama.cpp, VLLM, modèles, tuning! For science. You monster.

C'est vraiment pas intelligent de modifier le titre d'un topic  
 
neo world demition

J'aimais bien l'ancien, mais je m'en souviens plus
   
Il faut pas changer les trucs sinon c'est différent de comme on a toujours fait avant

j'ai fait un sondage
 
On fera ça en deux tours : vous votez et vous faites vos propales si vous en avez.
 
Au bout de deux semaines on garde les deux premiers des votes et on ajoute les propositions que vous aurez faites d'ici la fin du sondage

Le titre du topic est bien, le petit souci, c'est qu'il y a pas mal de blabla qui ne devrait pas être là mais dans les topics plus appropriés. Plus facile à dire qu'à faire, vu que le sujet est vaste...
 
Sinon, il manque l'option "Obiwan défonce le Puppet Master " dans ce sondage

Lapin à voté:
 
 
1.  Infra IA : aide au choix et troubleshot de LLM Locaux 5.6 % 1 vote
 
 5.6 %
 1 vote
6.  IA Locale : vous aussi venez mesurer votre pouvoir d'achat en HBM / GDDR / LPDDR / DDR / SDRam / EDO ...  16.7 % 3 votes
7.  IA Locale : aucun GPU ni LLM n'a été maltraité pour cette inférence
 
 
 
D'ailleurs la 7ième m'a bien fait marrer     !!!

J'ai voté 1
Par contre, si je peux me permettre, vu que le topic est maintenant situé dans la catégorie IA, existe t'il encore un intérêt à mettre le IA dans le titre ?
Par exemple, pour le choix 1 : "Infra : aide au choix et troubleshot de LLM Locaux" plutôt que "Infra IA : aide au choix et troubleshot de LLM Locaux"

Je le proposerai en deuxième phase de vote. Mais pour ceux qui suivent les topics sans voir les catégories (genre redface) et pour le bonheur du SEO ça vaut le coup de laisser IA je pense même si c’est bien redondant

Justement, si je peux toujours me permettre, sur redface, les catégories sont visibles, par contre, l'ennemi c'est la longueur : si le nom du topic est très long, il ne s'affiche pas en entier

Moi je tiens à "Local",  
En gros, Les solutions pour héberger son système localement.
 
Il y avait eu un post sur ce sujet sur...  LocalLLaMA
Why do we allow "un-local" content
https://www.reddit.com/r/LocalLLaMA [...] l_content/

Même Joce et M300A n'ont pas assez de (v)RAM  

Ah. Moi qui croyais qu'ils en avaient une grosse
 

https://huggingface.co/EschaLabs/Qw [...] B-Escha-W2
 
Y a pas de bouton pour le download vers Ollama / LM studio ?

Faut que je regarde l'usage chez nous des 2 GPUs maintenant qu'on l'a démocratisé. Je vous ferai un retour avec un blog post quand j'aurai le temps

Un GML 5.2 en 4 bits ça me suffirait je pense, je demande pas plus.

 
C'est pourquoi ton usage local ? Côté code surtout sécu/cyber ou autre ? parce que ça fait beaucoup de vRAM certes mais aussi de puissance dispo.

Agentic coding, d'autres pourraient s'en servir pour faire de la review de documents multilingues (peut être garder un peu de place pour mettre un truc dédié à ca genre un petit mistral ou gemma)

 
Il est pas compatible llama.cpp, ils ont leur propre moteur basé sur slang:

et maintenant gigatoken à la rescousse de votre pre-processing : https://medium.com/data-science-in- [...] 76969b793e  

pour ceux qui cherchent une machine d'entrée de gamme pour faire tourner ce modèle  :
https://www.ctoservers.com/nvidia-d [...] 6130-p.asp
 
A noter que si le marché de l'occasion ne vous effraie pas vous pouvez trouver le Mac studio Ultra M3 512GB pour environ 60k€ la paire. Avec des économies d’énergie substantielles en prime si vous êtes ok à avoir un peu moins de tokens / seconde
 
     

 
Avec j'imagine l'envie que ça reste tout chez vous/en local par rapport au prix d'un Claude max

Drapal, pour l'instant un petit ollama qui tourne en local sur une 3080 et 32go de ram

C'est l'idée oui, disons qu'officiellement on a pas tellement le choix mais en vrai la très large majorité de ce qu'on brasse n'a absolument aucun caractère confidentiel.
Mais au moins, ça sera propre.

Je suis en train de tester little-coder:
https://github.com/itayinbarr/little-coder
 
J'avais vu le projet ya un moment, mais trop jeune. Je trouve que c'est pas mal du tout pour le moment.
 
J'y ai repensé en regardant cette vidéo qui est OK, mais parle un peu de features spéciales "model local":
https://www.youtube.com/watch?v=YH1EjnYFWSU
 
de mémoire:
* détection de boucles
* détection de tooling foireux
* force le modèle a faire des edits au lieu de lire et écrire les fichiers en entier
* gestion de contexte spéciale  

Qui a le matos pour tester ?
 

Ptetre lundi si les gars de bougent

j'ai de quoi faire tourner la version 3bit mais je remonte mon infra seulement courant de semaine prochaine