Reprise du message précédent :

 
.md files ?

On est là

et on a récupéré Yann Lecun. Sur le principe c'est pas mal. Dans les faits on a un peu de mal à exister dans les leaderboards quand même ^^
 
Je telecharge holo3 A3B Q6 pour me faire une idée mais bizarrement la version officielle de hcompany n'est pas disponible dans mon lmstudio (incompatibilité avec MAC / uniquement CUDA ?)

bon je tombe à chaque fois sur des qwen3.5 rebadgés    
 
J'ai l'impression de revenir à l'époque de Kazaa où tu essaies de télécharger un film grand public pour finir avec un film de boules

Harry Potter et sa baguette magique  

C’est quel livre celui là   ? Oh wait  

C'est dans le 8eme tome  

https://x.com/i/status/2048033766044529090

 
J'attend mes ventilos pour upgrader le systeme de refroidissement et j'aurais enfin une config prête pour la prod

sinon vous pouvez aussi le tester depuis Nvidia gratuitement mais  

 
J'aime bien l'idée de rester sur des trucs "grand public". Je pense qu'avec du temps et des bons prompts/tests, un modèle simple peut donner de bons résultats. Je suis en mode yolo et ça me dérange pas d'attendre une nuit.
 

 
Tu mesures comment la conso?

 
Debian FTW
 

 
Tu serais moins haut si tu laissait le governor faire son taf, je suis jamais a 100% GPU et pas a 100% freq non plus. Après c'est peut être a cause du cluster RPC, c'est moins efficace que du 100% local.

C'est a cause du RPC oui, sur du qwen 3.5 9B par exemple, la fréquence gpu impacte directement les tk/s donc je pousse au max exprès.
 
Pour la conso directement avec sensors
 
Edit :  
 

 
Salut the fennec,
 
je tâtonne en ce moment pour lancer des projets de refactorisation de code longue durée pour profiter d'une rtx 5090.
 
Je gère le truc actuellement en préparant a fond le code pour le rendre déjà digeste dans un premier temps et ensuite avec un ou plusieurs .md je détaille les taches en fonction du projet. J'utilise qwen3 coder 64 ctx et roo code pour orchestrer.
Pour plein de raisons ça fini par merder (boucle, bug UI, résultat par au point).
 
Du coup ça m'intrigue quand t'as un projet qui tourne depuis une semaine, tu peux détailler ta méthode stp ?

 
Demande à Claude de lancer Codex et de le faire bosser

Ou alors un fichier md en commun qu’ils lisent à tour de rôle toutes les x minutes et s’y répondent ?

un fichier commun = écriture concurente, il faut un token quelque part pour prendre la main dessus, c'est chiant. 1 fichier par llm+timestamp à chaque fois ça fait des fichiers qu'on ne touche plus et qui s'incrémente, on peut retracer historique, etc.
enfin dans le simple hein

Demande à Claude de demander à Codex de vibe coder ça

ils sont déjà occupés

 
OSEF de perdre 20% de perf, le but c'est de mettre des modèles 2x plus gros, je mets Qwen3-coder-next qui fait 29Go avec 64k de contexte en plus. J'ai cap a 2ghz, je pense pas gagner beaucoup a 2.2, par contre ça va chauffer plus.
 

 
ma config /etc/cyan-skillfish-governor-smu/config.toml
Je me tâte a uv un peu plus.
 

Bah si je peux gratter en perfs je vois pas le soucis, surtout quand ça ne consomme que 119w au 2ghz  

 
Salut,
 
Mon projet tourne pas seul, mais je pense avoir de bonne boucles de 12/15h avant qu'il me pose une question ou s'arrête. Déjà je suis sur Opencode, qui est beaucoup plus léger pour le contexte, Roo s'attend des gros modèles. Mais j'avais quand même fait des trucs avec Roo sans trop de soucis. Est-ce que tu as bien configuré le contexte coté roo? Est-ce qu'il compacte tout seul?
 
A la base de mon projet, j'ai un AGENTS.md très léger et je prompt en mode yolo sur ce projet. Sur des projets plus sérieux, j'ai un AGENTS.md plus sérieux, mais toujours petit et qui redirige vers d'autres fichier AGENTS_<fonction>.md si besoin.
 

C'est par rapport a tes problèmes de chauffe que je disais ça. Un autre avantage c'est quand t'as une tache longue coté agent, genre compiler le kernel Linux , la carte repasse en idle.
 
Mais bon si ça marche comme ça, pas de soucis

 
Sérieux on se croirait sur aliexpress avec ces fausses promos bidon  

Ce serait pas beaucoup plus rapide de faire travailler ta 4060 ti ? elle doit consommer environ 15 watts de plus à pleine charge et doit probablement sortir beaucoup plus de tokens / seconde que le fameux delta mentionné ? Ou tu les fais travailler ensemble déjà ? (ou pire : tu joues pendant que la BC-250 fait tout le boulot pour toi ?   )

Le watchdog force les 2ghz quand le slot est occupé uniquement, car sur les petits modèles ça met trop de temps a monter avec le smimu , surtout quand la tâche est courte. Après ça redescend rapidement a 350

Mais c'est bien vrai  

 
Il s'en sert en rpc pour cumuler les vram, sinon il pourrais pas lancer un model aussi gros que qwen coder
 
Perso j'ai un meilleur gpu dans le pc ( 5070ti), mais j'ai pas besoin de plus de puissance, c'est la vram qui fait la différence. Et vus que c'est presque kif kif entre la bc250 et la 5070ti, c'est beaucoup plus pratique d'avoir la bc250 dédiée a cet usage en mode server llm, que de devoir jongler avec le pc fixe qui ne sert pas que a ca
En plus après  optimisation, mon gpu dans le pc consomme pas moins, et la bc250 m'a coûtée 120€  

 
Comme l'indique Tronklou, je cumule les deux pour 32Go de VRAM. La 4060Ti est dans mon server, j'ai une 3070 dans mon HTPC de jeu.  
 
J'aurais même bien pris une BC250 supplémentaire pour monter a 48Go de VRAM, mais elle reste a 175€.

On fait un topic llm local + matos ?
 
Dernière fois que je vous embête avec l'idée

Ce serait bien

On peut si vous voulez,mais on va être deux dedans  
Déjà que sur les 3 topics IA , 2 sont spams avec les mêmes screenshots  

Vous aurez plus de spams, soyez content  

Je propose un topic "les news IA de Bulldo"

Edit : pour clarifier, je suis content de les lire parfois, mais va me gave que ça soit bien trop présent ici, ça prend trop de place surtout pour dire qu'un mini model local peu utilisé a bump sa version

je viendras me foutre gentimment de votre gueule bien évidemment
 
non mais j'ai vu des demandes sur l'autre topic IA discu, de toute façon ça va décoller avec les GPU qui s'améliorent, les systèmes à la mémoire unifiée, les modules qui sortent en openweight/source, l'éthique face aux gros, etc

Je pense aussi que ça va tranquillement se démocratiser, mais aujourd'hui dur de retrouver des infos du fait qu'elles soient pas mal noyées

 
wesh

Je m'en occupe

En fait faudrait une CAT IA.
C'est le turfu.
 
Agents / LLM / Local LLM / Multimodal / dev / etc.

grav