Reprise du message précédent :

 
8k€ ça représente 6 à 7 ans ~ d'un abo claude max 5x au tarif actuel
 
C'est pas plus intéressant que d'investir 8k€ dans du matos qui sera totalement déprécié d'ici 1 and et ½ ?    
 

Le local c'est une question de geeks qui veulent bidouiller pour le plaisir, de privacy / data ownership / anti-censorship.
Bien sûr que c'est tout sauf rentable  

Tes datas avec Claude max, elles partent chez Anthropic.
Ils sont "censés" ne pas les garder ni entraîner leurs modèles dessus.
Mais peut-être pas.

Si tu dis un truc qui leur plait pas, ils te dénoncent au flics.
Et si tu "maltraites" claude, ils suppriment ton compte.
Rien ne dit non plus que dans 1 ans les prix n'auront pas fait x2 et les usages /2.

Et son matos il peut le revendre.

 
Et vu comment c'est partis il fera une belle plus-value!

il se fera pas ban par son fournisseur pour avoir demandé de tester/amélioré la sécurité de son application et le jour où Anthropic factureras au vrai tarif (plus de 10x ce qu'on paye actuellement, suffit de comparer le tarif à l'appel api vs utiliser claude code dans un abo) ben le matos se paiera de lui même assez rapidement
 
Évidemment c'est dans un turfu hypothétique et claude devrait rester sensiblement meilleurs donc la question se pose quand même d'avoir les deux

voilà je peux enfin passer mes nerfs sur cette   de machine sans passer devant un conseil de discipline après

 
Clairement, dans mon futur setup je garde ChatGPT / Claude / Gemini dans ma besace.
Mais au format 20 balles par mois quoi  

 
quels gpu a tu ? car le modele requiert 111gb de VRAM

 
Il a un Strix donc 128GB de RAM.
 
Qwen Flash Next ne monte pas tout le modèle en VRAM, la lookup table reste sur le disk et sauve "30GB".

comme dit the_fennec j'ai le strix halo en version 128GB

 
L'IA locale c'est la liberte de pouvoir avoir un modelel non-censure, de ne pas dependre de XYZ pour ses projets... C'est pas le meme etat d'esprit qu'un abo claude.
 
 
Tu as aussi une valeur residuelle au matos, biensur, faut savoir quand vendre et passer a autre chose.
 
D'ici 1.5 ans tu peut etre sur que le matos coutera la meme chose que maintenant. Ca ne fait que monter, t'auras pas de nouvelle gen avant 2028. La 5090 n'est plus fabriquee...
 
Sans parler de l'augmentation des prix qui va arriver, du meme type que Netflix... Je me rappelle de potes "pourquoi t'as ton plex, prends un abo netflix"... Maintenant ils veulent des comptes sur mon Plex lol.
 
Bref, c'est la merde.
 
Et gros +1 a tout ce qui a ete dit.  
 
Quand tu parles de qq chose qui fait x5 sur ta productivite ou remplace une equipe de dev off-shore, faut assurer son independance. Et je prefere avoir quelque chose de moins "on edge" mais que je maitrise et qui ne change pas de comportement tous les 4 matins comme les SaaS.

C'est bien il y a un bon niveau sur le topic. Je rajoute une couche : l'ia est par nature décentralisée, et bottom-up, donc oui. Nous vivons le boom similaire a ce qui s'est produit dans les années 90/2000 avec chaque foyer qui s'equipe pour la première fois d'un pc.

Ps : et vous êtes des pionniers

bon j'étais jaloux de vos dashboards avec strata    
 
j'ai demandé à Claude de m'en faire un    
 

 
on vit une époque formidable où on peut assouvir tous les trucs les plus idiots facilement  

 
   
 
Avec le matos que tu as!

Strata Coder tested - Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=09GB4LtXUok
 
TL;DR c'est bien

Je suis toujours en cours d’évaluation d’un modèle débridé qui a accès à internet dans plusieurs grosses VM      
 
J’y vais par étape. Et Claude m’a fait ça en genre 2 minutes  

 
Test facile: demande la même chose a Qwen Next!

occupé à developper des plugins pour pi

 
Raaaah nice !
 
J'ai teste ssh remote, telegram, ils marchent bien. Tu bosses sur quoi ?

une gateway assez complète entre pi.dev et Nextcloud talk :
=> Création d'un bot via une gateway qui réveille pi.dev en cas de message (webhook sur un reverse proxy en mode service systemctl)
=> Organisation des sessions pi.dev par threads automatiquement (ouverture d'un nouveau thread = nouvelle session pi.dev) pour pas pourrir le context de trucs sans rapport. Réponses dans le bon thread associé
=> Traitement des pièces jointe (PDF / Images) par le bot en webdav
=> Menu d'installation pour un déploiement par un humain en quelques étapes (génération de la ligne de commande pour ajouter le bot et le webhook dans Nextcloud talk, ajout du service ...)
 
reste à fiabiliser tous les edges cases (cet idiot de nextcloud ne renvoit pas le thread ID en cas de pièce jointe sans message, du fait de la limitation de la taille des messages dans Nextcloud talk pi à tendance à trigger mon anti-DDoS donc il implémente des retry et temps d'attente entre messages)
 
Globalement tout fonctionne mais je continue d'explorer et corriger les edge cases à mon rythme
 
La prochaine étape une fois que c'est consolidé c'est de permettre des salons entre agents pour coordonner les efforts :
Agent A prend ma commande de projet et réveil agent B dans un nouveau thread pour créer le repo Git qui va bien / plan de vérification de qualité / wiki de documentation. Une fois l'environnement prêt il réveil agent C dans un thread dédié pour faire une première itération. Une fois la première itération faite il passe la main à agent D qui fait le code review puis pousse dans un environnement d'hebergement (container LXC dans Proxmox). Retour à agent A qui passe la main à agent E pour les tests unitaires (probablement claude code qui ne touche à aucun fichier) fais un rapport de bugs que agent A passe à agent C et ça reboucle.
 
Faudra que je regarde si je trouve des skills de recherche de problèmes de sécurité ou si j'utilise une app classique de forensic et je file le rapport à l'IA automatiquement
 
pour ceux qui se demandent pourquoi tant d'agents pour un projet c'est surtout pour la distribution des ACL histoire qu'un agent qui déconne ne créé pas trop de dégâts  
 
C'est long mais on y va

https://github.com/asgeirtj/system_prompts_leaks
 
Intéressant!
 
379KB le system prompt Opus :
https://github.com/asgeirtj/system_ [...] pus-5.5.md
 
Après je sais pas si tout est chargé tout le temps.

C'est quali comme d'hab
 
Par contre il a commencé avec une petite carte 16GB, ensuite une 5090. Maintenant il annonce qu'il aura bientôt encore plus de matos.
 
Fast forward dans un an il nous fera des benchs sur son DGX B300

Il fait toujours ses benchs avec sa RTX 2000, mais utilise la 5090 limitée a 16GB pour accélérer le reste.  
 
Après si il se mets a tester avec du gros matos je le suivrais plus, ça m'intéresse pas. C'est pour ça que je regarde plus trop Alex Ziskind qui nage dans le matos de malade...

quoi t'as pas 8 GB10 interconnectés en 400Gb/s sur un switch dédié ?  

j'espère pas, ça fait 95000 tokens pour lui rappeler de pas pirater la nasa quand tu lui écris bonjour
 
d'un autre côté avec le cache... Pour peu que ce soit distribué intelligemment l'impact doit être négligeable (quelques millisecondes) en dehors de diminuer le contexte d'autant et la VRAM dispo pour autre chose (une petite 10aine de GO par grappe de 8 cartes ou environ 2To si on compte pour une grappe de B300. Y'a rien   )

 
C'est pas deconant... Juste un claude code en local avec une session de 262k me bouffe 30% au niveau du prompt de base...
 
C'est bien pour ca que j'ai arrete claude code  

 
Je bosse la dessus, interconnection de BC250s via 2.5Gb/s
 
 
Enfin Qwen bosse dessus, interconnection de Vulkan via TCP, tout marche ... sauf que llama.cpp génère de la maïrde
C'est quand même cool d'avoir un agent qui bosse tout seul sur un truc que j'aurais jamais eu le temps de faire ou de finir...  
 

 
Faudrait que je reteste autre chose, mais trop la flemme. J'ai pas l'impression qu'Opencode2 soit mieux qu'avant.

Fin de l'embargo sur les reviews des RTX Spark Laptops:

Linus Tech Tips: https://www.youtube.com/watch?v=sjuisARFWn8

Raid Owl: https://www.youtube.com/watch?v=X7YAOBDHU_Q

Notebookcheck: https://www.youtube.com/watch?v=9tq71nn0u0c

OtaXou pour les francophones https://www.youtube.com/watch?v=aJ4J41dr0DQ

Je viens de remarquer (en lisant un post sur Reddit ) que Strata utilise des valeurs par défaut assez inhabituelles, genre temp=0!
 
J'ai pas remarqué de boucle ou autres problèmes, mais je vais voir avec les valeur par défaut:

 
Bon, on va dire qu'il s'égare un peu par moment, mais vu qu'il tourne depuis plus de 36h c'est pas mal

ça a l'air solide
 
je viens d'upgrader Gufo qui continue de bien chauffer ( 1,4M de tokens générés aujourd"hui pour 61,2M de tokens en prefill dont 58,2M traités par le cache )
 
mais je voulais auss réagir au poste de speedboy avec la maison france 5 Nividia :
 

Bon au delà des 30000 balles de matos IT présents sur cette photo (   ) y'a PAIR qui sera intéressant pour les possesseurs de matos type GeForce RTX™ GPUs (20 Series and newer), DGX Spark/GB10, RTX Spark, Mac M1 or newer :
https://www.nvidia.com/en-us/ai-on- [...] ai-router/
 

 
   
 
J'imagine que ça ne fait pas de split de modèles ou autre exoticités made in the_fennec (pardon patapay) mais sur le principe c'est un p'tit orchestrateur de supercalculateur à la maison

 
400M depuis que je joue avec Strata:

 

 

 
Envoie moi les supercalculateurs et j'en m'en occupe

   
 
je peux faire pareil mais ça va faire beaucoup de / dans le lot

Drap

Welcome
 
ASV ? Tu as de l’expérience avec l'IA locale / dans le cloud ? Un objectif particulier avec l'IA en rejoignant le topic et potentiellement du matos déjà en ta possession ?  
 
Et surtout , scotch papier jaune ou découpage de boitier pour optimiser le refroidissement de tes accélérateurs ?
 
Pardon, c'est bientôt vendredi

bon ben la partie gateway de chat est finie
 
Maintenant faut que je regarde comment fiabiliser un process multi chat (second plugin ? déclencheur CI CD ?) pour que les IA n'oublient pas de se pinger entre elles pour que le process arrive à terme sans perte

Oui j'en avais parlé il y a quelques jours mais quand j'ai regardé de mon côté, j'avais cru voir du 0.6 en température et j'étais pas allé plus loin.

 
J'ai pas l'impression que ça change grand-chose de mon coté, c'est pas impossible que claude passe des valeurs de son coté.

auriez vous quelques minutes pour faire une critique constructive de mon dashboard (je n'avais qu'un dashboard moyennement satisfaisant, et j'avais envie d'avoir quelque chose d'aussi bien que ce vous m'avez montré - je l'ai construit avec grok)
 

 
Tes unités sont pas bonnes ou manquantes
Un peu bizarre de mélanger anglais et français
La casse des titres n'est pas consistante, soit norme US avec première lettres en majuscule (Dernière Vitesse Prompt), soir FR avec seulement la première (Dernière vitesse prompt)
Tes échelles de vitesses devraient commencer a 0
Dark mode c'est le mal

moi ça me semble bien J'ai été assez loin dans mon dashboard avec trois volets :
1 chat => valide la prise en charge par le modèle d'images, PDFs et me permet de tester les requetes dangereuses / absurdes (reproduire les conditions du big bang à échelle 1 ou reconstruire à la maison une tsar bomba classiquement) sans qu'il fasse des requêtes cheloues au kremlin pour trouver des plans ou demande de l'anti matière à un chercheur du CERN dans le process
 
2 le dashboard que j'ai montré et un peu amélioré (compteur d’énergie totale consommée y compris en veille, état de santé des caches, logs d'erreurs de Gufo, extrait des réponses aux 20 dernières requetes (derrière un password et évidement le tout en https) pour pouvoir débuguer un problème, vérifier que tout va bien quand je veux
 
3 un dashboard sur les dernières versions de Gufo avec un extrait des changelogs entre ma version installée et la dernière résumée par mon IA locale chaque jour. Pareil avec Rocm. La version du kernel linux installé, les paramètres de démarrage et la ligne de commande de Gufo (pour vérifier en deux secondes si y'a pas un paramètre à optimiser / faire des diffs en un coup d'oeil avec ce que je trouve sur reddit ou dans les blogs sans faire de ssh
 



 
p'tit focus sur la partie troubleshot des outputs :

 
Ce rêve de faire des bidouilles en 2026