Reprise du message précédent :
Ça dépend ce que tu colle en terme de models et de contexte, mais globalement les agents types openclaw/hermes il faut déjà du lourd pour que ça fonctionne correctement en full local.  
 
Perso je laisse l'agent sur du cloud et le local par contre c'est du harness spécialisé ( pi/cc/opc2 ) qui est supervisé par le model cloud.

Pour le lab du boulot, on regarde pour un Nvidia DGX Spark.
 
Ca s'utilise comme un PC ?
(une distri linux + Ollama ?)

 
Tu peux m'en commander un ?  

Yes mais attention cpu ARM donc distrib qui va bien, drivers etc

 
Je pensais effectivement à du openclaw avec ChatGPT mais faire appel à un model local pour des trucs du genre accès boite mail, messages, TTS, STT, données santé, RH, financières.

 
Ici par exemple :
 

 
https://developer.nvidia.com/blog/s [...] dgx-spark/
 
Et là :  
 

 
https://elitetestengineering.substa [...] o-m3-ultra

C'est un peu bordelique pour le moment mais le process tel que je l'imagine d'ici quelques semaines :
 
=> un salon nextcloud talk avec claude (un par membre de la famille) : tu lui demande designer des trucs avec les skills qui vont bien selon le projet
=> Une fois validé ça part en création de repo Git avec les documents "design doc" et "features request" (faut que je regarde ce qui existe au dessus de forgejo mais au pire y'a ce qui faut dans nextcloud)
=>une moulinette voit arriver le nouveau repo, design doc, feature request et regarde si le strix halo est occupé et par quel projet : si nouveau projet plus prioritaire envoi d'un message pour arreter le dev en cours et après si ça arrete pas tout seul ça coupe pi après 15 minutes de grace period pour reprendre le strix
=> les instructions sont chargées dans une nouvelle session pi et ça démarre le dev + confirmation au user du début du dev
=> une fois fini le code arrive dans Git avec une demande de code review via OCR (Deepseek flash v4) + confirmation au user que son app part en review
Deepseek ecrit dans une page wiki ses trouvailles (pour garder le tracking pas de modif du code en direct par un modèle externe) et ça repart en correction sur le strix halo + confirmation au user que son app part en correction
=> Une fois la correction faite ça part en hosting (LXC sur Proxmox) + confirmation au user que l'app est accessible pour test par un humain et claude vs les feature request
=> Une fois ok ça part en "prod" (backup du container/ hosting perenne) si pas ok ça reboucle en phase de dev
 
et puis ça reboucle sur un nouveau projet ou l'autre projet mis en pause qui n'a pas fini à l'infini
 
y'aura pas mal de trucs à automatiser via du CICD et de l'automatisation de pentests / forensics mais on verra quand on y sera
 
Overkill pour une famille ? oui ! mais derrière je vend mieux à mes clients avec un process relativement industriel que je maîtrise et qui doit avoir entre un et 5 ans d'avance sur la plupart des structures avec lesquelles je travail (pas par manque de compétences ou de temps de leur part mais parce qu'ils doivent gérer le legacy et le change management)

Tu es conscient qu'à chaque étape ça va te sortir un truc potentiellement buggé et qu'il faudra que tu vérifies tout ?

Au début j'adressais mes bots avec OpenClaw mais a la fin j'ai compris que 80% des mes tokens étaient cramés sur des tâches annexes. Du coup a la fin j'ai tout viré, pris vibeyard et Claude code avec modèles locaux et zou.

Par contre j'ai pas de pipeline H24. Mais ça me dérange pas.

La d'après ce que tu décris pour que ça marche il faut que t'ai une archi au poil par app et un pipeline pour coder les features car si tu fais tout en un coup c'est pas 262k de contexte qui va suffire.

 
Oula oui
 
Moi je pensais plus à un filtre par outil / fonctions :  
 
Paperless / Immich / Mail / Whatsapp / Contacts (Monica) / Santé (Healthlog) / Finance
100% local
 
Le reste cloud avec un genre de filtre PII au cas où.

ça compact pour ça. là j'en suis à 9 10 désormais compactages depuis que j'ai commencé mon projet de connecteur (et il marche nickel (y compris les partages de documents). Je lui ait demandé de le convertir en format plugin pour pi et j'en suis à l'étape d'implémentation des correctifs trouvés via OCR.
 
Je regarde pas une seule ligne de code produite : je laisse aller le vibe puis je test naïvement et je lui dit ce qui va pas (par exemple manque la feature d'accès aux documents dans un salon. C'est pas via API bot mais via webdav et une clé APP il m'a tout expliqué (et j'avais déjà remarqué le problème sur les plugins officiels hermes et Openclaw). J'ai revérifier en lisant la doc pour voir si c'est pas de l'over engineering mais en fait non c'est bien le process officiel. et maintenant ça marche nickel : il détecte un nouveau document, démarre une tâche tout seul en suivant mes instructions et dans la réponse il a pris en compte le document en PJ
 
So far  

Pour un usage moins industrialisé oui en effet. Il te manque probablement un DLP (data loss prevention) pour détecter des trucs qui n'ont rien à faire à un endroit avant de l'envoyer. j'ai des regex avec Wazuh (un peu léger mais tout est centralisé) mais tu as des trucs tout pêts sur github genre : https://github.com/data-privacy-stack/presidio  
 
Si tu demandes sur le topic de la securité des IA tu pourrais avoir une réponse de Quich qui en connait plus que moi

 
Enfin surtout il me faut la partie local LLM  

tu peux écrire ton code toi même avec un user ID "Qwen3.8 Max". C'est tout comme

Des fichiers markdown tout simplement

Je sais pas te conseiller ces B50. si tu ne veux pas étendre ton budget 500 balles de deepseek V4 flash / GLM te mèneront loin. Sinon surveiller 2 BC250 (pas pressé vu que les prix varient beaucoup mais plus de place en vram) ou économiser encore un peu plus et espérer que la DDR6 rebatte un peu les cartes des prix actuels (je vois pas de baisse avant au moins fin d'année prochaine et probablement pas une baisse soudaine ni forte mais j'espère me tromper)

Perso un gitea en auto hébergé, chaque dossier est là en mémoire commune. Chaque model interviens sur ses propres fiches et le gros du cloud reprend et fait le support du fichier principal. C'est pas le plus économe mais c'est un bon compromis.

 
Dis en plus  

le prochain bosgame viendra avec l'occulink. le 495 128Gb serait dispo en octobre et début 2027 pour la version 196GB :
https://www.bosgame.com/blogs/news/ [...] -processor

On veut le prix
 
D'ailleurs ça a baissé non ??
 
https://www.bosgamepc.com/products/ [...] 3749034095
 
2600 européens

je l'ai payé 2200€ en avril  

Bah je lui dis de sauvegarder le plan dans un fichier plan.md et je bascule sur une autre session pour générer un fichier review.md puis je demande au premier de vérifier le contenu de review et d'amender le plan

C'était 3200 y a pas longtemps  

Edit: même sur amazon en fait c'est 3400. Bonne affaire

ça fait bien 5 ans qu'il faut se méfier des prix sur amazon et comparer (idealo / savemoney camelcamelcamel) si c'est pas une babiole vite fait

l'intérêt de l'oculink, c'est quoi ? le prefill qui peut être effetcué sur un gros gpu ?

 
Utiliser un gros gpu pour de l’image / vidéo génération ?

Prefill Gpu, carte réseau 40 ou 80gb/s pour empiler des strix halo, empiler un second modèle dans le GPU (use case de niche mais si tu veux un modèle débridé pour de la recherche de failles / forensic) ou même augmenter la vram (192 GB + 32GB par exemple )

Pas les mêmes BP, c'est pour ça que je puisse la question

ni la même puissance de calcul dispo (NPU) tu as des tests sur internet de gens qui ont collé au strix halo jusqu'au 6000 pro et ça aide bien

J'ai pas compris
Le NPU, il sert à quelque chose ? je veux dire à part pour copilot qui sert à rien ?

 
J'ai creusé un peu, y a déjà l'oculink sur certains :
 
https://de.gmktec.com/en/products/g [...] 95-mini-pc
 
Donc effectivement, un gros modèle pour de l'agentique sur les 128Gb et un GPU 24Go pour faire de la vidéo / image gen par exemple  
Jouable pour 5k~  

Le NPU est souvent utilisé pour le prefill. C'est lui qui accélère les calculs des tensors vs les circuits graphiques traditionnels qui font du bon calcul matriciel mais perdent beaucoup d'energie à charger / décharger inutilement les registres entiers de datas (utile pour le rafraichissement d'écran / les caculs 3D mais contre productifs en calcul de paramètres). Evidemment c'est un peu sursimplifié y'a plein d'autres spécificités qui sont apparus depuis que des circuits spécialisés en tensors sont apparus
 
Mais le fait est que les NPU sont très utiles en prefill et sur les chips intégrés et il est efficace sur des p'tits contextes mais quand ça commence à empiler 100k et plus de tokens avant de répondre tu commences à souffrir sur le temps d'attente vs un GPU (qui consomme beaucoup plus) mais qui va t'avaler les tokens comme si c'était des smarties

 
 
Ce n'est pas à proprement parler de l'intéligence artificiel, c'est de l'inférence, donc les algorithmes d'inférence sont généré depuis d'autres serveur, ensuite il faut mettre à jour régulièrement le moteur d'inférence.

En fait quand j'y pense, j'ai un oculink sur mon GMKTec M7 Pro

tu peux y coller un GPU genre 3090 en attendant de trouver chaussure à ton pied
 
Par contre ce sera moche : station d'acceuil de la carte + alimentation externe dédiée sur ton bureau

 
Les 3 serveurs et le nas sont dans une kallax, un truc de plus ça devrait passer
 
D'ailleurs même sur ton bosgame je viens de voir qu'un mec sur reddit avait mis un oculink sur le slot M.2    

oui c'est une option tout comme dégager la carte wifi / bluetooth pour récupérer encore des lignes de PCI express. Mais pour le moment j'ai déjà mis trop de pognon là dedans et même si c'est pas parfait il me manque pas vraiment de truc important

Je pensais que l'apport du NPU c'était assez anecdotique.

edit: c'est valable qu'avec lemonade non ?
J'ai un 7640HS avec un petit NPU je l'ai jamais vu chargé ce machin.

Rien ne l'utilise au final, microsoft avaient des idées mais ils n'ont rien fait.
 
Et les éditeurs tiers encore moins, c'est anecdotique et il vaut mieux se baser sur le gpu pour toucher plus de monde.

 
Apple en met partout et l'utilise à fond
Anecdotique ?

Sur windows ? oui

 
On parlait de windows ? J'ai pas vu.
Je pensais qu'on parlait NPU au sens large, notamment avec l'exemple strix halo + GPU via oculink.