Reprise du message précédent :
tu as du mal parce que tu as des deadlines à tenir ou tu es pressé. Perso ça fait 5 mois que je rebuild mon homelab (trois grosses itérations avec des amélioration entre chaque)
 
C'est un plaisir que je n'aurais jamais pris si j'avais le début d'une deadline (d'ailleurs je m'en trouve tout seul histoire que ça ne tombe pas en désuétude)  
 
Si tout va bien je ferais une photo hardware porn / software porn d'ici la semaine prochaine. Si j'y arrive pas je sais pas si ça sera prêt vraiment un jour avec le départ en vacances de l'assistante maternelle

C'est pas tant des deadlines, c'est juste que attendre 2 semaines pour un résultat t'as déjà un nouveau modèle de sorti ou des optimisations...

problèmes de riche
 

 
De mon coté c'est pour le fun, j'essaye de charger des "gros" modèle sur mon archi alacon (4060TI + 2x BC250) et ça marche. Je mets 27B MTP en Q8 avec 256k de contexte, mais j’accepte un pp/tg très bas. J'ai presque 48GB de VRAM pour moins de 600 euros, j'avais pris la 4060 dans les 300 euros il y a un moment et les deux BC250 pour 230 euros ya pas longtemps.
 
A coté j'ai Claude, Kiro, Cursor et Bedrock pour le taf' et Gemini avec mon drive 5TB en perso.

 

 
https://deepgrove.ai/maple-preview
https://huggingface.co/deepgrove/maple-preview
 
Un modèle MoE qui tient dans 8GB de VRAM avec 131k de contexte et qui tient la route face a Qwen 35B et 27B ternary! A surveiller

inclusionAI/Ling-3.0-flash

 
https://huggingface.co/inclusionAI/Ling-3.0-flash
des ggufs:
https://huggingface.co/AtomicChat/Ling-3.0-flash-GGUF
 
Ajouté a ma liste de truc a tester
edit:

 
 
En bonus un DS4 REAP de 54GB:
https://huggingface.co/jabbatheduck [...] flash-mini

 
Alors rien à voir avec DS4-Flash, deja avant la maj du 3107..

Bon c'est pas fini encore mais j'avais promis du hardware porn et time is running out    
 

excusez le bordel pour les câbles    mais je dois refaire tous les passages dans moins d'un an donc OSEF ça tournera comme ça    
 
Dans l'ordre descendant :
=> bandeau de brassage (travaux en cours donc encore beaucoup de prises RJ45 sont non branchées encore mais ça vient petit à petit ) mais a terme tous les Keystones seront utilisés
=> Swtich Gbe "tout venant"  
=> Switch d'agrégation 10GB SFP+ c'est le coeur de réseau L2 avec du 2X10Gb/s qui tâche vers le firewall et les switchs
=> Freebox 1Gb/s   en attendant de faire upgrader la connexion et switch 10Gb/s où arrive tout le homelab (oui j'y arrive )
=> Firewall 4 X 10Gb/s. Pareil avec du LACP qui tâche histoire que ça respire en particulier quand y'a des accès vers le NAS
 
- Bon on se fait chier y'a toujours pas d'IA, on se casse    
- Non revenez j'y viens
 
=> Le NAS qui fait tout le stockage backup de la baraque, la distribution des medias via Jellyfin en plus de faire l'inférence pour la detection d'objets sur des flux vidéo via le 780m intégré et frigate
=> Le AMD AI Strix halo. Pour l'instant il clignote en se tournant les pouces (le temps que je mette en place un backup automatique de tout le système pour facilement tout peter et tester des trucs plus ou moins expérimentaux sans devoir aller à la baie tout réinstaller comme ça m'est arrivé 5 ou 6 fois. La dernière fois étant y'a deux heures  
=> Le cluster de workers / agents. Ils servent à tous les services auto hebergés (repots git, agents, supervision, Collaboration/communication avec les agents)
 
C'est long mais on va en venir à bout et faire des trucs productifs
 
Pour les curieux ça donne ça en vu réseau (manque plein de VM )  

C'est propre
Quand je vois mon bordel

Merci
 
Clairement y'a côté Roots assumé avec ton installe mais ce qui compte c'est la qualité du token

Je dirais pas que 2030k€ de matos ça fait roots...
Il manque une Sun, un switch Cisco et du BNC

tu nous a montré que les BC ! tu as quoi d'autre ?
 
edit avec le smiley qui va bien  
 

J'ai lu que les Strix halo sont a 6k maintenant, donc rien que ton étage du bas il y en a pour 24k!
 
Je vais faire une photo pour montrer mon merdier

tu dis ça à cause de la finition RGB chique et choc ?
 
mais sinon ouais la machine prend 100€ régulièrement mais on est loin des 6k :
https://www.bosgamepc.com/products/ [...] ai-max-395
 
Là j'en ai pour environ 8500 balles en comptant large avec les autres équipements réseau de la maison, les cables et les 96GB de RAM pour le NAS toujours pas arrivés depuis deux mois maintenant

 
Effectivement, j'aurais pas du croire ce que j'ai lu sur Reddit

Tu organise comment ton cluster de Ryzen ? Tu arrives à mutualiser la mémoire via le réseau? Ça rame pas trop ?

PiKVM

Ca compute fort je vois

Le cluster Ryzen ne fait que de l'hebergement de VM (cluster proxmox). J'avais au depart fait une synchronization des disques via CEPH mais ça faisait perdre les deux tiers du stockage donc je suis reparti sur du backup classique
 
Les agents appellent le Strix Halo pour la génération de tokens

ça dépasse le simple fait de mettre une clé USB et un ecran portable : faut tout reconfigurer à chaque remasterisation  

       
Laisse-moi ton adresse, je vais te débarrasser de quelques trucs. (Promis, je te laisse la freebox et le lave-vaiselle..   )
En tout cas, c'est beau....

Ha je pensais que c'était une usine de machine pour inference en réseaux  

Ce serait incroyablement inefficace réseau 2 X 2,5Gb et que de la RAM classique pas intégralement accessible au GPU  

merci !
 
après tous ces mois de négligence du sommeil il faudra aussi m'embarquer avec les machines. Je peux prendre le lave vaisselle en même temps s'tu veux

Je pensais qu'on pouvait monter a plus de 100go sur le GPU sur Linux et oui forcément le réseau serait un frein a la vitesse mais il me semblais qu'il y avait un truc pour optimiser cela.

Mais avec ça, plus besoin d'aller à la baie

C'est le cas sur les AMD AI Strix Halo. Le conseil c'est de remonter la taille de la VRAM à 124GO adressable (    )
sur les autres gammes ryzen c'est beaucoup moins souple

Certes ce qui fait gagner 15 minutes et évite le bordel de coller un ecran plat magnétique à la porte et passer les câbles. J'en installerait forcément un à un moment

 
Et puis, tu n'auras pas de mal à trouver un port ethernet dispo pour le brancher  

J'ai un peu de réserve certes  
 
Les ports 10Gb sont partis trop vite par contre  

Status hier soir:

• install de la carte 10gbs OK, j'ai 6gbs vers internet  
• install de l'alim 850W pour remplacer la 650w 520w je comprends mieux pourquoi j'avais un soucis en ajoutant la 1650 Super!
• install des cartes USB 2.5gbs sur les bc250
• install du switch 10g/2.5g

Tout marche, l'inférence est pas beaucoup plus rapide, le chargement du modèle par contre semble plus rapide!
 
Le samedi du fail:

• install de la GTX 1650 Super
• install de la carte réseau 10g sur le pont pcie 1x -> 8x

J'ai 6mbps en up, 8mbps
 
Après plusieurs tests dans des slots différents, pas moyen de trouver une config qui marche...
En fait la carte n'est plus détectée, je pense qu'elle a cramé Je remets la 1gbps.
 
Tanpis, je garde la 1650 Super en plus le but étant de dédier la 4060 a l'inférence sur une VM Linux.
Mais en fait mon problème d'alim reviens, c'était pas a cause de l'alim, mon disk USB de backup se corrompt quand la GTX 1650 est la.
 
Retour a la config d'avant. Je fais un test d'inférence, les deux bc250 renvoient de la merde! Avec un modèle local les deux bouclent en thinking, soit avec des \\\\ avec Qwen ou [place164] avec Gemma.
 
Status actuel:

• Upgrade d'alim 850W inutile
• Carte 10g HS
• pont pcie 1x/8x HS?
• 2x bc250 HS?
• switch 10/2.5g inutile
• module Ethernet inutile et qui monte a 100 degrés
• 2x USB 2.5gbs inutiles

Si vous avez des nvidia 170HX 10GB il est possible de les passer a 80gb avec un flash  
 
200 balles la carte si vous tombez sur un gars qui n'est pas au courant du trick

T'arrive après la guerre  

Pas de pin tordu dans les slots PCI express ? Tu peux passer un coup de souflette dans le slot et nettoyer à l’alcool les contacts sur la carte réseau. Si ça donne rien ça pourrait être un coup d’électricité statique ou une soudure qui a lâché pendant les manipulations.  
 
Pour tes BS250 je pense que c'est une connerie en dehors des GPUs (le M2 sata ? un coup de disk crystal aidera à comprendre ) mais tu peux tester la mémoire pour voir si il se passe autre chose genre ( https://github.com/GpuZelenograd/me [...] sage-linux )
 
C'est chiant quand tout part en vrille sans explication, tu manip sur un tapis / moquette qui fait de l’électricité statique ?

C'est surtout les vendeurs qui ont bien noté le tricks

 
la 10gb c'est 40gb seulement sur les 80gb, la 8gb -> 64gb
 
mais c'est mort, impossible d'en trouver a prix raisonnable. J'en avais trouvé a 180 euros sur Alibaba, mais le vendeur a dit que c'était une erreur de prix et en veut plus de 1000 euros
 
Vu le peu de retour sur les perfs sur Reddit, c'est soit un scam soit des DC ont tout choppé.

 
Non, les slots fonctionnent tous, heureusement. J'ai utilisé ça pour branché la carte 10g:

 
J'imagine que c'est peut être fait que pour les GPUs... Mais je vais retester la carte dans un autre système.
 
Pour les BC250, je pense pas que ça soit un soucis hard, ça serait étrange que les deux claquent en même temps. Je suis sur Debian sid sur les deux, c'est peut être juste un bug Mesa.
 
Toutes les manips faites sur mon bureau.

si t'es en IDF je peux te prêter deux adaptateurs comme ça pendant genre un an :  
https://fr.ugreen.com/products/35921
Si t'es prêt à payer les frais de port je peux te les envoyer pour la même durée  
 
For science. You Monster

Merci, mais c'est bon, j'en ai deux en 2.5g
 
J'ai pris une autre carte pcie usb en chipset Fresco Logic FL1100 pour voir si ça me permet de remettre le deuxième GPU. Je verrais plus tard pour le réseau.