Reprise du message précédent :

De mon côté c'est de dark topic qu'il était question, c'est le nom qu'on donne aux messages privés avec plusieurs forumeurs en même temps.
Pour lapin par contre je ne sais pas de quoi il parlait, tout est possible

Pour ceux qui ont l'infra
 

C'est sûr que ça calme bien pour ceux que les annonces enthousiasment mais qui oublient qu'un modèle à 750 millions de paramètres ça ne tourne pas en local .
A la limite en 1 bit dans le plus monstrueux des mac studio peut être qu'en tassant bien ça rentre....

Il y a d'autres modèles qui sont bien utiles quand même tout en étant hebergeables sur des machines plutôt modestes mais en effet les modèles qui ont 500 milliards + de paramètres sont un petit défit à héberger ne local. A noter qu'ils seraient aussi hébergeables sur un cluster de Mac Studio, Nvidia DGX Spark ou AMD Strix Halo pour l'équivalent du prix d'une bagnole plutôt correcte. Je dis pas que c'est un bon investissement mais on est sur HFR
 
Ce message c'est en attendant que the fennec l'héberge dans un cluster de bc 250 pour moins de 10k balles

C'est malin d'insister en gras, maintenant je me demande si c'est moi qui me suis trompé ou si c'est mon téléphone qui a décidé tout seul de modifier le mot

oui c'est pour les lecteurs qui vont se demander pourquoi on demande 8 H200 sur le topic pour un modèle qui tourne très bien sur CPU sinon

Je viens de percuter avec le unlock des bc250, le connecteur 6p 12v molex suffit plus du tout pour alimenter tout le bordel  

tu es tombé sur un vrai modèle défectueux ? ça démarre quand même avant de droper en charge ?

 
 

 
Je sais ce que je fais ce week-end
 

 
Tu parles de ce genre de trucs?

 
En effet c'est donné pour 75W max il me semble. C'est pour ça que j'ai coupé et que je passe sur une ailm 12V direct. Après ça doit passer je pense, je dois pas monter a plus de 120W en inférence, mais j'ai pas unlock pour le moment. J'ai que 6 fils sur mon cable.

 
Ça va, en Q4KM ça tourne sur un Mac Studio:
https://huggingface.co/unsloth/GLM-5.2-GGUF
 

J'ai !

la version 512 gb ?
 
depuis qu'apple l'a arreté c'est un asset qui prend de la valeur  

yep, 512G, M3 Ultra et 8T de disque

 
On attends les test!
 

 
L'argent sale de HFr j'imagine

ah oui, félicitations, choix judicieux    
 
https://www.befr.ebay.be/itm/397987365210
 
il sert à héberger Luc, Laurent, Omni, Mick, Hugo, Yann et Camille ? Tu peux nous en dire plus sur ce que tu fais en terme d'IA locale ?

le HFR coin

alors non pas du tout pour les agents
Il sert à gérer les embeddings, les rêves, les introspections "gratuitement" (et quand plus suffisamment de ressources je fallback sur du together AI / deepinfra).
Et ca me sert aussi à tester Tamag0 en mode Ollama sur les modèles locaux

Ça tient 270w d'après les specs Molex si le câble est du 16 ou 18awg : http://jongerow.com/PCIe/index.html

il doit avoir un autre problème avec sa carte ou son alim. je pense qu'il nous aurait dit que sa prise avait pris feu / l'isolant avait fondu si le problème était le diamètre des fils  

De mon côté j'ai débloqué les 40CU mais le driver vidéo n'en considère que 24 vu qu'il n'est pas patché donc le dispatch n'est pas 100% efficace.
Environ +30% sur Unigine Superposition au lieu de +60% théorique.
Rien cramé pour le moment mais je m'en sers pas pour l'inférence

ça sent dans les jeux aussi ou tu fais du hachage ?

Pour ceux qui ont un gros Mac vous avez vu le projet Darkbloom ça permet de louer la puissance de son Mac et d'être payé pour ça.
Si ça marche ça pourrait bien amortir l'achat d'un gros Mac
 
Pour l'estimation: https://console.darkbloom.dev/earn

en le faisant tourner H24 je récupère le prix de mon mac en un an ... en admettant qu'on m'envoie suffisamment de requêtes pour le remplir H24 ce qui m'étonnerait (par contre la consommation de RAM elle sera réelle H24)
 
Ca me rappel l'époque où nous pitchait des radiateurs connectés avec plusieurs gros CPU : la particulier utilise l’énergie pour se chauffer et nous on avait une grosse ristourne sur nos besoins de calcul (XXXk coeurs par an H24 et 7/7)
 
https://qalway.com/fr
 
Pas d'ECC ni de chiffrement en RAM à l'époque donc on avait dit non

Donc intéressant ? Faut factoriser la conso électrique ou c'est négligeable à ce niveau ?

dans leur calcul ils comptent déjà l’électricité (environ 2$, pour mois ce serait plutôt aux environs des 6€ par mois dans mes estimations) : ça reste intéressant sur le papier
 
Mais attention c'est pas un contrat de mise à disposition mais de consommation : tu auras la surprise du gain à la fin : We do not guarantee any specific utilization or earnings. Actual earnings depend on network demand, model popularity, your provider reputation score, and how many other providers are serving the same model.

Oui ça sera intéressant si le projet tourne bien  

Ca sent la mort prématurée d'une tonne de Macbooks
Les Studio sont probablement mieux armés pour être a 100% GPU H24.

en hiver c'est parfait comme chauffage d'appoint

En ce moment ça paraît moins attractif comme argument

en hiver, en antartique, c'est parfait comme chauffage d'appoint  

Bof, une pompe à chaleur fait au moins 4x mieux

https://vast.ai/
 
Pour louer son GPU, il y a aussi cette solution.
 
Vous avez essayé ?

mais est-ce que la PAC te donne l'heure de manière aléatoire ou te fais un poème sur les bienfaits de Redface 2 pour le poil ?

Non mais elle te chauffe à bloc sans un mot ou sans nude

tu fais une IA qui pilote en temps réelle ta PAC, comme ca tu as le meilleur des 2 mondes

"Ohhhh tu le sens mon petit air chaud sur tes roubignoles ?  
"Met les doigts dans la prise"

https://forum.hardware.fr/forum2.ph [...] w=0&nojs=0
 
J'ai fais un topic pour la location de GPU

Bon, c'est en place:

 
Mais j'ai mis les deux cartes sur la même alim 12V ... on sait jamais sur un malentendu mais non, dès que je monte en charge les deux cartes reboot.
C'est pas surprenant, l'alim est donnée pour 360W max et c'est pas un truc de super qualité, mais a 17 euros, elle fait le taf.
 
J'ai commandé une autre alim, un autre ventilo et un meilleur cable 8pins tant qu'a faire.
 

tu as dévérouillé les CU ? En tous cas ça fait très propre et pas du tout lab à l'arrache sur un coin d'établi
 
https://www.amazon.com/Kingwin-Prof [...] B07H44XZPW
 
notes les 6 autres emplacements qui réclament aussi leur BC250

Non, j'ai juste les 24 CU de base, l'important c'est la taille du modèle pour le moment. L'arrache c'est le but, je vais pas mettre plus chère en matos que dans les cartes elles-mêmes
 
J'ai de quoi faire plus propre, c'est prévu, mais je pense pas ajouter plus de BC250, le RPC ça scale pas.

 
J'avais cru comprendre que mettre plusieurs BC250 en réseau ne donnait pas un très bon résultat ?