Reprise du message précédent :

 
 
Rmhrmh et ceux qui ont une AMD RADEON RX-VEGA et une AMD RADEON 7 !!??
 
et AMD Radeon Pro série M (cartes mobiles pour ordinateurs portables pro)
et AMD Radeon Instinct
 

DS4 sur un Android 12GB , clustering d'un peu tout ce qui traîne a la maison:
https://github.com/Helldez/BigMoeOnEdge
 
 

 
DTC comme les autres
 
C'est pas demain qu'on va se payer un GPU neuf

 
OSEF, même à moitié prix c'est n'importe quoi!

 
   
 
je vous présente le cluster pour kimi k3.1
 

Ha, merde j'ai loupé mon enchère
https://www.ebay.com/itm/880041409723

 
   400x12GB presque 5TB de RAM

le moins cher que je trouve chez dell avec 512GO c'est 34k€ et j'ai une RTX A400 (4GO de gddr6) pour ce prix    
 
Apple devenu hard discounter en 6 mois  

à ce prix c'est con    
 
 On va peut être s'organiser pour faire une commande groupée du topic puis on se réparti les racks à hauteur de la participation ? Qui contact les modos pour approbation ? Quelqu'un à une entreprise de semis remorques ?

 
Sur un malentendu on sait jamais

 
src: https://www.reddit.com/r/LocalLLaMA [...] illion_ai/

Tu pouvais lui proposer de prendre un rack pour ce prix. Ce serait peut être passé

Bosgame PC : optimisation de perfs
 
J'ai noté cet automne que le bosgame PC M5 Strix Halo dépassait difficilement les 65°C avec le GPU à pleine charge et le package à 110W sustained / 120W en micro boost (réparti entre CPU et GPU)
 
A noter que mon strix halo est posé sur cette base ce qui lui donne beaucoup d'allure aide au refroidissement :

 
Donc prise de perfs avec Gufo 26 (la build du jour avec Rocm 10.1) :
 
    run 1/4 :   69903 tokens  prefill 1644.3 tok/s  (1er token 43 s)  |  prose 37.6 tok/s  acceptation 58.5 %
    run 2/4 :   69879 tokens  prefill 1604.0 tok/s  (1er token 44 s)  |  prose 35.4 tok/s  acceptation 55.4 %
    run 3/4 :  250794 tokens  prefill 1473.8 tok/s  (1er token 170 s)  |  prose 37.7 tok/s  acceptation 56.8 %
    run 4/4 :  250848 tokens  prefill 1444.3 tok/s  (1er token 174 s)  |  prose 34.0 tok/s  acceptation 57.1 %
 
Et passage du package en 120W sustained : le premier run 70K tokens passe sans problème avec le GPU à 70°C mais le suivant amène le GPU à 76°C et sur les runs à 250K tokens patatras ça flirt les 93°C. Ce qui amène la fréquence GPU à un zigzag avec un point bas à 2 320Mhz
 
J'ai ajouté deux démons :
Un qui modifie la courbe de ventilation (pilote du ec_su_axb35 via dkms) pour l'amener à 80% du max RPM pour les deux ventilateurs dés 50°C (100% en RPM n'améliore que de 2°C la température max observée)
Un autre qui surveille la température du CPU / GPU : dés que l'un d'eux dépasse 95°C pendant trois échantillonnages il diminue pendant 1h le wattage du package par pallier de 10W jusqu'à arriver à 90w si nécessaire. Par fenêtre de 8h il peut remonter par pallier de 10w temps que la temp max est en dessous de 85°C pour une load GPU de plus de 70%
 
résultat (la dernière colonne donne les variation de température entre le début et la fin du run) :
 
    run 1/4 :   69849 tokens  prefill 1658.2 tok/s  (1er token 42 s)  |  prose 33.9 tok/s  acceptation 54.4 %  |  GPU 25→50 °C
    run 2/4 :   69884 tokens  prefill 1626.3 tok/s  (1er token 43 s)  |  prose 37.3 tok/s  acceptation 56.2 %  |  GPU 50→54 °C
    run 3/4 :  250811 tokens  prefill 1507.8 tok/s  (1er token 166 s)  |  prose 37.1 tok/s  acceptation 58.0 %  |  GPU 54→56 °C
    run 4/4 :  250783 tokens  prefill 1485.3 tok/s  (1er token 169 s)  |  prose 35.7 tok/s  acceptation 56.1 %  |  GPU 56→56 °C
 
Gain à 250K en prefill : 2,6% ou 5s sans cache hit. En token gen pas de gain observé comme de toute façon la bande passante mémoire empêche de consommer plus de 90W
 
Nouvelle tuile de monitoring pour vérifier comment évolue le profil d'alimentation :
 

 
Voilà le terrain est préparé pour le moment où le NPU sera aussi exploité  

le prix des RTX 6000 pro be like    
https://www.idealo.fr/prix/20627932 [...] kwell.html
 
Nvidia qui va nous coller 2k$ / an pour faire tourner des agents sur notre son GPU :
https://www.notebookcheck.net/Nvidi [...] 623.0.html
 
 

Vivement que la bulle pète et qu'on chope des promos black friday en 2030

 
De quel soft ils parlent? CUDA?

 
Un peu plus bas :  

moi je pense qu'on aura pas à attendre autant : à la minute où la DDR6 sera produite en mass market avec des machines comme les GB10 / strix halo / Mac studio / Xiaomi box et j'en passe disponibles le prix des "vieilles" cartes encore rapide mais en faible capacité (en particulier sur tout ce qui fera 32GB ou moins) descendra assez violemment.  
 
Ca fera pas plaisir d'acheter de la RAM comme en 2025 ou des GPU comme à l'époque du prix suggéré de la 1080 mais 500w pour faire tourner un agent H24 (environ 1000 balles TTC d'elec au tarif actuel) ce sera juste pas possible et vu comme un hobby de geek ...
 
Enfin j'espère  

A mon avis ils vont se démerder pour brider fortement les Tensor core des futures gammes pro et semi pro NV (la partie tensors pour DLSS restera complète) et demander à payer un fee pour tout avoir bien activé chaque année. Tu pourras quand même faire tourner une IA mais avec une fraction de ce que la carte permet réellement.  
 
En tous cas ce serait l'approche la plus simple si ils veulent toucher le plus de monde possible sans trop faire râler le particulier. On en saura plus quand les plateformes vera rubin seront commercialisées dans des formats autres que pour les hyperscalers

 
Oui, justement j'ai du mal a comprendre de quel soft ils parlent, si ils veulent ajouter ces $2k à l'existant. Enfin ça va pas nous concerner
 

 
La grosse enculade mais c'est bien à ce genre de trucs que je pensais.

 
Mais qui va produire de la DDR6 et pour quel clients? Les nouvelles usines vont continuer a produire de la HBM et des GPU datacenter pendant un moment. Il y a déjà la capacité pour faire de la DDR5, des petits GPUs, des SSDs, mais personne n'en fait plus, c'est bien ça le problème... Même MS est en galère avec sa Xboite a 2000 euros:
https://arstechnica.com/gaming/2026 [...] 800-price/

t'as le marché du PC qui est en train de s'effondrer (genre méchamment) :

 
Côté gros cloud ils passent en net pertes pour la première fois :

 
Ils arrivent pas à trouver assez de murs / electrons pour héberger ce qui arrive (ça veut dire zero nouveau revenu pour tout ce matos)
 
Les neo clouds commencent à accuser le coup / coût (leur dette est plus difficile à financer) :
https://www.top1markets.com/news/wh [...] i-debt-f28
 
Côté géants de l'IA ça commence à sentir mauvais : 20% des revenus d'anthropic viennent de deux clients. L'ambiance pour la fin de l'année en entreprise est plus à la retenue dans les dépenses qu'au token maxing qu'on voyait partout y'a 6 mois à peine.
 
Je sais pas si ça va finir en crash, en respiration, en pause mais je vois pas le truc continuer comme ça encore très longtemps après l'IPO d'Anthropic. Les fabricants de puces vont avoir besoin de nous vendre du neuf  assez rapidement après je pense

J'aimerais bien que ça redescende, mais je doute que ça arrive vite.
 
AWS je sais pas comment ils font pour perdre des sous, ils doivent investir a mort. En tout cas au taf on a eu plusieurs outages ou near miss car il n'y avait plus de GPU dispo chez AWS, résultat les ops/SRE conseillent d'upscale le nombre d'instance GPU au cas ou

si vous avez choisi la région Irlande vous êtes pas dans la merde
 
Pas de jaloux n'importe où ailleurs : faut se lever tôt pour avoir de la ressource et plus la lâcher  
 
Mais il n'empêche que les usines sont saturées à cause du rythme actuel. Dés qu'il baissera (et ça va baisser même avec des DC sur la Lune) y'aura de la capa en trop. Ca baissera pas autant qu'on pourrai l’espérer (j'y crois à la vague agentique partout !) mais beaucoup de matos va se retrouver désuet type les gammes 30X0 ou 50X0 qui n'auront pas assez de vRAM. pareil avec tout ce qui sera DDR4 et partiellement la DDR5 une fois qu'on voudra nous fourrer les stocks de wafers en mode vous n'en vouliez plus à la fréquence / prix actuels mais whathabout en DDR6 ?    
 
Évidemment on aura pas les prix de juin 2025 mais ce sera pas non plus les prix de mi 2026
 
Côté Nvidia ils sont malins ils basculeront le trop plein de production de GPU IA sous forme de machines pour particuliers argentés avec le successeur du Spark à base de morceaux de vera rubin "accidentés" comme pour les gammes d'ex GPUs de minage qui étaient parfaitement utilisables en A100 depuis le départ  

l'article sur clubic qui parle d'une bulle qui semble vouloir éclater