Reprise du message précédent :
Est-ce que quelqu'un ici a un serveur avec au moins 192 ou 320go de ram pour effectuer un calcul python et me rendre un petit service ?

En dessous c'est mort, et mes 32go de ram sur mon pc ça va pas suffire

Oui je sais que poser cette question là en pleine pénurie de ram...

Pour les curieux, je tente de calculer de l'entropie sur une absorption de positivité de signe des nombres premiers (forme de weil pour RH) via une construction par des matrices de hadamard. Pour 1024 et 2048 matrices ça me demande respectivement entre 80 et 120go de ram / 220/320go (sans optimisations). La VM de ChatGPT n'a que 32go de ram aussi donc ça coince un peu

Envoie un MP à Joce. M’enfin si c’est rapide t’es pas plus mal à louer un serveur quelques minutes via les crédits gratuits d’un fournisseur quelconque

 
Si tu peux attendre ce weekend, je te donne un accès sur celui que je vais rebrancher.

chapeau

 
 
 
Pas de souci ça peut attendre ce weekend, merci beaucoup, je t'enverrai un MP.

Je ne sais pas si c'est lié aux mise à jour dUnsloth studio et de son runetime llama.cpp
mais le LLM Qwen3.8-27B chargé sur son server APi semble bien moins perdre de temps a réfléchir      
 

 
Et il est toujours aussi performant niveau code python (d'ailleurs on vient de trouver un moyen pour activer une feature qui semblait pas faisable auparavant...)
 
ps: et son <thinking> est maintenant en français   :  
L'utilisateur veut vérifier que tout est bien figé sur disque avant de faire une pause. Laisse-moi faire un dernier check rapide pour confirmer que tous les fichiers modifiés cette session sont bien sauvegardés.

peut être des paramètres plus adaptés. Toujours bon à prendre

Décision difficile mais nécessaire ici    : le strix halo quitte l'aventure du rack principal (le NAS trouve que ses disques méritent mieux que 50°C pour le disque le plus chaud) et va finir relégué au rack de la dépendance : le switch qui l'y attend se fiche de finir dans un sauna

Bon, j'ai testé qwen 3.8 27b sur le mac 24Go ca passe pas (LM Studio : pas assez de mémoire, alors que c'est eux qui m'ont recommandé ce modele adapté )  
Qui utilise des IA locales sur un mac 24Go, quel modele, quel parametres? lm studio ou llama.cpp ?

quel quantisation pour le modèle ? Tu as le qwen3.8 27b 4 bit MLX qui pèse 16Go. ça passe
De base ton gpu est limité à 75% de ta RAM faut lui passer
sudo sysctl iogpu.wired_limit_mb=20000
 
attention c'est agressif, ça va te laisser 4GB pour le système. J'espère que tu as un autre ordinateur pour faire des trucs à côté ?  
 
Si il ne te laisse pas charger le modèle tu dois appuyer sur la touche option du clavier pour que le bouton redevienne cliquable (ça revient à debrayer la sécurité et serrer les fesses pour que ça ne parte pas en out of memory. Attention quand même ^^)

p'tit dashboard bien pratique qui récupère les stats llamacpp ( / metrics ) et ceux de rocm-smi pour surveiller ce que fait mon modèle / les agents :

 
Ca permet de pleurer un peu sur la faible memory usage avec ce qwen 3.8 flash next optimisé : https://atomic.chat/blog/guides/how [...] xt-locally
J'espère qu'ils trouveront un moyen de mettre en place le RoPE/YaRN pour monter le contexte à 1M. J'ai essayé en mode brutasse et llama reserve plus de mémoire sans laisser utiliser plus de 260k tokens

 
qwen3.8 27b 4 bit MLX qui pèse 16Go. => jai pas vu le mot 4B sur LM studio (ils le cachent qq part) mais oui, cest ce que j'ai, avec les 16Go. jai voulu tester vite fait ca passait pas. je fais du dev avec claude cloud a coté, donc a partir du moment ou je peux avoir un onglet chrome/claude desktop ouvert ca me suffit. je vais tester ton parametre de ram.  
tu lui laisse combien de contexte avec ca ?

d'après la reglette magique lm studio : 12k. Au dessus tu arrives à plus de 20GO en RAM

Au rang des cartes qui vont interesser tout le monde :

https://hardwareand.co/actualites/l [...] w-pour-lia

Intel Crescent Island, jusqu'à 480go de ram sur une carte

Spécialement dédiée à l'IA, pas de raytracing, 350w

Un petit setup avec 2 cartes je dirais pas non

ça va être sympa l'année prochaine, entre ces cartes, la xiaomi AI box etc

C'te virage que ça a pris

Honnetement Intel est pas con sur le coup, plutot que de faire des cartes de jeu et concurrencer nvidia (chose impossible), faire des cartes AI pour l'avoir en local ils peuvent se faire des couilles en or. Si c'est bien pricé et qu'ils font eux meme la ram dans leur usines de gravure, ça peut être intéressant. Il faudra voir s'ils ont sur la carte des trucs équivalent a ce que xiaomi prévoit sur sa box avec des chip qui accélèrent l'inférence et le prefill
S'ils vendent les 480gb au meme prix que les 96gb de blackwell pro le match sera plié.

 
En fait c'est un peu des menteurs AtomicChat o:

 
Sachant que c'est les gars d'Unsloth qui font les PRs de llama.cpp pour offload les ngrams sur disque. En plus leur IQ4_XS est un IQ1_M en réalité, voir ça au chargement de llama.cpp: file type   = IQ1_M - 1.75 bpw

 
Le KLD est meilleure sur le UD-IQ1_M d'Unsloth!

j'ai lancé ta commande ça ma répondu : iogpu.wired_limit_mb: 0 -> 20000
Jai mis le contexte a 4K pour être sur
Et quand je lance un prompt :
 
Error
The selected model could not be loaded because your machine does not have enough available memory.
 
Try one of the following:
• Reduce load on your machine (close apps you're not using) and try again.
• Choose a smaller model or adjust model loading guardrails in Local Model Defaults.

 
Mouaif pas convaincu, 480GB de VRAM c'est bien, mais c'est de la DDR5. Si tu charges un gros modèle tu auras un prefill de merde vu la BP. Et avec 350W seulement, il doit pas y avoir des tonnes d'unité de calcul, le tg/s sera famélique. Niveau soft, Intel est un peu a la ramasse comparé a NV ou AMD. Faut pas s'étonner de plus trouver de DDR5 si les industriels sortent des cartes alacon comme ça.
 
Vu que NV laisse tomber le marché gamer et que les cartes Intel sont plutôt très bonnes pour le prix, Intel devrait pas laisser tomber au contraire.
 
Bon on verra bien une fois les bench et les prix sortis, mais elle ne fera pas d'ombre au Blackwells sur leur terrain.
 
Pour la box Xiaomi, si le prix est bon, ils ont moyen de frapper fort par contre. Mais il y a pas mal d'inconnues, le plus gênant c'est que c'est un SoC custom ARM donc le support pourrait être plus compliqué que du x86 ou on fait tourner ce qu'on veut. Coté GPU pareil, c'est pas dis que ça soit de tout repos. J'imagine que ça va se vendre comme des petit pains, il faudra commander et parier sur le support long terme de la bête.

Rien ne t'empeche d'en prendre une pour la ram et à côté mettre une blackwell pro

Faudra voir les benchs, mais mettre 480go de ram si c'est pour avoir du compute riquiqui c'est pas forcément judicieux oui

C’est plus complique Que ça encore : y’a un bout en un , un autre en deux et encore un autre en 4 ou 5 selon la mémoire disponible. Pour l’instant j’ai pas décelé de problème de qualité et c’est carrément plus rapide qu’en 4 « consistant »
 
Si Qwen 4 suit la même tendance on va pouvoir faire beaucoup plus avec notre matos actuel. Ce sera quand même rapidement désuet mais on aura plusieurs classes de modèles avec lesquels on pourra jouer

Faut que tu fermes tout avant et éventuellement relancer ton navigateur avec un tab à côté. Mais si tu gardes Claude code je pense sue c’est mort pour consommer moins de 4go

 
12k de contexte, autant dire inutile non ?
A part dire, ça rentre  

Le chip AMD strix halo consomme… 80watts au travail. 350 watts y’a moyen d’en faire une (mini) fusée en comparaison

C’est pas pour rien que je te dis d’en prendre plus. Mais 12k c’est pas inutile non plus si tu bosses sur des morceaux de projet bien compartimentés

Dilemme avec ma RAM. Il y a 3 ans, je voulais commander 2x16 Go. Je me suis trompé, j'ai reçu une barrette de 32 Go. Sur le moment, je me suis dit que ce n'était pas grave. Aujourd'hui, je me rends compte que c'est une erreur. Le single channel, c'est une catastrophe pour la bande passante. Je perds 50% par rapport à du dual channel. 25,6 Go/s en moins, c'est énorme pour IA en offloading  sur le CPU.

Je me suis dit que j'allais racheter une barrette de 32 Go pour faire du dual channel. Mais aux prix actuels, c'est mort.  

Du coup, j'ai pensé à une autre solution. Utiliser des barrettes qui dorment dans un tiroir. J'ai 2x8 Go en 2400 et 2x8 Go en 3200 SODIMM. Avec des adaptateurs, je peux les mettre sur la carte mère et avoir 32 Go en dual channel.

Bande passante estimée 46,4 Go/s au lieu de 25,6 Go/s, si je les pousse a 2900.  C'est un vrai gain, et je pourrais vendre ma barrette de 32Go

Qu'est-ce que vous en pensez ?.

 
Ya au moins pour 8000 balles de RAM sur la carte, donc ça sent le 10k grand minimum pour la carte, je serais pas surpris que ça soit le double a la sortie...
Je vois pas trop qui mettrait autant dans une carte au support en carton

Oui, c'est le principe des quants dynamiques, c'est d'ailleurs pour ça le AD dans le nom, comme les UD. Mais la les ngrams sont en Q8 et les actifs en Q1 ou Q2, ça fait peut être une moyenne en Q4, mais c'est pas vraiment honnête. De mon coté il est quand même bien partis en couille après 24h de compute. Après les séries de "Oh wait", il a fini par juste afficher /////////// et claude-code a fini par agir a ma grande surprise. Il a coupé le thinking en lui disant qu'il était partis en boucle! Si ça se trouve il l'avait déjà fait avant. Je pense tester le UD en Q4 avec plus de layers en CPU pour voir.
 
La je suis repassé sur 27B pour le moment.
 

 
Quand le prochain successeur du 35B va sortir ça va être une tuerie, limite on peut garder les ngrams tel quels  
 
 

 
Reste a espérer que c'est pas juste Intel qui est moins efficace qu'AMD... ça serait pas la première fois

 
Est-ce que ça change beaucoup la BP RAM pour de l'inférence? C'est pas plutôt le CPU qui est limitant?
Il me semble que llama.cpp a du LRU pour le MoE dans les plans, ça minimiserait un peu le besoin en BP.
 
A ta place je testerais avec le matos que tu as déjà, fais un bench MoE avec 32GB, puis le même avec tes 2x8 Go en 2400 pour voir. Tu peux même tester un dense pour voir le pire cas.
 
Ensuite, si ya pas de diff, tu mets 32GB + 2*8GB et t'as 48GB gratos

Y'a écrit Intel

Une des questions c'est la bande passante de la mémoire embarquée, un commentaire ici estime 1,3TB/s :

 
C'est pas mal en chiffre brut, mais il faut mettre ça en rapport avec le compute. Les cartes AMD et NV sont a 600W, il est peu probable qu'Intel soit aussi efficace, mais admettons qu'elle soit juste que 2x plus lente avec ses 350W. AMD a 144GB et NV 96GB, le rapport compute/VRAM est complètement déséquilibré, on a 2x moins de compute pour 4/5x plus de RAM.
 
Si l'archi de Qwen4 se démocratise avec ses ngrams sur SSD ou même RAM, cette carte en version 480GB sera pas pertinente. Après ça doit pas coûter grand-chose a Intel d'ajouter plus ou moins de RAM. Une carte dans les 100GB a bon prix pourrait être intéressante.

Bon, Fable 5.1 vient de me convaincre d'abandonner le M3 Ultra :
 

 
C'est énorme comme différence  

Si quelqu’un veut un Mac mini M1 Pro avec 32Go de ram pour 650€ :  
 
Voici une annonce intéressante que je viens de trouver sur leboncoin : https://www.leboncoin.fr/ad/ordinateurs/3261452115

Je ne regrette pas mon Strix halo. Ca devrait aller avec un m3 ultra monstrueux.  
 
Pense aussi que tu feras d'autres trucs à côté avec ton mac studio (pi / hermes / open claw (par ordre de douleur pour ton studio) 30GB de plus c'est quand même mieux. Après si tu peux avoir un M5 ultra avec 96GB de RAM ...  

2/5 of my CMP 170HX have died after 2 weeks and the 3rd came with defective tensor cores. Current prices DO NOT justify the risk you are taking
https://www.reddit.com/r/LocalLLaMA [...] weeks_and/
 
Donc a $200 ça valait le coup, mais pas plus. Au final c'est logique que NV ait fait un minimum de tests poussés sur des chips aussi chères avant de les biner. Sur les BC250 j'imagine que ce sont des batchs entiers qui ont du partir si un pourcentage donné passait pas les tests.

Sinon déménagement sur Strix halo fait : le NAS et en particulier les disques ont juste perdu 8°. Le Strix halo a perdu 18°
 
Voilà hésitez pas à prendre un rack bunker IP65 et à y coller un chauffage l'été.  

Surtout Sony a vu le bordel des X360 qui mourraient en pagaille et le coût de leur rapatriement. Nvidia peut toujours dire que la carte a été usée trop vite pas un usage soutenu H24. La PS5 doit tourner 5 ans dans le salon d'un fumeur qui élève des moutons de poussière en seconde activité

 
Sans parler de l'image de marque
 
NVidia s'en cogne des cartes CMP/BC250 qui lâchent, surtout des années après leur vente. Elle doivent avoir 90 voir 30 jours de SAV pour les CMP, si c'est NV qui les fait, les BC c'est ASRock donc le SAV doit être plus court encore.
 
Sur ebay les CMP 170HX sont a plus de $2000 avec unlock, donc si tu peux en chopper une moins chère sans unlock tu peux être sur qu'elle a un soucis.

Bon, Claude me dirige de plus en plus vers ça :

Mini PC Asus Ascent GX10 GB10 128GB 1TB SSD NVIDIA Blackwell WiFi 7
Mini PC Lenovo ThinkStation PGX NVIDIA GB10 128GB 1TB SSD Blackwell DGX OS Wi-Fi 7

Edit: mes liens sont morts, les prix plus dispos

Il me dit à juste titre que le gap de prix ne vaut pas le coup.
Ce qu'on gagne en bande passante RAM sur le Mac, on le perd en prefill time et en multiple threads.
Au final c'est kiffe kiffe. Voire mieux pour mon usage (plusieurs agents).

Et on gagne Cuda    

Et surtout on gagne 1400 euros

C'est pas ce que je ferai en premier choix mais je pense que c'est viable

Je test un nouveau workflow ici :
J'écris mon cahier des charges un peu brut à Claude pour qu'il me le rephrase au propre puis je corrige une dernière fois pour que ce soit comme je le souhaite
J'enregistre tout ce qui est token et infos sensibles dans un secret-tool (ça évite les 15 allers retours inutiles sur le fait qu'il ne sait pas où stocker le bordel proprement et qu'un fichier pourrait fonctionner mais oups le chmod 600 encore et encore )
je lance sur pi dev  
 
j'attends    
 
Sinon j'aime bien pi dev. Clairement brut de décoffrage mais comme il me recopie tout ce qu'ils se passe derrière je comprend là où le modèle perd du temps pour corriger et ça fait un vrai potentiel gain pour la communauté (moins de plugins qui existent qu'avec les autres harness mais qui pourraient être utiles à moi et la communauté si j'arrive à sortir des trucs propres)