Reprise du message précédent :

Merci , on peut esperer faire tourner quoi correctement a ton avis avec le Mini M6 32 GB ?

 
Ces prix sont scandaleux
 
Tu divises par 2 ça aurait été ultra compétitif et très tentant.

Rien de plus que ce qu'une 5090 fait tourner.

Le best bet rapport qualité/prix c'est d'attendre les prochains ryzen 495 Pro max+ avec 196go de ram

En l'état actuel de la situation, soit ça n'a pas assez de ram pour les gros modèles, soit c'est overpricé à base de 10k€ en premier prix. Je doute qu'AMD facture 10.000€ leur prochain cpu AI sachant que le 395 est plutot abordable.

J’ai lu quelqu’un estimer son prix à 2k€. Je pense qu’il a regardé les prix de la ram de l’été 2025 pour faire son estimation

Si seulement..... Il a du oublier un zéro

méfiez vous, les prix se sont envolés dernièrement sur à peu prêt tous les modèles occidentaux. La machine la plus abordable en 395+ prend 100€ tous les deux mois. Je pense que dans le meilleurs des cas il faudra s'attendre à 4000 balles (le prix du gb10) vu les 64GO supplémentaires par rapport à lui et j'imagine trois autres optimisations par ci par là.
 
Par contre si le marché est saturé avec la MI ai box, Apple et si la gb10 devient "désuète" (plus assez de ram) il pourrait y avoir de bonnes affaire à faire sur le 395+  

 
 
Je tourne avec huihui_ai/Qwen3.8-abliterated
 
 
Petit retour/comparo sur les versions abliterated de Qwen 3.8 27B :
 
• huihui_ai (approche chirurgicale / conservatrice) :
- L'auteur privilégie la rétention des capacités cognitives et le mode de raisonnement (<think> ).
- Les premières couches (syntaxe et parsing de base), la tour de vision et les têtes MTP (Multi-Token Prediction) restent totalement intactes.
- Résultat : Excellent maintien des performances en dev/logique, tout en éliminant les refus standard (over-refusal). Très bon compromis pour un usage quotidien/agent.
 
• OBLITERATUS (approche agressive / brute force) :
- Projection orthogonale systématique des vecteurs de refus appliquée sur l'intégralité des couches.
- Résultat : Taux de refus quasi nul (0% sur les suites de test, modèle 100% débridé), mais au prix d'une légère dégradation de la perplexité et de la précision sur le code pointu et les maths complexes.
 
En résumé :
Prenez huihui_ai par défaut pour coder et raisonner proprement sans refus absurdes ; passez sur OBLITERATUS uniquement si vous cherchez du uncensored total sans aucune friction.

 
Techniquement tu peux tabler sur 24GB max pour le modèle et le contexte, un chouilla plus en bidouillant. Donc un Qwen 27B/35B Q5/Q6 pas beaucoup mieux. Après faut voir la vitesse du SSD et si Apple a rajouté des trucs pour le streaming, ya peut être moyen d'avoir des modèles plus gros. Je suis curieux de voir ce que le m6 apporte de nouveau.
 

 
Aucun rapport, une 5090 c'est quasi 5000 euros, et a ce prix tu doit rajouter un système autour, donc au moins 7000 euros en tout, le m6 32GB est a 1500 ...
A ce prix t'as un un m5 Max avec 128GB...
 
Pareil pour les autres systèmes, pas du tout le même genre de prix.

Et les perfs sont les même ?  

 
Je pense que le m5 sera beaucoup plus rapide pour un gros modèle genre 100GB la ou la 5090 pourra rien faire avec 32GB de VRAM et le peu de DDR5 que tu auras pu te payer. Après si ton modèle est un MoE tu peux faire des trucs.
 
Avec ta machine a 7000 balles tu peux même pas faire tourner Qwen 3.8 27B non quantifié, il fait 55GB!

Ouais, si tu sors de la VRAM dispo et que le GPU se tourne les pouces a attendre, ça complique c'est sur ^^
 
En fait ma réflexion c'était surtout sur quel est l'objectif. En hobbyste fortuné, c'est bien, ça permets de jouer "que" pour 5k euros.  
Mais je me dis que quand c'est pour le boulot, faudrait aussi voir le cout horaire des gens qui attendent dans l'équation. Donc rajouter quelques 5090 et avoir une machine plus chère a l'achat vaut surement le cout.

Le problème c'est que pour 5000 euros tu joues pas a grand chose niveau LLM, déjà ta que le GPU a ce prix. Si tu vas chez Apple, ou prends un Strix ou un Spark t'as un système complet, cohérent et bien supporté.
 
Pour le boulot, ça dépends de ce que tu fais, mais je me serais pas orienté vers des 5090. Vaut mieux partir sur des RTX PRO ou l'équivalent AMD.

si quelqu'un connait un fournisseur de Jalapeno qu'il me fasse signe
https://openai.com/index/jalapeno-first-results/

Ouais je suis d’accord, à 5000 tu as pas le budget pour bosser ou faut faire avec les solution cloud.
 
Et pour jouer, bah ouais pourquoi pas les spark et Apple

il y a un fine tune du 3.6 35B pour hermes et les tool calling que j'utilise aussi (j'ai vu qu'il était passé en V10).
edit: LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V10-GGUF

Le truc surtout, c'est que si c'est pour le boulot, faut pas raisonner en coût d'achat mais en coût d'opération (et en HT)

Donc ton studio à ~5000 balles en capex, ça fait à peine 105 euros par mois sur 4 ans. Le prix d'un abo claude 5x.

Bon après faut s'imaginer la capacité d'un Claude x5 dans 4 ans vs ton mac studio dépassé quoi

 
Et Claude sera peut-être à 300€/ mois dans 5 ans
 
En entreprise, faut aussi prendre en considération que tu ne vas pas envoyer tes data vers les USA

 
Ça dépend quelle entreprise.
Le client potentiel du Studio c'est plus la PME du coin ou l’entrepreneur solo que la boîte de défense du cac 40.
Donc osef pour ceux là dans 99% des cas non ?
 
En terme d'output, je ne me rends pas compte si un studio à 5k sort quelque chose de comparable à un claude 5x cela dit.
(Modulo le temps de réponse qui sera toujours un peu plus long en local)
 
Vous avez une idée ?

avec l'arrivée d'hardware spécialisé (TPU, jalapeno, l'équipe qu'est en train de monter ANthropic) on peut s'attendre à une belle optimisation si en plus les chinois continuent de monter des modèles solides avec trois GPU chopés au fond d'une cale de bateau et d'optimiser les coûts d'entrainement.
 
J'ai l'impression qu'on va vers une époque où le AI slope sera facile et peu couteux à produire par n'importe qui.  
 
Y'a de la marge encore pour de la vraie IA par contre et l'archi actuelle me semble peu efficiente pour y arriver chez les gros players comme à la maison

Ils ont fait passer la bande passante de la RAM de 820 GB/s à 1.2 TB/s les cochons sur le M5 Ultra.
 
Combiné avec les GPU Neural Accelerators et un ssd 2x plus rapide ça promet ~30/50% de tokens/s en plus.

 
Tu veux dire de pomper sur les modèles US ?

c'est ce que disent les ricains. Les mêmes qui ont pompé les datas de tout le monde sans demander d'abord

 
Je suis peut-être matrixié par mon domaine, mais je t'assure que PERSONNE ne veut que son fichier client ne sorte des murs de l'entreprise.

Nouveau sondage  

 
Sachant que le prix d'introduction de la 5090 était de 2000 euros et aurais du descendre si on avait une économie comme avant. Les solutions basées sur NVidia sont difficilement rentables si on chercher autre chose que la perf pure.

Apres bon y'a Claude qui me refuse en ce moment de bosser sur des fichiers dont j'ai besoin, et qui me sort un refus strict alors qu'il avait déjà bossé dessus dans une session précédente.

1ere session : pas de problème on fonnnnnnce
2e session : je vois que ces fichiers sont potentiellement soumis à une licence alors je veux rien entendre patati patata c'est comme ça je changerai pas d'avis patati patata

J'ai beau lui expliquer que j'ai la licence sur ces fichiers + il a déjà bossé avant dessus, il a pris sa décision et s'entête dans sa mauvaise foi du genre "oui mais c'était une erreur de ma part dans la précédente session, je n'aurais pas du, patati patata va voir ailleurs patati patata c'est toujours non". Y'a rien a faire pour lui faire changer d'avis.

Voilà pourquoi je suis tenté de prendre une IA en local qui n'a pas ces foutues restrictions

 
Ouais, mais généralement ces personnes n'ont aucun soucis à mettre leur fichiers sur OneDrive, Exchange365/Outlook...  

Bon je note qu'on est un topic de riches IA-fauchés qui ne prévient pas quand on écrit n'importe quoi dans le sondage

Moi j'avoue que ça me tente bien de prendre le truc à 13K bien que mon usage soit trèèèèèèèèèès limité maintenant mais bon, je suis freelance donc j'ai pas le même ressenti.
 
Si c'était en perso, par contre, c'était non à 100%
 
edit :entre hier et maintenant, on est passé d'une livraison le 20 octobre au... 20 novembre pour le 256go    
 
/FOMO  

Perso le local c'est :
1 pour faire mumuse
2 une geekerie

Mais aussi pouvoir faire du pr0n sans avoir la gendarmerie nationale qui toque a 7h du matin  

Par contre clairement, 32gb de vram et qwen ça commence a pouvoir suffire dans beaucoup de cas d'usage.
Mais en face les coûts d'inférence sont globalement de plus en plus bas au ratio perf/token grâce à la concurrence....
Et les abonnements aussi

 
Je pensais que "bablemeLes" était un mème de djeuns que j'étais trop vieux pour comprendre

 
Pareil
 
J'ai mon rig IA qui tourne juste pour voir ce a quoi il arrivera. Limite OSEF du résultat. La ça fait plus de 6 jours qu'il tourne sur le même prompt 2.5M de tokens. Je pense que je peux dire que CC est stable
Peut être que le mettrais a bosser sur ReactOS ensuite
 

 
C'est sur que pour bosser c'est pas rentable le local, mais pour s'amuser en YOLO c'est mieux.

4000 européens pour ça en tarif éducation :
 
Mac Studio avec puce M5 Max
CPU 18 cœurs, GPU 40 cœurs, Neural Engine 16 cœurs
64 Go de mémoire unifiée
1 To de stockage
 
   
 
Ça commence à être sympa en local

64Go ça tombe pas rond, il faut 128

c'est pas mal t'as toujours moins de ram que sur le strix halo mais ça devrait tourner deux fois plus vite. On a vu pire deal chez la pomme

 
Ouais c'est pas dégueulasse.  
 
Niveau revente sur un studio tu t'en sors mieux.
Et effectivement on devrait avoir au moins 2x plus de tokens/s.
(sans compter le risque de throttling sur se Strix Halo   )

 
C'est jamais rond  

 
Je trouve les nouveaux prix affligeants par rapport au M3 ultra mais en l'état du marché le deal est bon. Ca va peut être faire un peu bouger nvidia sur le haut de gamme (+ de VRAM ou une alternative plus competitive (gb20 ?) que le RTX pro 6000 avec plus de VRAM et un chouille moins de rapidité pour avoir quelque chose à aligner face à Apple

avec deux mac studio 512GB tu as un 1 TB de RAM si les chiffres ronds vous plaisent

Surtout qu'en local aujourd'hui, il vaut mieux passer à 256Go de ram que de passer de 1.2Tb/s à 1.8Tb/s.

Après au lieu de same money, ils auraient dû faire same RAM et là ton Ultra il tombe à <7,000$  

Question pour les pros ou amateurs éclairés

Pour un projet avec pas mal de RAG et de l'analyse de texte avec raisonnement (no code), quelle version de qwen 3.8 il vaut mieux prendre sachant que je souhaite contexte max et que j'ai que 30Go de VRAM dispo environ ?
J'hésite entre UD_IQ4_XS chez unsloth ou du UD_Q4_K_XL mais il y a 3Go de diff et la taille du contexte est vraiment un critère important.
En Q6, j'arrive à gratter que 66k de contexte par exemple