Reprise du message précédent :
Ça a l’air plus qu’utilisable même pour une petite équipe

 
J'ai la team au complet qui n'attend qu'a etre branchee  

 
L'enorme avantage c'est que tu as 3000+ de prefill sur tout ton contexte... donc jusqu'a 262k...

Tu en as eu pour combien ?
 
Tu as avais un modèle en tête pour les 196GB

 
1550 la carte.
 
Je vais en monter 4 pour sur. Faire un rig avec 6 cartes commence a poser pas mal de challenges niveau PSU et cooling... Donc 4 + 2 me semble le split a faire.

joli budget mais le resultat est à la hauteur

T'es dur avec DavidAU non ?
Au moins il met à jour lui pas comme Atomic chat

bordel
par contre, faut la cm qui suit non (même pour 4) ?

 
J'ai du tester 2 modèles DavidAU, pas convaincu.
Atomic chat, assez déçu par le résultat au final.

 
J'ai un B850 proart, je vais tester
 
PCIE5 8x | 2 ports
 
M2.PCIE5 4x -> adapter | 2 ports
 
Si jamais ca merde, j'aviserais, peut etre gonfler la ram et rester sur 2.

j'attends les 1er résultats avec impatience du coup

edit: en tout cas les gigabyte sur amazon, y'en a plus "bon marché"

Vous avez vu : https://huggingface.co/XiaomiMiMo/M [...] ll-Qwen-9B ?  
 
Ca a l'air de vraiment bump up le niveau de qwen 9B !

Oui, c'est surprenant une boite qui fait un distil de son propre modèle avec celui d'un concurrent!

Xiaomi a aussi sorti MiMO V2.6 flash/pro

GGUF or didn't happen

des gguf pour Mimo V2.6 flash, il y en a plein

edit: par exemple => https://huggingface.co/AesSedai/MiMo-V2.6-Flash-GGUF

Hier il n'y avait que le 9B, mais bon de toute manière c'est trop gros pour moi

 
9B trop gros !?

 
Non, flash/pro.

J'ai pas fait gaffe mais le flash, ça passe sur un strix halo ?
ou bien il est trop amputé pour que ce soit "rentable" ?

En règle générale tu veux rester sur un dérivé de Q4 ou supérieur pour maintenir la qualité / cohérence des réponses. J’ai déjà un peu joué en dessous mais c’est un coup à rapidement se brûler les ailes /////////////

ok
donc ça sera forcément pas évident même sur les nouveaux strix halo 192Go de RAM de faire tenir ce genre de truc avec une précision suffisante

 
Qwen 3.8 flash next ? Biensur. J'utilise halogen dessus, je posterai des benchs ce soir.

Mimo V2.6 Flash
Mais je pense pas

entre un MBP M1 Max avec 64Go ou un MBP M3 Pro ou M4 Pro et 32Go ?

 
Ha, celui la non je pense pas.

 
C'est juste pour faire de l'IA ou ça va servir a d'autres trucs en plus?
 
En gardant 8GB pour l'OS et le reste, ce qui n'est pas beaucoup, ça fait 24 vs 56, pas du tout le même genre de modèles. Avec 56GB tu peux charger des gros modèles mais ils seront lent, mais c'est mieux que rien. Après si c'est pour s'en servir en plus, un m1 c'est quand même un vieux truc, et un m4 Pro c'est mieux
 
J'ai un un m4 pro 48GB pour le taf, et en ce moment j'ai 16GB de pris en "Active" et 16GB en "Inactive", bon j'ai du merdier Docker, Zoom, IntelliJ, Claude, Firefox, Outlook ...

J'ai demandé à chatgpt de me faire un benchmark sur llama.cpp, il rigole pas  
 
Protocole
 
1. Verification de toutes les parties par SHA-256 contre les empreintes du manifeste Hugging Face.
 
2. Test court par variante : 20 threads, pp32 et tg8, une repetition avec echauffement.
 
3. Premiere passe : AVX2 puis AVX-512, 10/20/30/40 threads, pp512 et tg128, cinq repetitions avec echauffement.
 
4. Deuxieme passe : AVX-512 puis AVX2, memes parametres.
 
5. Validation des sorties JSON, puis synthese des dix repetitions par configuration : moyenne, ecart-type et gain AVX-512.
 
Ordre de traitement
 
Qwen3.5-122B-A10B Q4_K_M
Mistral Large Instruct 2411 123B Q4_K_M
Qwen3.5-397B-A17B Q4_K_M
Llama 3.1 405B Instruct Q4_K_M
 
 
C'est EDF qui vont être content

ça va être long pour les modèles denses

C'est clair.

C'est quoi le but? Pourquoi utiliser des modèle obsolètes?

Non, voir si utiliser avx512 apporte quelque chose.
 
Pour les modèles n'ayant pas les ref, je lui laisse le choix de ce qu'il veut tester, ça ne changera rien au delta avx2/512 je pense.

 
Un Bosgame 128Go

Mimo V2.6 pro plus "intelligent" que Qwen 3.8 max

C’est pour de lia principalement. Et même pour bosser le max doit être cool quand même non ?
Modèles plus gros mais lents ? À cause du cpu ?

 
Déjà je pense qu'avec llama.cpp de base il n'y aura pas une différence énorme, tu devrais essayer ik_llama a la place.
Pour les modèles a 400B de paramètres tu vas être a des vitesses très basses, ça te prendre des années de bench. Déjà, essaye Qwen 3.6 35B, ça sera plus utile. Je suis curieux de combien de minutes tu vas mettre pour générer un token avec Llama 3.1 405B

Ca veut dire quoi pour de l'IA ?
T'as des attentes précises ?  
 
Dans tous les cas, M1 Max clairement.
Bande passante ram ++ (400GB/s vs 273GB/s sur le M4 Pro).
Et 64Go vs 32Go bah y a pas photo quoi
Tu pourras faire tourner des 70B ou de gros MoE.  
Mais ça sera lent quoi
 
C'est quel budget tout ça ?
 

 
Le max doit être pas mal du tout, bien meilleur que le m4 pro probablement. C'est juste qu'il faut voir le prix que tu vas payer et surtout combien de temps Apple va encore le supporter?
 
Avec le m1 max 64GB tu pourrais peut être charger Qwen 3.8 Next Flash, chose complètement impossible avec 32GB. Il sera sûrement plus lent qu'un 35B sur m4 pro. En fait c'est un peu ma situation, 35B tourne bien sur mon merdier, mais je préfère essayer de bidouiller Qwen 3.8 Next Flash a 5 tg/s qu'avoir 35B a 50/s . Je sais pas si j'ai été très clair sur ce que je voulais dire .

mais pourquoi ce sera lent ?  
ca se trouve sur leboncoin autour des 1500, il faut guetter.

Qwen 35B tourne aussi sur le 64 en théorie non ? Aussi vite que sur le M4 Pro ?

q38fn sur Strix 128GB via halogen