Reprise du message précédent :
Is Flint the Killer of Qwen 3.8 27B? (First RSI Model)
Kai
https://www.youtube.com/watch?v=RmE4G6MhOVU
 
TL;DR: premier modèle intéressant mais limité sur les contextes 10k+. Intéressant sur plein de petits contextes en parallèle.  

j'ai testé sur le bc-250 flint en petit modèle à tout faire (ud3_k_xl)
pas mal mais la génération s'effondre vite avec la taille du contexte.
faudrait que je teste sur du code
mais maintenant que mon gpu principal tourne à fond sous strata, j'ai du mal à voir l'intérêt pour du code

 
Joli    

C'est quand même dingue cette histoire de CMP 170HX  

 
Et c'est pas fini...
Mais bon maintenant elles sont au prix des A100 40G SXM4 ca perd son intérêt

Une idée de combien de W tu vas consommer avec ça ?
 
Niveau prix ça doit se rapprocher d'un mac studio 256Go / 2 DGX ?
 
A voir niveau perf / maintenance / durabilité ce que ça donne mais beau boulot !

   
c'est quoi ce teasing ?
 
moi aussi j'ai de la hbm (8Go) sur ma Vega 56

putain ce riche
 
j'ai l'impression de voir un opteron, raid0 de raptor 10k et une ligne T1 de l'époque
 
Dis nous en plus sur la thune etc
 
La DDR qui doit coûter le prix d'une bagnole échange e208 contre DDR5

Enedis bonjour
Pouvez-vous me passer en 24KVA svp ?

 
Pour le moment je verrais bien une BC250 en backup de Strata pour des trucs léger ou avec un 27B pour donner une autre opinion a QFN. Mais effectivement pour du code, flint a pas l'air top pour le moment. Pour autant c'est bien d'avoir un nouveau venu autre que Qwen sur les modèles ouverts.

 
Tout le monde se rue déjà sur tous les modèles avec plus de 8GB de VRAM, débloquer plus de perf va rien changer.

Aujourd'hui peut être, mais pas quand j'ai acheté les cartes.
Même si je regrette de pas avoir pris 2 DGX en juin, aujourd'hui au même prix je prends tout de même un build hybride RAM / VRAM, surtout avec tout ce qui se dessine en offloading, n-gram et compagnie, tu restes nettement plus flexible avec 256 VRAM + 512 RAM qu'avec 256 unifiés.

Niveau conso je vous dirais, à vue de nez en usage réel je pense que ca tournera vers les 850w.

Pour les 8 Go possible qu'on soit au bout de ce qu'on puisse faire.
Mais pour les 10 Go si les chinois les ont retirées des sites de vente c'est pas pour rien

CM (neuve) 830€
Epyc (ebay) 220€
Ram (leboncoin) 2000€
CG (alibaba) 7300€
SSD, récup 0€
Noctua (noctua refurb) 55€
Corsair WS3000 500€
Boitier 110€
+ 100€ pour quelques conneries type ventilos ou les cables EPS Corsair, on est sur 11k€ en gros.

Je m'attendais a pire

Propre  

 
C'est pas comme si elle avaient jamais été accessible, elle passent déjà en 40GB, si le 80GB+ est possible elle seront encore plus OSEF

 
C'est pour le plaisir ou ça se rentabilise un rig IA ?

surtout un MoE de qualité qui est pas trop lent.
à voir pour la V2 si elle sort un jour.
sur le bc-250, j'ai gardé un 27B et j'ai pu passer sur un quant Q4 unsloth si je dis pas de bétise.
je sais pas si ça valait le coup vs le gsq rco mais en q8/q8, me semble que j'arrive à tenir au moins 224K de contexte.
après, le 3.8 FN iq3_s boucle pas trop je trouve.
faudrait que j'essaie un autre quant mais le iq4_xs n'apporte pas grand chose si on compare les benchs

Si tu vends du dev c'est rentabilisé en un mois. Si tu compares avec un abonnement Claude, ça ne sera jamais rentable

les 10GB étaient pas unlock en 40GB ou un truc comme ça ?
ils vont passer à 80GB ?

Si tu lui demandes de hacker ta TV pour qu’elle arrête de t’espionner ou si tu l’insulte c’est rentabilisé en une requête

Joli
 
Tu regardes pour souder ce qu’il manque pour refaire les liens PCI express ? J’aimerais bien avoir ton retour en termes de benchmark  

Sorti 6 mois trop tard non ?

 
On peut se rassurer comme ça oui
D'ailleurs, ne serait-il pas temps d'acheter une TV?
Avant que tout soit verrouillé ou que les prix augmentent si ils arrêtent de vendre nos datas

Perso elle a pas accès à internet. Elle peut bien observer/ecouter tout ce que je fais

Idem  
 
Mais leur business model peut changer (ou pas )
 
D'ailleurs si on trouve ce genre de scandals chez Samsung / LG, je n'imagine même pas la tronche des TV chinoises  

 
Je les ai achetées déjà moddées 16x  

oh fuck.

 
Par rapport a quoi? Ya pas d'autre modèle open US a part Gemini

Qwen 3.8. Il se mettent en face de 3.6 ce qui n’est pas faux (MoU vs MoU de taille comparable) mais bref y’a le 3.8 depuis qui marche mieux avec le même hardware    
 
Et tu oublies nemotron et llama

Haha, ben il bosse bien mine de rien ce Strata + QFN en Q2  
 
Petit spoil du projet Spock en cours:
 

En train de tester ça https://github.com/Indras-Mirror/Xolotl :  
DSV4.1 Flash sur une bécane du taff : H100, 128GB de DDR
Pfiou ce que c'est lent

T'as pas essayé le Strata de base? Il supporte DS et GLM maintenant.
 
Je devrais pas poser la question, mais qu'est-ce que tu appelles lent?

On se prend en moyenne 30sec de lecture du prompt, c'est à cause de cette architecture hybride avec des experts sur SSD.
Mais sinon la génération c'est à 40 token/sec c'est ok  
 
Quand j'ai cloné le repo, Strata de base n'était pas compatible.  Je pourrais comparer à l'occase mais faut me refarcir une installe complète

Sinon tu peux tester ça:
https://huggingface.co/ISTA-DASLab/ [...] Q-RCO-GGUF
 
Tu pourras tout mettre en VRAM/RAM

   
ils sont où les détails ?

 
Pas la, il faut deviner

Spock, Vulkan ?

Oui
 
Bon ça sert pas vraiment de teaser
C'est pour monter un GPU en Vulkan disant en TCP. Je veux monter mes BC250 sur ma VM avec la RTX 4060Ti. Pour l'instant j'en monte qu'une seule, mais ça marche mieux que ce à quoi je m'attendais!

t'es en pseudo rdma ?
vitesse du LAN ?
je vois que tu as pas lâcher l'affaire

Pas de RDMA, du bon vieux TCP en 1Gbps de base!
 
Stats de Claude:

Flint 40B A2.5B tested - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=xtSmX12HaR8
 
TL;DR se débrouille bien avec Blender, pas top pour le reste!