Reprise du message précédent :
Oui, dans le même genre il ya Strata aussi:
https://github.com/Niko1221/Strata
 

 
Le "coder" tient dans 32GB de RAM, 2k/s de PP la ou je tiens péniblement le 100/s dans le meilleurs des cas.
 
Mais j'hésite a poster ce genre de trucs car les prérequis sont très stricts et c'est vraiment le genre de trucs qui peut diffuser des malware.
La procédure d'install est super crado et demande des sudo pour installer plein de trucs, dont CUDA...

d'ailleurs, c'est quoi le truc le plus propre pour ce qwen 3.8 flash quand on a pas un strix halo ou un dgx spark ?
llama.cpp, un gpu avec 12/16GB de VRAM mini et 64GB de RAM + un SSD rapide ?

16 + 96  
 
ou 32 + 64
 
Bien que des moteurs y arrivent avec 16 + 32
 

 
C'est un modèle MoE donc il te faut au moins la VRAM+RAM pour avoir les attentions layers + experts et les ngrams sur SDD. Dans mon cas le SSD est un 2TB Sata.
 
Donc en fonction du quant que tu vises, tu peux faire ton calcul. J'ai remarqué que Unsloth (et pas mal d'autres) gardent les ngram dans un fichier séparé:
https://huggingface.co/unsloth/Qwen [...] UD-IQ3_XXS
Qwen3.8-Flash-Next-UD-IQ3_XXS-00002-of-00003.gguf     49.6 GB
Qwen3.8-Flash-Next-UD-IQ3_XXS-00003-of-00003.gguf     32.4 GB
 
Donc pour UD-IQ3_XXS il te faut 50GB de VRAM+RAM en plus de ton contexte.

ok, j'essaierai ça dès que j'ai un peu de temps (depuis le temps que je le dis)
normalement, niveau conf, ça doit passer.
merci

pourquoi 64 gb de ram ? pour offload ?

Oui, enfin si t'as 64GB de VRAM t'en as pas besoin

 
AKA Faudra que je teste un jour

Copyright ©
 
Sinon nouveau sondage !

A voté

Support MTP pour Qwen Next mergé
https://github.com/ggml-org/llama.cpp/pull/29761

Demain  

edit: j'ai craqué, j'espère qu'amazon va pas me faire un coup de Trafalgar

 
c'est quoi c'est quoi?

J'aime me faire du mal
   
 
Sur le Discord du cmp unlocker:
https://discord.gg/76YFM4una
 
A il ya des posts qui parlent d'unlock les 170hx 10GB en 80GB au lieu des 40GB actuels, un autre parle de 76GB.

ne te fait pas du mal et donne le temps à la DDR6 d'arriver

J'en ait déjà plein dans mes GPUs, enfin j'en veux bien plus

y'a pas un p'tit port USB 4 40Gb/s sur le bc250 pour les chainer plus efficacement ? Y'a des tests avec le strix halo dans ce sens. Sur le papier c'est malin et sans doute moins cher qu'une carte déjà débloquée mais qui ne marche pas donc remaquillée en carte "pour déblocage avec de la chance" sur ebay

J'ai pris la r9700 pro ai qui était revenue en stock au même prix qu'il y a 1 semaine.
J'ai encore rien dit à Madame  

Edit: du coup, soit je garde la 9060xt sur mon pc (64Go de VRAM) soit je la fous sur le bc-250 (32Go de VRAM mais seulement 28 exploitables)
Mon alim va être limite et j'ai pas de place dans le boîtier

Faut tomber sur une carte vérifiée/validée mais du coup, v'là le tarif

Ou revenir dans le temps il y a 6 mois et en acheter à 100 balles pièce

dans ce cas là, achète des btc plutôt

prends m'en une dizaine alors

Trop facile
 

 
OK, je te tiens au courant dès que Qwen a fini ma machine a voyager dans le temps .

C'est très moyens, mais on s'en contentera:
 
Il doit copié la forme géométrique qui suite:
 

 
 
Après près d'une heure et 4 promptes au total, il aurait réussit à faire ceci:
 

(au format PNG)
 
 
En fichier SVG: https://www.dropbox.com/scl/fi/890b [...] pd2hd&dl=1
 
le script SVG:

 
 
Bilant:
 
C'est nul c'est 100 fois trop long, 3 prompts en plus pour corriger ses conneries.
Chaque nouvelle itération avec un même prompte de dépars génère autant de résultats différents et débile à souhait, en fait ça n'est pas une IA, c'est un générateur de Nombre qui tente d'essaier sans y arrive de trouvé le bons résultats, nombre qui sont ensuite traduit en Tokens Alphanumérique.
L'IA est débile, et résultat aléatoire sur le même prompt.
Depuis le navigateur et l'ordinateur, il ne faut rien faire d'autre que la génération de raisonnement IA, car sinon ça gêne la qualité de raisonnement et de logique.
 
Il faut forcément un Carte Graphique récente donc pas une carte avec un RX-VEGA56, et il faut au moins 36 GO de VRAM voir plus.
C'est plantogène en version Beta.

Hello,
 
Je voudrais savoir comment adresser au mieux mon cas d'usage.
J'ai recuper une archive outlook au format PST. (4Go)
Je voudrais faire tourner un llm dessus pour rechercher des mails particulier (exemple : nb de mails recu par jour, le samedi le dimanche). En tous cas poser des questions que ca analuse la data et que ca puisse me sortir des choses.
 
 
je suppose que ca passe forcement par une IA en local ? Je veux pas non plus un simple chatbot il y a des questions qui demanderont une analyse un peu fine du mail.
 
C'est pour un usage oneshot ca me derange pas de payer qq dizaines d'euros pour avoir un resultat si ca me simplifie la vie
 
Ca vous semble quoi le meilleur schema sans trop me prendre la tete ?
 
 

t'as un besoin de confidentialité pour faire ça en local ou bien tu t'en fous et tu go "model fontier" ?
edit: par exemple avec Claude, tu as : https://www.getclaudeskills.com/ski [...] t-mukul975
ou si tu veux mettre les mains dans le cambouis : https://github.com/nweii/convert-psts

Nvidia annonce le DGX Spark 64Gb à 5000 balles et le 128Gb passe à 7000 balles.  
 
FOMO  

 
C’est pas le job d’un LLM, c’est du tool calling. En soi le LLM va jamais avoir besoin de lire le contenu de tes mails

Ce doit être pour montrer que la nouvelle station pour développeur d’AMD ne les impressionne pas ^^
 
Encore quelques mois et ils vont te ressortir le 5090 avec moins de mémoire pour le même prix qu’aujourd’hui tant ils sont pas impressionnés par les gammes AMD

 
FTFY

 
Effectivement    
 
Je peux chopper un Asus GX10 à 4000 euros. C’est tentant ! Bon placement
Mais le Mac Studio est meilleur sur 90% des cas

I made my iPhone a second GPU for my 24 GB MacBook: Qwen 3.8 27B prefills 29–44% faster & my holds part of the CTX window
https://www.reddit.com/r/LocalLLaMA [...] r_my_24_gb
 
c'est du vibecode mais j'approuve quand même, on va dire que le scotch est dans le soft

 
 
Déjà ils ont été sympa de conserver la BP mémoire et pas de juste enlever la moitié des puces    
 
J'hésite à revendre mon laptop en Strix Halo et à passer sur un Macbook Pro (M5 Pro, sans extravagance), vu les prix actuels je pourrais m'en sortir pour presque rien en plus  

Personne a testé Strata ?

Testé hier, ultra impressionnant ...
Je tourne à 70 t/s, sur Qwen flash next en iq3, 70t/s    (5070 ti / 64 Go DDR5)
Pas eu le temps de tester en profondeur, mais ça semble vraiment être  
(je vais le faire tourner avec Opencode aujourd'hui)

Bon, sans surprise le tensor mode en RPC est super lent avec un réseau GB classique
Avec Qwen 27B j'ai 8/s en PP au lieu de 100, mais juste 2.5/s au lieu de 5/s en génération.
 
Au moins, ça m'a permis de tester le build de branches en local.

 
J'ai l'impression qu'il bénéficie juste de features qui sont en cours de dev dans llama.cpp, a savoir le MTP et le LRU cache pour les experts en MoE. Le premier vient d'être mergé, mais le second est en dev et ya pas mal de discussions encore...
 
J'ai un peu la flemme de saloper ma nouvelle VM avec CUDA et Python

J'ai vu que c'était compatible avec AMD et pas que NVIDIA.
Faut que je teste avec Qwen flash.

c'est ce que j'ai vu en vidéo aussi hier soir
mais bon, tant qu'on peut en profiter en avance

 
Tout fait après j'ai un peu la flemme car ya c'est du python et c'est toujours le merdier et qu'on plus ya pas de clustering, donc je suis juste avec un GPU.