Reprise du message précédent :

 
C'est completement eclate au sol...  
 
Du iq1m tu dois etre bon sur les premiers 30k tokens mais en usage pro c'est tight...

peut être mais les gyro ont pas l'air si dégueux

 
Ok merci et exemple concret avec mon qwen 3.8 en iq2_xs ?
Par défaut ya 128k et je suis assez vite arrivé au bout avec mes petits probleme alacon.
Donc je suis passé à 192 et là il compacte plus rarement, mais si je peux mettre 256 ou 512 sans souci alors voila ...
 
Pour info qwen 3.8 iq2xs tout fonctionnel avec strata et opencode lancé bouffe ~56go sur mes 64 (sous windows) donc j'ai encore un peu de rab pour faire des trucs.

Oui c'est pour ça que je surveille le swap, et surtout le tg/prefill se casse la gueule des qu'on touche le swap, c'est qu'un SDD Stata (monté sur un share samba en plus ).
 

 
C'est Strata qui réserve des GB pour rien, moi j'ai mis ça et j'arrive a 100% de VRAM, en dessous ça crash:

unsloth-ud-iq1_m
 

 
Je fais avec ce que j'ai, Unsloth done iq1m pas loin du iq3s GSQ-RCO:
https://unsloth.ai/docs/basics/dyna [...] flash-next
 
Je me tâte même à passer en iq1s pour garder le contexte de 512K sans swap
 
Je l'ai pas encore mis sur un gros truc, mais RCO Q2 et Gyro-S on largement fait le taf sur mon layer Vulkan. Donc l'étape d'après c'est de lui faire ajouter le support de Vulkan sur Strata pour pouvoir ajouter mes BC250 en plus

Chatgpt 1 prompt d'une ligne, même pas 30sec de reflexion.
Comment je fais pour avoir le même à la maison ?

Pfiou j'ai comparé sur mon Mac splash à strata sur le même Q3.8 FN Q2, ça va nettement plus vite sur splash.

sur amd aussi ?

edited

 
ComfyUI
 
Un LLM c'est fait pour faire du code, pas de l'édition d'image.

 
Strata sur Mac?

qu'est ce qui est pas clair dans "Mac", ok la premiere fois je l'avais oublié dans mon message

ça peut se mélanger du vulkan, du cuda/rocm ?

demande à chatgpt de te refaire un prompt détaillé pour arriver à ce même résultat ?

we need to go deeper  
 
sinon je sais plus qui m'avait demandé mais 500k de contexte en Q8 : environ 6,8 Go
 
voilà désolé j'avais posé la question à claude mais je me suis fait choper par mon travail dans la foulée et celui là paye mes factures

 
Quel intérêt de faire tourner Strata sur un système à mémoire unifiée?

 
Oui, pas de soucis, j'ai posté un screen de llama.cpp avec ma 4060Ti en CUDA et les deux BC250 en Vulkan (via Spock/TCP).
 
Vulkan, CUDA et ROCm sont juste des SDKs pour parler au hardware, on peut très bien les mixer.

Bon ben avec 300k de contexte en Yarn je swap pas, et ça marche nickel!
J'ai fait un test needle sur 285KB de contexte et tout est bon.
 
Je vais quand même tester IQ1_S avec 512k pour le fun!

Éternel insatisfait

Bonne question faudrait demander au développeur qui prévoit un flavor Mac  

Je me dis peut être le million
 

 
L’intérêt de Strata est de déplacer les experts de RAM en VRAM au besoin et de garder les moins utilisé en RAM pour utiliser le CPU pour ceux-la. Sur un Mac tout ce merdier n'a aucun intérêt vu que c'est de la RAM unifiée.

 
c'est ce qu'on se dit tous avant de de remettre une louche de bc250 pour monter d'un bit en quand. Mais promis c'est la dernière
 

y'a pet être un sujet avec le nvme (mais j'ai pas du tout regardé le projet et j'ai déjà cramé 40% de mon budget en tokens alors qu'on est que mardi

 
Ben oui, c'est le but final, Strata plus rapide c'est juste une étape
 

Je pense qu'il y a des moteurs mieux adaptés aux archi UMA et au débit de malade des SSDs de Macs.

Ouai j'avoue qu'en étant sur le bon repo à la mode j'imaginais un peu que ca augmentait les chances de trucs malins de la commu pour cette archi spécifique. Et effectivement ca store sur le ssd mais c'est moins performant.

Pour info, le budget alloué à la réflexion peut être poussé assez haut pour obtenir des résultats de meilleurs qualité avec Qwen 3.8 flash next Q4 K XL :  
En thinking low le sweetspot est entre 8 et 16k de budget pour une réponse à des problèmes complexes
En thinking medium le sweespot est plutôt entre 16 et 32k (au delà il résous très mal des problèmes plus complexes. Vous cramez des tokens pour rien)
En thinking xhigh sky is the limit, il arrive à me résoudre des problèmes avec des budgets un peu dingues à 262k (pour l'instant la réponse, réussie, la plus longue lui a pris 100099 tokens)
 
à noter que le thinking s’interrompt de lui même en low à 54k tokens (pas de production de réponse) et 66k tokens en medium (même sanction). Pas observé de réponse interrompue en xhigh.
 
Bref sur du conversationnel la limite à 8k qu'on voit généralement fait sens (vas y répond là ! j'ai pas toute la journée ! ) mais sur du coding velu 100k en xhigh c'est pas idiot du tout

Apple va sortir Harbor, actuellement en bêta privée.

L'idée est plutôt sympa : transformer un Mac (Apple Silicon) en serveur IA locale.
Téléchargement et gestion des modèles directement dans l'application, sans ligne de commande.

Mais surtout, Harbor permet de connecter plusieurs Mac en Thunderbolt 5 pour mutualiser leur mémoire et leur puissance de calcul.

À voir ce que ça donnera face à oMLX/llama.cpp, notamment en termes de performances et de compatibilité des modèles.

Source : https://9to5mac.com/2026/11/10/appl [...] dels-easy/

faudra voir en effet mais ça va rendre la création de clusters hétérogènes plus facile. Par contre faudra que tout soit côte à côte (ou trouver du tb5 en fibre optique ?)

intéressant

Clairement maintenant je veux upgrade mon macbook air par un pro en TB5. Pas besoin, mais justement c'est ce qui est intéressant

Unsloth ajoute 27B et DS4 en UD 3.1:
https://unsloth.ai/docs/basics/dyna [...] -3.1-ggufs

c'est bizarre, le iq4_xs est toujours derrière le q3_k_xl on dirait, il sous performe à chaque fois !

je pense qu'il doit y avoir des artefacts dans la manière de faire le bench vs la méthode de quantification.
 
Si on lit bien les benchs le IQ2 XXS de Deepseek flash 4.1 est meilleur à 3 des 4 benchmarks que la version Q8 (baseline). J'entends que les arrondis sont pas mortels mais ça montre bien qu'on a un peu de boulot pour bien évaluer ou alors on va tous finir par abandonner BF16 pour IQ2 pour gap gratuit de perfs sans rien réentrainer  
 

Un quant dynamique boost certains layers et en nerf d'autres en fonction du "post training", donc c'est pas impossible d'avoir de meilleurs résultats aux benchs, c'est juste une forme de benchmaxing comme le fine-tuning. Faudrait voir ce que ça donne sur des benchs non-publiques; ou juste d'autres qu'Unsoth n'a pas utilisé.

en parlant de benchmaxing :
 

 
(le bench n'est pas fini pour le max. Il va probablement droper vers 83% si ses résultats à la dernière version du bench suivent la tendance de low et med :
 

 
faudra que je fasse un test contre une IA plus puissante mais toujours hebergeable. Peut être le deepseek flash 4.1 mint et uncensored sur le cloud supposément totalement privé https://near.ai/  
 

C'est beau
 
Tu vas pouvoir nous faire tous les quants
Il y a beaucoup de trucs a installer pour lancer les benchs?

Gyro S 3.8 Flash Next tested - 16GB Local LLM setup
Luke's Dev Lab
https://www.youtube.com/watch?v=4Tk4HRYl-os
 
TL;DR: Gyros-S défonce tout

c'est des containers (assez balaises quand même vu que les sorties sont testées sur de vrais environnements kotlin / JS / FireFox / Python / Rust ... ). Tu as un environnement docker quelque part dans ton homelab avec un accès réseau vers ton strata ?

dans le reasonning, s'pas ouf mais globalement, pour du local, ça marche fort

 
Oui j'ai un Docker sur ma VM agent, mais j'ai poussé les meubles coté RAM pour faire de la place pour Strata, j'ai que 5GB sur la VM agent. J'ai déjà quelques containers, donc 3GB max. Sinon je peux faire un docker sur mon Proxmox qui est tout vide pour le moment... il est tellement frais que j'ai juste posé le ventirad sur le CPU .
 
Mais bon, je viens de mettre mon agent ou boulot avec IQ1_M pour ajouter le support de Vulkan sur Strata et tant qu'a faire je lui ait dit d’utiliser Spock et une ou deux BC250 pour tester .

 
Le code c'est la vie, le reasoning OSEF

I'm releasing a Local World Model Ive been building that turns images into interactive videos you control in real time. It works on RTX 3060, 4060 and anything above, linking huggingface
https://www.reddit.com/r/LocalLLaMA [...] _ive_been/
 
Ça a l'air cool, faut que je teste un jour