Reprise du message précédent :
Y a un nouveau moteur d'inférence sur Mac : Kapitsa.
A voir ce que ça apporte concrètement.
 
Si on peut encore grater quelques tokens c'est pas mal.
 
Et d'ici là on aura peut-être un support eGPU sur Apple qui tient la route (ThunderLlamaX / TiniGPU).

 
Non j'ai un peu peur de péter mon Strata
 

 
Ya une release non beta:
https://github.com/Niko1221/Strata/releases/tag/v0.2.1
 
J'ai l'impression que si on fait avec les scripts genre update.sh on a pas l'app.

ici je continue les montées de version Gufo avec la V18 (Qwen 3.8 flash Next Q4 K XL) :
 
Prompt long ≈ 70000 tokens (prefill à froid), puis génération à contexte court.
 
1 544 tokens / seconde en prefill
34,8 tokens / seconde en génération de prose
 
Prompt long ≈ 250000 tokens (prefill à froid), puis génération à contexte court.
 
1 445 tokens / seconde en prefill
34,8 tokens / seconde en génération de prose  
 
Entre 62 et 65% d'acceptation de brouillons (MTP) sur de la prose. Ca frole les 60 tokens / seconde sur du code.
 
95 % des tokens de prompt servis depuis le cache  
 
Super content

²²²

je fais une update du strata-main et ça me re-dl le moteur, tout le reste ne bouge pas en général

j'avoue qu'entre la R9700 et 64GB de DDR4 en plus, on s'approche dangereusement du prix d'un bosgame...

et en plus le bosgame consomme 6w au idle (90W en pic) donc j'arrive à vivre avec le bordel allumé H24 même quand il a pas de projet et près sa carrière d'inférence il aura une belle retraite en machine de gaming pour gosses  

2500 balles une R9700 et 64Gb ddr4 ?
Mais des perfs un peu meilleures non ?
 
Effectivement, autant taper un bosgame sauf à vouloir à tout prix utiliser une config qu'on a à la maison et qui ne sert pas.

Deepseek qui publie son propre moteur d'inférence:
https://github.com/deepseek-ai/DeepInfer
 

 
src: https://www.reddit.com/r/LocalLLaMA [...] en_source/
 
C'est pas demain que ça va tourner a la maison avec ou sans scotch
 
Mais il me semble que c'est la première boite a publier ses weights et le moteur qui va avec, non?

c'est du matos dispo seulement via ali cloud    
 
Mais en effet j'ai pas souvenir de AI labs qui sortent un moteur d'inference (en dehors d'Apple qui propose la machine, le moteur et le modèle qui va avec ou Google avec le modèle et le moteur d'inférence dans chrome ) . dans le meilleurs des cas avec des modèles open weight tu avais les bonnes pratiques avec vllm ou llama.cpp :
https://deepwiki.com/THUDM/GLM-4/2. [...] -inference
 
sinon quelqu'un a forké Gufo + 16% à +19% de perf en pre processing avec le NPU :
https://github.com/mikealanni/gufo
 
Pas intéressé de tester pour l'instant mais chez Gufo ils ont l'habitude d'encourager le fork avec l'idée de réintégrer si ils trouvent l'apport intéressant pour la majorité

Ya peut être moyen d'utiliser des Atlas?
Mais il doit falloir en prévoir une centaine et beaucoup, beaucoup de scotch

Apple propose des modèles ?

This family of models includes two on-device models:
 
    AFM 3 Core, the next generation of our 3-billion-parameter dense model that delivers a step up in quality.
    AFM 3 Core Advanced, our most powerful on-device model. It’s natively multimodal, enabling helpful features like expressive voices and higher-accuracy dictation. Built on cutting-edge Apple research, this 20-billion-parameter model uses a sparse architecture, activating just 1 to 4 billion parameters at a time depending on the request. AFM 3 Core Advanced is unlocked by and optimized for our most capable Apple silicon systems.
 
Our latest Apple Foundation Models also include three server-based models running on Private Cloud Compute, which ensures that user data is never stored or shared with anyone, including Apple. These models are:
 
    AFM 3 Cloud, our server-side workhorse, optimized for speed, efficiency, and performance.
    ADM 3 Cloud (Image), for image generation and editing, which unlocks advanced photo-editing tools, the all-new Image Playground, and more.
    AFM 3 Cloud Pro, our most capable server-based model, which powers our most demanding use cases, like agentic tool use and complex reasoning.

les tests sont pas super optimistes si t'as pas le serveur qui va avec :  
https://youtu.be/qGe_fq68x-Q?si=eo3 [...] U180&t=148
 
mais ça fait un bon projet d'étude / teste des skills de reverse engineering qu'on voit circuler partout

bah les perfs, pas dit, ça doit dépendre de pas mal de choses.  
une dizaine de t/s en plus d'un côté mais un modèle moins quantized de l'autre, au final...

on trouve enfin un intérêt à ces trucs qui servaient à rien depuis un bon moment maintenant (le NPU)

Merci l'inflation dingue qu'on se prend depuis un an maintenant. Si les prix étaient restés ras les paquerettes tu aurais des tutos pour rajouter des grappes deRTX3090 / V100 / A100 au bordel comme si y'avait pas de lendemain

 
GN, à part râler il fait pas grand-chose

c'est pour ça que je l'aime bien

 
J'ai besoin de plus de positivitude même il a souvent raison, c'est juste un peu long.

J'ai upgrade Strata quand même:
 

 
   
 
server.py:7685
 
Dans serve/server.py ligne 7685 ajouter  "0.0.0.0", non mé koa :
 

ouais il essaie de te protéger contre toi même
 
allez mets une clé même un truc minimaliste

Non, ça m'oblige a mettre la même partout, je veux pas être limité par ce genre de config. Ça m'a bien gonflé avec Openclaw ce genre de trucs.

 
reverse proxy ou liteLLM  ... on y vient

Avec le bon scotch, tout est possible  

et un nouveau driver pour qu'il supporte une autre plateforme que les CPU huawey  

 
Bof, pas envie de me faire chier avec des trucs vérolés la ou un socat fait largement mieux

Assembleur plutôt que Python ... c'est un choix

faut le vibecoder

faut le :  
 

 
Huawei m'envoie une carte, je mets toutes mes BC250 sur le coup

je peux filer un coup de main si le matos à la fin est accessible et bon marché (BC-250 survitaminé)

edit: le nouveau strata, en terminal je suppose ?

j'ai été obligé de désactiver le MTP de mon Qwen 3.8 27B étant donné qu'il plantait au chapitre 8 sur 10 lorsque je lui demandais l'execution d'un prompt a base de "thèse sur e=mc²", dommage car les perfs sont donc forcément moins élevées

tu es sur quel quant ? Tu avais mis combien en MTP et tu avais quel message d'erreur au niveau de ton moteur d'inférence (llam.cpp ? ) ?

en fait la réponse du llm a coupé d'un coup, brutalement, aucun message d'erreur (en tout cas je n'ais pas été voir les logs car c'était bien le MTP le problème). le MTP en stack llama.cpp et Vulkan pose ce type de soucis, c'est documenté. le mtp était réglé de manière raisonnable à 3 (donc pas au max)

Ok j'ai jamais eu ça. Tu as regardé dans les logs le modèle à envoyé le token de fin de message au moment du cut ?

 
Oui en terminal. Mais la je comprends pas trop, je suis passé sur PolyStrata et j'ai le même soucis. Je vais essayer de retourner sur un vieux commit pour voir.

Bon tout ça me titillais un peu vos infra ,bot dans tout les sens ,du coup doigt dans l'engrenage... mon macbookpro m5 qui s’ennuie,merci j'ai maintenant hermes qui tourne avec lmstudio en local avec un qwen3.5,et pleins de faux amis qui bosse pour moi,bien sûr ça n'as pas de mesure avec vos usines de dingue, j'ai que 48go mais quand je vois que je peux lancer drawthings en discutant avec mon bot hermes pendant  qu'un autre me renomme mes mp3 ripper de mes cd ,et qu’un troisième me code des pages html a la volée...
Plus qu'à connecter  ça sur mon home assistant balbutiant et la boucle sera bouclé
A si gagner au l'auto pour chopper un gros max studio qui dégueule de ram pour le laisser tourner h24  

t'étais au max du contexte ?

ha-mcp avec un qwen 3.8 flash next, c'ests pas mal

   
non

Je fais pas des trucs dingue avec et je suis bien conscient des limites de ma machine , c'est stable et ça tourne pour mon usage j'en demande pas plus pour le moment.