Reprise du message précédent :

Medusa halo en 2027 pfft.

Ecoutez l'oracle et attendez un an les gars

ce serait vraiment la première fois qu'AMD foire un produit et déçoit ceux qui attendent

 
14 secondes pour charger le modèle en mémoire (vous inquiétez pas de l'absence https, l'écoute sur le loopback uniquement et l'absence de jeton d'auth : tout ça est géré dans un sandwich salade tomate oignon lemonade / caddy donc c'est propre quand c'est sur le réseau) Ces gens sont des malades
 
en PP ça tourne entre 320 et 250 tokens / seconds . J'ai quand même demandé un truc complexe à openclaw : "are you well ?" ce qui a donné une requête de 17090 tokens (j'imagine qu'il résolvait le cancer en parallèle ? ) pour 89 tokens d'output  
 
clairement des optimisations à aller chercher mais température stable so far :

Qui en plus d'être utilisable, de ne pas envoyer des commandes cheloues/tronquées à llama (qui le passait sans cesse en mode plain text pour le sauver) te préviens de ce qu'il fait et te demande l'autorisation sur les trucs vaguement dangereux.
 
Ah et parlons de la barre de nombre de tokens / % du context disponible qui fonctionne
 
Remboursez open claw !!!111!!!  

le contexte à 32000 tokens après 11 minutes d'échange. Ca engloutie des tokens plus vite que des tic tac
 
Si vous vous demandez quelle tâche hyper complexe je lui ait confié : se connecter à mon endpoint nextcloud talk et mettre en place un webhook en http simple pour récupérer les notifs / messages ...  
 
edit contexte de 66K tokens 32 minutes plus tard ... toujours pas de connection à Nextcloud en vue mais il bosse
Je vais p't'être finir par lui donner une solution moi même https://apps.nextcloud.com/apps/hermes_talk_bridge  
 
Mais merci pour le stress test sur un truc trivial

 
Oui, 32k c'est pas beaucoup pour du code.
 

 
LB de LLM? Comment ça marche?

 
Va voir les fichiers AGENTS,SOUL,IDENTITY, etc.
https://github.com/openclaw/opencla [...] /templates
 
Tu comprendras mieux pourquoi le chat de base bouffe 20k de contexte... C'est encore pire quand tu actives quelques skills/plugins.  
 
Ça présente bien pour une démo, mais ça part du principe que tu as 1M de contexte et un LLM frontier pour le moindre truc.

Y a des M3 Ultra qui sont tombés sur le refurb. 96Go ram 820GB/s de bande passante pour 5200 euros.

On perd un peu de bande passante et les neural accelerators mais ça positionne bien dans l’étalement de la gamme
Entre le M3 Max 64 Go et le M5 Ultra 96Go.
Voilà voilà

C'est reuch et a la fois pas reuch pour du Apple

3x la bande passante du strix halo pour 2 fois le prix et à peine moins de ram. Ça joue

Hello,
 
Pour le taf, on cherche une machine pour faire tourner une IA en local.
 
On regarde du coté du DGX Spark - le rapport qualité prix semble pas "mauvais".
 
Vous avez des retours sur d'eventuelles autres solutions ?

Mac m5 Max ou gamme ultra ou rtx 6000 pro. Pour la complétion de code le DGX spark est très bien mais pour de l’agentique ça va être compliqué d’être productif

 
 
Comment ça ?

T’as pas lu mes messages du dessus
 
Les agents sont des ogres à token. Seul ou en mode homelab ça va. À 3 dessus ça n’ira pas

oui
 
Mais là c'est pour un usage entreprise
 
On est en train de monter un projet, et on a besoin d'aller vite au produit.
 
L'idée :
. avoir un modèle pour que des users puissent coder en connectant VisualStudio au Spark
. avoir un agent qui mets de la cohérence sur le projet
. on aura aussi besoin d'entrainer notre propre modèle à terme

 
Le plus efficient que j'ai pu faire jusqu'à présent :

• un programme métier qui va faire… du métier (fetcher des infos aux bons endroits etc.) avec une API/endpoints
• un modèle OpenWebUI qui part d'un modèle classique (eg Qwen 27B) MAIS avec un prompt qui fait le lien entre les besoins utilisateurs et les endpoint du programme précédent. Pour ça, dans OpenWebUI, tu vas créer des "Tools".

Grace à ça, j'ai un agent « Vente », « Support Tech » etc. qui peuvent respectivement lire le CRM et trouver des patterns, lire des tickets et chercher de la doc, faire des PRs de doc etc.

Tu peux y connecter trois dev en mode équipe du matin / journée / nuit. Confort
 
Pour tout le reste RTX 6000 pro AMHA

et par qui sont appelés les agents ? Une IA de supervision, ou bien les utilisateurs en direct ?
 
... et pourquoi ne pas avoir une "grosse IA qui a accès à tout" ?

1. Dans l'interface de OpenWebUI, ils choisissent (ou configurent par défaut) l'agent avec qui ils bossent (ou font juste "@" pour en changer en cours de conversation). Puis ils posent les questions et ça répond à tout. Comme un ChatGPT mais qui connait la boîte sur sa partie métier et capable de faire des rapports/graphs et trouver des pattern en quelques secondes sur des tonnes de data.
2. Parce que t'es obligé de spécialiser, surtout déjà la taille du prompt par « spécialiste » (vente, vs support etc.). Le prompt est déjà assez gros, plus gros tu perdrais vraiment du contexte pour rien. Et ça c'est juste côté IA, parce qu'ensuite côté « accès à tout » ça pose question si tu commences à faire plus que de la lecture…

Finalement, il fallait juste installer deux extensions de pi.dev : pi-repetition-guard et pi-loop-police
 
Je peux même réduire la taille du contexte à 24k, mettre plus de layers en VRAM, et atteindre 42 tk/s (430 tk/s dans les phases de prompt processing).

je me doutais qu'il y avait un hic quelque part

 
Ils sont partis  

Vers chez toi?

J'ai l'impression que mon Qwen Next a des doutes
 

 
A priori c'est ce problème:
https://github.com/ggml-org/llama.cpp/pull/27941

ah oui, je crois qu'il est perdu dans ses pensées

Hmm hmm hmm.

Oui ton qwen pédale dans la semoule

 
Ben oui, c'est Qwen 4 en mode expérimental...

Je ne vous ait pas donné l'épilogue : 2h50 plus tard il me dit que c'est fini et que je dois juste l'ajouter dans un chat pour lui parler ... ça marche nickel    
 
Du coup je lui ait demandé de mettre le code créé dans un repo git et d'écrire la doc pour que d'autres agents Hermes puissent reproduire le déploiement plus rapidement qu'en recréant le plugin de leur côté ... Il vient d'écrire la doc dans le readme.md ... pour se connecter à Git et pousser de la doc et du code  
 
Contexte : 122k tokens pour ces deux tâches. Faudra que je regarde la partie compaction à un moment

 
C'est fort une IA, hein ?

Il est un peu dans le futur : voici la doc à utiliser pour revenir dans le passé et pousser le code qu'on t'a demandé plus rapidement

 
Je ne suis plus là où j'étais
 
Mais non c'est revenu sur le store fr
 
Je suis vraiment partagé

si je devais choisir le plus gros nombre de GB que de RAM et de stockage que je peux me permettre. A priori c'est plutôt chez M3 que chez M5

 
On commence à causer  

pour nous impressionner faut encore les brancher

Celui du dessous l'est déjà, mais plus pour longtemps malheureusement

 
En gros la shortlist:  
 
M3 Ultra | CPU 28 cœurs et GPU 60 cœurs | 96Go Ram 820Go/s | 1To SSD: 5,200 @reconditionné
M5 Max | CPU 18 cœurs et GPU 40 cœurs | 128Go Ram 614Go/s | 1To SSD: 5,600 @edu
M5 Ultra | CPU 30 cœurs et GPU 64 cœurs | 96Go Ram 1.2TB/s | 1To SSD: 6,100 @edu
 
On peut pas tout avoir
 
Au final en terme de GPU perf, le M3 Ultra est presque au niveau du M5 Max.  
 
Plus de ram? M5 Max.
Un peu plus de bande passante mais moins de ram: M3 Ultra.
Encore plus de bande passante / buy once cry once / yolo / on n'est plus à 500 balles près quand on lâche 5k pour s'amuser: M5 Ultra.
 
L'idée c'est de servir 2 users en usage agentique avec un modèle type Qwen 3.8 27B Q6/Q8 en étant large sur le contexte

Le M5 max semble un bon milieu dans ces conditions mais je suis plus sensible à la capacité qu'à la vitesse

n'empêche gros coup de coeur pour Hermes : c'est rapide, verbeux juste ce qu'il faut, il récupère bien des erreurs. Que du positif vs openclaw

 
Rien a voir, c'est OpenClaw qui est codé avec le cul.

Est-ce que quelqu'un ici a un serveur avec au moins 192 ou 320go de ram pour effectuer un calcul python et me rendre un petit service ?

En dessous c'est mort, et mes 32go de ram sur mon pc ça va pas suffire

Oui je sais que poser cette question là en pleine pénurie de ram...

Pour les curieux, je tente de calculer de l'entropie sur une absorption de positivité de signe des nombres premiers (forme de weil pour RH) via une construction par des matrices de hadamard. Pour 1024 et 2048 matrices ça me demande respectivement entre 80 et 120go de ram / 220/320go (sans optimisations). La VM de ChatGPT n'a que 32go de ram aussi donc ça coince un peu