Hello    
 
Je voulais lancer ce topic pour centraliser les "bons" (et mauvais) plans pour sauvegarder notre précieux stock de tokens  
 
Au boulot on a des quotas assez larges (on fourni du LLM aux clients. Ils paient mes factures d'IA generative. Ça aide ) mais en perso j'ai voulu essayer l'IA locale. C'est très confortable pour un usage "débridé" mais se pose la question de la rareté de la ressource :  

• tokens en pre-processing (pas forcément le plus important pour une session de chat classique mais raison principale de l'attente en agentique / avec un large contexte)
• tokens generation (les "pensées" et le texte générés par votre IA. Celui là est particulièrement précieux car il est souvent ce qui est facturé le plus cher par rapport aux tokens en input)
• fenêtre de contexte : combien de tokens sont absorbés en une requete. Cette métrique est importante à trois reprises  

 
Bref ça se cumule vite et si le token en input est moins cher dans les faits ça représente un volume souvent assez énorme par rapport au code / texte produit utile.

Mais alors comment l'optimiser ?
 
Bien choisir son harness (environnement / client agentique) par odre de grande de "surconsommation" :
Consommation roue libre

• OpenClaw
• Claude Code

Surconsommation modérée

• Hermes
• Codex  

Frugal en fonction de ce que vous lui ajoutez derrière (contexte, extensions)

• Pi.dev

(liste à préciser et enrichir avec vos propres tests )
 
ajouter des skills d'optimisation :

• caveman : pourquoi faire phrase complète quand brefs mots suffisent ?

baisser la facture :

• faire jouer la concurrence et prendre des modèles / fournisseurs moins chers (modèles flash, surveiller les bons plans chez des fournisseurs comme OpenRouter / Ollama / ... ou choisir des fournisseurs moins chers Deepseek / Mistral / Grok ...)
• compacter le contexte avec différents algorithmes pour diminuer la consommation de tokens en préservant autant que possible les informations importantes rtk-ai/rtk  
• si vous avez de multiples IA vous souhaiterez probablement eviter que tout le boulot d'intégration lecture soit fait encore et encore : tencentdb-agent-memory est la mémoire partagée

surveiller la facture avant qu'elle ne dérape :

• des projets comme opentap mais évidemment aussi le monitoring de consommation votre quota dans votre harness / outil d'abonnement LLM ...

Je suis un token maximaliste ou ma note d'évaluation annuelle dépend de ma facture et pas de la qualité du token produit ?
=> Tu remplis le contexte à fond à chaque fois (par exemple 1M de tokens depuis le repos git de l'entreprise pour lui demander un résumé de réunion)    
=> Tu installes autant d'extensions que possible et tu charges les skills avec tout ce que tu trouves    
=> Tu travailles avec du docx, pdf, jpg, vidéo quand un simple bout de texte (pourquoi pas dans un fichier md) suffisait    
=> Tu demandes texto à ton IA d'être la plus verbeuse possible dans ses réponse (plus de commentaires, de tests, de documentation à la moindre boucle produite)    
=> Tu demandes à ton IA de vérifier des projets opensource random et de faire des demandes de changements aussi souvent que possible    
=> Tu inscrits ton agent sur le topic des agents HFR / agent arena pour cramer du token en refaisant le monde façon    
=> oups tu publies ta clé anthropic/open AI/Github Copilot/Gemini / ... sur un depot public  
 
d'autres idées / accidents à partager ?

et un sondage pour souhaiter la bienvenue

drap , en curieux que je suis

bienvenue

Il manque: je m'en fiche ça tourne en local
 
quand même

en fait c'est pas tout à fait vrai : par exemple si tu crames 100k tokens à charger des MCP / skills dont t'as pas besoin certes ça te coûtera pas plus cher mais ton app va pas beaucoup avancer au rythme où ton matos peut générer des tokens et pré processer les demandes.
 
c'est pour ça que je le trouve le sujet peut être même plus important pour ceux qui ont du matos pas très très rapide : c'est presque un contexte plus contraint que juste remettre 20 balles pour payer une surconso imprévue ^^
 
Je vais regarder à mettre en place litellm sinon en mode "tiered" :
1 => mon serveur d'inférence sauf si busy
2 => Anthropic sauf si indispo ou plus de quota  
3 => deepseek flash avec un quota mensuel genre 50M par mois  
 
avec sans doute des ajustements :
=> si c'est pour l'agent de chat / planification c'est plutôt anthropic qui est préferé avec Deepseek en plan B puis local en plan C
=> Si c'est pour du code c'est plutôt le local qui est préféré avec Deepseek en plan B et pas d'Anthropic (il code moins bien non je veux garder du quota en vrai pour les autres usages )  
=> Si c'est pour de la verif de code c'est Deepseek qui est préferé puis local
=> Si c'est pour de la verif fonctionnel / UI c'est Anthropic qui est preferé puis deepseek puis local
 
Ce serait juste bien que les enfants dorment mieux pour que je puisse y passer plus de temps

Pour le taf' j'ai pas le droit d'utiliser du local, sauf si ça tourne sur mon MBP 48GB, et même la on est limités sur les modèles approuvés.
Mais d'une manière générale j'ai fini par comprendre ce qui bouffe des tokens dans ce que je fais, merci feu le mode illimité de Cursor ou j'ai fait une requête a $750
 
Après ça aide d'avoir 3 comptes, Claude, Kiro et Cursor (en cours de phase-out). On a $500/mois par compte et une procédure pour rajouter $500 de plus si besoin mais j'en ai pas eu besoin pour le moment.
 
En gros, j'ai des AGENTSxxx.md pour chaque projet, et tout est assez carré sur les implémentations, code, UTs, ITs, etc. Il n'y pas de "phase exploratoire", si il a besoin d'un plan, il est fait a la main dans le Jira qui me sert essentiellement de prompt. Ce qui me bouffe des tokens c'est de lancer un agent sur un projet/infra/language que je connais pas en mode YOLO et je le fais plus, pour le moment.

C'est carré. Ils sont généreux chez toi

Un post sur une stratégie chez Spotify pour diminuer la conso de tokens :  
https://engineering.atspotify.com/2 [...] sage-by-90
=> Déleguer à des modèles capables mais beaucoup moins cher des tâches à la con genre trouver des morceaux codes dans des tonnes de fichiers source :

 
=> pareil quand il faut créer des bouts de code reprenant des patterns déjà utilisés :

 
Pour la partie routing dans claude CLI : https://github.com/sorantis/portal- [...] gins/shunt
82 à 94% de reduction de consommation de tokens  
 

bah c'est le pattern orchestrator-explorer-fixer etc ultra commun non?

De manière industrialisée je le vois rarement. En general les employés ont un budget (genre 20 balles / mois) des fournisseurs (Gemini / Anthropic / open AI, copilot, de l’on prem notamment des macs max pour les dev plus chanceux …)
 
Et après c’est la foire à la saucisse pour en faire le max possible avec le budget alloué et chacun y va de son approche

 
Je pense que c'est temporaire, au bout d'un moment ils vont bien se rendre compte que le ROI est faible .
 
Perso ça me donne plus de temps pour glander, je suis toujours autant, voir encore plus, bloqué par la gestion de projet...

Je pose mon drapal ici

Bienvenue !
 
Vous avez vu que deepseek a maintenant des tarifs heures pleines et heures creuses ?
 
Je vais peut-etre faire tourner des cron pour mettre à jour les tarifs dans litellm et faire bosser deepseek quand ça m’arrange le plus toujours via cron. Vous avez des idées pour faire plus industriel ?