 |
||
| ||
| |||||
| Dernière réponse | |
|---|---|
| Sujet : Tokenomics : comment optimiser son quota / portefeuille | |
| neo world | Bienvenue ! :D
Vous avez vu que deepseek a maintenant des tarifs heures pleines et heures creuses ? Je vais peut-etre faire tourner des cron pour mettre à jour les tarifs dans litellm et faire bosser deepseek quand ça m’arrange le plus toujours via cron. Vous avez des idées pour faire plus industriel ? |
| Aperçu |
|---|
| Vue Rapide de la discussion |
|---|
| neo world | Bienvenue ! :D
Vous avez vu que deepseek a maintenant des tarifs heures pleines et heures creuses ? Je vais peut-etre faire tourner des cron pour mettre à jour les tarifs dans litellm et faire bosser deepseek quand ça m’arrange le plus toujours via cron. Vous avez des idées pour faire plus industriel ? |
| Piwig | Je pose mon drapal ici :) |
| the_fennec |
|
| neo world | De manière industrialisée je le vois rarement. En general les employés ont un budget (genre 20 balles / mois) des fournisseurs (Gemini / Anthropic / open AI, copilot, de l’on prem notamment des macs max pour les dev plus chanceux …)
Et après c’est la foire à la saucisse pour en faire le max possible avec le budget alloué et chacun y va de son approche |
| Nr13 | bah c'est le pattern orchestrator-explorer-fixer etc ultra commun non? |
| neo world | Un post sur une stratégie chez Spotify pour diminuer la conso de tokens : https://engineering.atspotify.com/2 [...] sage-by-90 => Déleguer à des modèles capables mais beaucoup moins cher des tâches à la con genre trouver des morceaux codes dans des tonnes de fichiers source :
|
| neo world |
|
| the_fennec | Pour le taf' j'ai pas le droit d'utiliser du local, sauf si ça tourne sur mon MBP 48GB, et même la on est limités sur les modèles approuvés.
Mais d'une manière générale j'ai fini par comprendre ce qui bouffe des tokens dans ce que je fais, merci feu le mode illimité de Cursor ou j'ai fait une requête a $750 :lol: Après ça aide d'avoir 3 comptes, Claude, Kiro et Cursor (en cours de phase-out). On a $500/mois par compte et une procédure pour rajouter $500 de plus si besoin mais j'en ai pas eu besoin pour le moment. En gros, j'ai des AGENTSxxx.md pour chaque projet, et tout est assez carré sur les implémentations, code, UTs, ITs, etc. Il n'y pas de "phase exploratoire", si il a besoin d'un plan, il est fait a la main dans le Jira qui me sert essentiellement de prompt. Ce qui me bouffe des tokens c'est de lancer un agent sur un projet/infra/language que je connais pas en mode YOLO et je le fais plus, pour le moment. |
| neo world | en fait c'est pas tout à fait vrai : par exemple si tu crames 100k tokens à charger des MCP / skills dont t'as pas besoin certes ça te coûtera pas plus cher mais ton app va pas beaucoup avancer au rythme où ton matos peut générer des tokens et pré processer les demandes.
c'est pour ça que je le trouve le sujet peut être même plus important pour ceux qui ont du matos pas très très rapide : c'est presque un contexte plus contraint que juste remettre 20 balles pour payer une surconso imprévue ^^ Je vais regarder à mettre en place litellm sinon en mode "tiered" : 1 => mon serveur d'inférence sauf si busy 2 => Anthropic sauf si indispo ou plus de quota 3 => deepseek flash avec un quota mensuel genre 50M par mois avec sans doute des ajustements : => si c'est pour l'agent de chat / planification c'est plutôt anthropic qui est préferé avec Deepseek en plan B puis local en plan C => Si c'est pour du code c'est plutôt le local qui est préféré avec Deepseek en plan B et pas d'Anthropic (il code moins bien :o :o :o non je veux garder du quota en vrai pour les autres usages :D ) => Si c'est pour de la verif de code c'est Deepseek qui est préferé puis local => Si c'est pour de la verif fonctionnel / UI c'est Anthropic qui est preferé puis deepseek puis local Ce serait juste bien que les enfants dorment mieux pour que je puisse y passer plus de temps :whistle: |
| the_fennec | Il manque: je m'en fiche ça tourne en local
quand même :o |
| neo world | bienvenue :D |
| chris282 | drap , en curieux que je suis |
| neo world | et un sondage pour souhaiter la bienvenue :D |
| neo world | Je suis un token maximaliste ou ma note d'évaluation annuelle dépend de ma facture et pas de la qualité du token produit ?
=> Tu remplis le contexte à fond à chaque fois (par exemple 1M de tokens depuis le repos git de l'entreprise pour lui demander un résumé de réunion) [:jeje84:1] => Tu installes autant d'extensions que possible et tu charges les skills avec tout ce que tu trouves [:jeje84:1] => Tu travailles avec du docx, pdf, jpg, vidéo quand un simple bout de texte (pourquoi pas dans un fichier md) suffisait [:jeje84:1] => Tu demandes texto à ton IA d'être la plus verbeuse possible dans ses réponse (plus de commentaires, de tests, de documentation à la moindre boucle produite) [:jeje84:1] => Tu demandes à ton IA de vérifier des projets opensource random et de faire des demandes de changements aussi souvent que possible [:jeje84:1] => Tu inscrits ton agent sur le topic des agents HFR / agent arena pour cramer du token en refaisant le monde façon [:teepodavignon:1] => oups tu publies ta clé anthropic/open AI/Github Copilot/Gemini / ... sur un depot public [:jeje84:1] [:jeje84:1] [:jeje84:1] d'autres idées / accidents à partager ? :D |
| neo world | Mais alors comment l'optimiser ?
Bien choisir son harness (environnement / client agentique) par odre de grande de "surconsommation" : Consommation roue libre
Surconsommation modérée
Frugal en fonction de ce que vous lui ajoutez derrière (contexte, extensions)
|
| neo world | Hello :hello: Je voulais lancer ce topic pour centraliser les "bons" (et mauvais) plans pour sauvegarder notre précieux stock de tokens [:beretta93] Au boulot on a des quotas assez larges (on fourni du LLM aux clients. Ils paient mes factures d'IA generative. Ça aide :o ) mais en perso j'ai voulu essayer l'IA locale. C'est très confortable pour un usage "débridé" mais se pose la question de la rareté de la ressource :
|
