Reprise du message précédent :

OK    

 
Si tu t'en sers comme d'une boite noire (=tu reviews pas le code), alors il faut que tu dois exigeant envers toi même concernant la spec, l'architecture et les tests. On devrait toujours l'être vous me direz, mais à partir du moment où ton "codeur" passe littéralement son temps à deviner ce qu'il fait, il faut soigner ce qu'on lui donne en entrée et les checks à la sortie...
 
Et bien scoper les sessions aussi...

 
Ça sent le projet 100% vibecodé sans tests unitaires. Quand un truc marche, tu dois ajouter des tests pour éviter les régressions.

C'est bien ça, j'essaie de faire au mieux mais voilà ..  

 
Ah bah avec le lien c'est beaucoup plus compréhensible.

QUelqu'un a testé ces trucs genre abacus.ai ?

Ca offre tous les LLM pour 10€/mois avec un usage décent mais je vois pas ou est la couille dans le potage.

Olivie a du tester le truc vu qu'il est pauvre

Suffisait de lire le texte de l'image en fait

+1, bienvenue dans le monde merveilleux du vibe coding
À un moment donné si t'es pas capable de comprendre ce qu'il fait, tu ne sauras pas si il te dit de la merde
Les tests unitaires c'est bien, après les agents ont aussi tendance à tester du 1=1, et à tester les libs sous jacente
Des bons tests fonctionnels/ tests d'intégration c'est un must, surtout si tu comprends pas le code

Merci.
 
Bon, 3 minutes pour analyser un playbook Ansible de 10 lignes

2 comptes chatGPT plus
Pour "today", ce n'est même pas 10% du quota hebdo avec Luna    
 

Celui la semble lent effectivement (j'avais testé comme sous-agent dans Hermes).
Quand je verrais passer les autres offres, j'essayerais de les poster. Y en a au moins 5 que j'ai vu passer avec Deepseek V4 free.

 
Sur Sol, j'avoue que les quotas sont généreux et semblent assez larges, même en Sol Ultra.
 
Open AI offre une puissance/coût semble t'il sensiblement plus intéressante que chez Anthropic où les quotas/limites s'atteignent bcp plus vite.
 
Et Sol il délivre fort, je suis très content de son rendement.

 
Ca veut dire que tu as eu pour 370$ d'équivalent tarif API pour 2x20$ d'abo? Presque x10, nice.. surtout au prix de Luna

Sur les 30 derniers j’avais presque pas utilisé Luna.
Par contre on a eu pas mal de reset.
Là depuis hier je passe en full ChatGPT pour les prompts et Luna high pour l’exécution, à ce rythme un seul compte me suffit je crois.

Avec https://ccusage.com j'ai constaté des "gains" encore plus importants (abo Anthropic à 20$, équivalent API de 370$ en 1 mois).

Compare les 2 en nombre de token utilisés…tu as combien de B token pour $370?

Sur le mois de juillet, 967M input / 2.2B output

Donc 8 fois moins d’usage à la grosse louche.

comment c'est possible 2x plus d'output que d'input? Et seulement 370$ d'API avec un output pareil?

Parce que les thinking tokens comptent dans les output tokens ?

C’est pas presque toujours le cas d’avoir plus d’output que input ? Si je dis au modèle « recrée moi Windows os en one shot » ca sera quoi le ratio input output ?
Input c’est mon prompt et output ses fichiers crées ?

C'est pas vraiment comparable. Déjà ton chiffre mélange tous les types de tokens, alors que la facturation est très différente en in pit vs output.
Le chiffre de fredouye sépare les 2, mais ne montre pas la proportion de cache (qui est facturée très différemment aussi)
Et vous avez tous les 2 fait probablement des trucs différents, donc difficilement comparables
Bref c'est plus une louche c'est une écumoire

Oui évidemment, mais ça reste mieux comme comparaison que juste le coup API par rapport à l’abo.
 
Des comparaisons que j’ai vues de même catégorie de modèle, même travail effectué. Il y a un facteur de trois à quatre entre abonnement OpenAI et celui d’Anthropic.

Non. Input c'est prompt, prompt système, outils (et leurs docs),  skills, mémoire injectée, contexte (en cache ou pas, y compris les propres réponses de l'agent)
En output les fichiers créés, mais pas forcément ; souvent le contenu est créé par un outil ou commande, dans ce cas l'output c'est la commande
Et pour ton exemple ça marche pas vraiment (ou c'est compliqué à calculer) ; jamais un agent va faire du one-shot, la fenêtre d'output n'est pas assez grande. Il va donc commencer avec une archi grosses mailles, re-ingerer ça (input):diviser en tâches, filer les tâches à des nouveaux contextes (input encore), etc etc

 
Marrant, sur mes usages (monitoring local cohérent avec la facturation), les outputs tokens sont vraiment BCP moins élevés. Genre 100M Input/ 950M cache input / 5M output.

J’ai réussi à donner à ChatGPT, accès à Reddit et un navigateur Playwright. Maintenant il peut me chercher des infos sur les suppléments sur Reddit, puis les prix sur iHerb
 

Si tu as tendance à faire des longues sessions, des forks, ou à reprendre d'anciennes sessions, le nombre d'input augmente fortement.

 
En effet, après le main driver reste cached input, pour les mêmes raisons (contexte rebalancé en cache à chaque nouveau prompt etc).

J'ai vu un poste Reddit qui expliquait qu'avec la recherche Google IA (et sûrement avec n'importe quel chatbot connecté à Google) on peut chercher des infos sur un utilisateur en tapant u/username (éventuellement avec un prompt demandant l'analyse du user). C'est assez effrayant

Là je fais bosser Sol, Opus et Fable sur un projet simple à héberger sur le free tier de Cloudflare (et donc s'adapter à leur offre mais c'est pas compliqué) pour voter sur des liste de features et les mecs overengineer tout, c'est d'un lourd.
Les kems et contre kems sur des trucs super chiadés dont tout le monde s'en branle à base  de fraudeurs potentiels sur des cookies forgés et détournement de protection cloudflare  
Même plus envie de lire leurs md  

Je crois que ça doit être ça le IA brain rot ou je sais pas quoi, quand on sature  

 
Je viens d'avoir la même chose, pour un fix qui a été testé dans un worktree a part + dry run + clawpatch, tout est vert et SOL voulait encore créer "un environnement Ghost éphémère totalement isolé afin de tester le commit"  

Ça rejoint ce qu'on disait plus haut, bienvenue dans le vibe coding
Une fois que t'as fait quelques randoms web apps en greenfield, et/ou que tu commences à piger ce que les trucs racontent, les lunettes roses tombent
Je dis pas que c'est pas surpuissant hein, mais déjà faire tourner 3 modèles frontier pour un truc aussi simple qu'une appli de vote qui doit aller taper une api, qui sera utilisée par 12 clampins, c'est clairement de la course à l'armement inutile (et contre productive)

Non mais là le propos c'est le cerveau qui sature. Les LLM sont trop verbeuses, t'en a parfois marre les cadrer et ça te revient dans la gueule. Frontier ou pas.
M'enfin t'as raison, 3 à la fois c'est débile.

J'ai fait faire un premier jet sur sol en chat, j'ai extrait le .md et j'ai demandé à codex de monter le repo puis de challenger tout le bordel : ça commence à vriller puis partage en couilles quand j'ai impliqué Opus en principal puis Fable en gate.

Pas de bootstrap, cerveau qui sature sur un mini side project.. mauvaise.. vibe  

Better Call Sol

 
Soon(tm)

T'as pensé a ajuster le style de réponse dans les settings pour chatgpt ? J'ai mis le style "pro", depuis il me saoule plus, c'est 1 ou 2 phrases concises, c'est niquel

Non mais ça, c'est parce que Sol a compris qu'il valait mieux double check ou triple check avec toi.

Joli

Question Copilot,
 
Je suis en train de l'utiliser pour générer des images pour des groupes Whatsapp. Je lui ai fait créer 4 visuels, je les vois apparaitre séparément pendant quelques secondes, et quand il a finit, pouf, il ne reste plus qu'un visuel visible. Il manque les 3 autres, alors que je les ai vus s'afficher.  
 
C'est normal ?

Elle était facile

Tu as regardé dans les paramètres si tu as une option, ou quelque chose que tu peux changer par rapport à ça ?

Non, y'a rien.
Bon, au final, j'ai fait bosser ChatGPT à la place, il a été beaucoup plus coopératif. Il m'a d'abord générer une image avec mes 4 visuels. Je lui ai demandé de me donner les 4 visuels séparément, et j'ai pu les obtenir.
 
J'ai tenté Mistral AI aussi, c'est un massacre