[blabla@olympe] Le topic du modo, dieu de la fibre et du monde

https://media1.tenor.com/m/OgJLaotH [...] oss117.gif

Ben y’a pas de callback, pour autant que notre infra le sache, j’ai pu soumettre le code en ligne de commande, ou utiliser notre IDE, ou utiliser un agent.
Le seul signal qu’a l’infra, c’est « hey, voilà un nouveau snapshot du code », après quoi comme dit Hepha y’a plusieurs niveau de checks qui se font. Y’a pas de callbacks, mais ils sont tous monitorables.
 
Apres le non-déterminisme je veux bien, mais le principe d’un agent c’est que si tu l’outilles bien, il peut mesurer le delta à la fin d’une itération entre ce qu’il a produit et un résultat, et ne pas rendre la main tant que le résultat est pourri.
La ce qui m’énerve c’est qu’il y a un Check trivial a faire (présence de warning ou de commentaires) et que l’agent le fait pas.
 
C’est exactement pareil qu’un agent qui implémente sum(a: int, b: int) pour toi, que le truc te dit « t’inquiètes gros, ça passe les tests », tu lances la test suite et ça foire sur 1+1.
Et l’agent te répond « ah oui s’agit d’une erreur super triviale, j’ai fait return a-b au lieu de a+b

 
C'est un peu le principe.  
 
Arrêter de vivre pour exister plus longtemps VS continuer de vivre, mais mourir plus rapidement.

Bah la boucle que t'as listé mais avec un truc déterministe qui invoque l'IA au lieu d'avoir l'IA qui est censée se souvenir de la boucle, que ce soit intégré au service, ou bien en local (je sais pas ce que tu fais actuellement mais pareil, juste que ton harness soit pas stochastique).
 
Je présume que tu peux aussi faire ça avec une couche de sous-agents si le but est l'aimaxxing, mais tant que ton orchestrateur est pas déterministe tu peux pas éviter d'avoir la boucle qui se termine sans que la condition de fin soit résolue.

On a un pipeline de presubmit plus compliqué que jubi ne le laisse entendre. Il y a des tests (linters) accessibles depuis les divers VCS, ceux-là sont rarement oubliés par les agents du moment qu'on leur demande un truc du genre "prepare for review" ; des presubmits qui tournent à l'envoi en revue, ce sont les plus pertinents ; et d'autres qui ne tournent par défaut que quand on tente le merge. Il n'y a pas de moyen simple de faire tourner les seconds sans effectivement envoyer en revue, par contre on peut faire facilement la totale. Mais c'est souvent cher et hyper lent (une vingtaine de minutes). Si on lui demande explicitement, l'agent le fait mais c'est pas une boucle viable.

Tout ça dépend beaucoup de la config précise utilisée par le code affecté.

 
ben comme dit Masklinn, pourquoi se faire chier à s'intégrer à l'IDE quand tu peux simplement invoquer pytest <stuff> et lire le résultat en ligne de commande, et agir si les tests passent pas automatiquement?
Si tu veux interagir avec un humain c'est sur que l'IDE a une meilleure UX que la ligne de commande (par ex pour montrer un diff), mais dans la plupart des cas le modèle lui-même s'en tape. Et si il veut te montrer un diff, pour le coup ça c'est intégré dans l'IDE.
 
Quelle exemple de feature d'un IDE tu penses qu'un agent devrait deleguer à l'IDE qui ne le soit pas déjà ?

C'est du complotisme. Ils se tirent la bourre sur l'efficacité en conditions réelles, les modèles qui utilisent le mieux les outils sont les premiers sur les benchmarks, benchmarks qui mesurent également la consommation de token.

Ce sera peut-être différent quand le marché se sera consolidé et qu'on sera tous obligés d'utiliser Mistral. Pour l'instant ce n'est pas du tout la dynamique.