Reprise du message précédent :

 
Pour ce genre de chose claude 3.7 est plus efficace.
 
Je lui demande régulièrement des trucs one shot ou des indications avec l'erreur que ça fait pour avoir un œil externe. (il me sert de canard, pour ceux qui veulent la référence : https://fr.wikipedia.org/wiki/M%C3% [...] plastique)
(mais uniquement des bout de code ou des partie one shot, toujours pour une question de confidentialité)

Oui je suis d'accord sauf qu'on est en version payante de chatgpt pour tuot le monde (pas les free mais bon, tous ses "collègues" l'ont) alors qu'on a un seul Claude pro (le miens)
Je préfère qu'il utilise la même chose que les autres
 
Claude 3.7 a fâcheuse tendance à réécrire quasi tout le code sans qu'on demande...  Gemini 2.5 me semble plus performant
 
Ca me sidère quand même la vision de certains devs qui sont super sceptique. J'ai un ancien collègue, un dev de compèt (le meilleur que j'ai jamais vu) qui dit que l'IA c'est du gadget et que ça n'aura jamais son niveau de maîtrise. C'est dommage d'être dans le déni, il se fera vite douler...

Ca sent le biais psychologique. Assez compréhensible, même. Jusque là, il était un dev de compet'. Si ces outils sont tellement bons, il ne "sert plus à rien" ou il n'est plus tellement bon et utile, par rapport à avant. Et le pire est que c'est bien la tendance du moment
Donc ouais, pas facile si tu te mets à sa place (lui et tous les autres). Une "solution" temporaire est de rester dans le déni et ne même pas regarder ou essayer ces "gadgets". Jusqu'à que ca ne soit plus tenable...

Cette réticence est logique.
Maintenant je parle autours de moi, on est des experts de l IT et on se sert tous d'une IA pour faire le canard, trouver les commandes exactes ou les erreurs alakon qu'on a régulièrement.

On se parle régulièrement et on a toujours le "j'ai tel pb, moi je comprends ça, l'IA me dit que,..."

Bref un bon dev c'est bien.
Un bon dev avec un bon outil IA c'est encore mieux.

Alors pour l'utiliser autant en dev qu'en rédaction ou autre, oui ça aide sur certain points.
 
Est-ce que ça accélère le dev avec de l'auto complétion simple ? Oui
Est-ce que ça me permet de faire des dev one shot plus rapidement ? Oui
Est-ce que ça fait tout direct et du premier coup ? non car ça omets certain point ou on explique pas tout dans le détail et il oublie certain cas.
Est-ce que le code pondu est sécure ? Ca dépend grandement d'où va être intégré le code, car il n'échappe pas par exemple les datas reçu, sauf quand on lui demande de l'intégré dans un Framework ou c'est déjà le cas et qu'il utilise les fonctions pour cela.
 
En résumé oui c'est une aide, mais il faut tout contrôler ce qu'il écrit car il subsiste des failles, et plus la demande prend de l'ampleur moins les réponses deviennent pertinente. Donc je ne pense pas que ça va remplacer de suite les devs, cependant je pense que ça peut largement aider a réduire les équipes pour passer de 1 dev junior et 1 dev senior et juste n'avoir plus besoin du junior si le Dev senior a accès a une IA.
 
Ps : Claude 3.7 répète souvent tout le code qu'on lui demande de mettre a jour, au bout d'un moment il ne fait que donner les changements, et si tu lui demandes il ne donne que les changements aussi.
 
Je me sers de Claude 3.7 en mode Tchat principalement pour le dev, 4o pour la rédaction de doc ou texte, Qwen 2.5-coder 32B ou QWQ en auto complétion local multi ligne et Chat.

A la vitesse à laquelle ca évolue, tous les points que tu relèves seront corrigés dans quelques mois.

Je ne pense pas totalement.
 
La sécurité : j'ai de grave doute, il y a beaucoup de modèle qui sont de plus en plus "empoisonné" volontairement pour que l'IA créer des faille/porte dérobé donc il va falloir qu'il lutte contre ça.
L'évolution : Certes cela va évoluer mais je pense qu'au bout d'un moment le contexte va limiter, car quand tu tchat et demande de plus en plus de chose et qu'il doit récupérer ce qu'il a déjà pondu ça devient de plus en plus compliqué mais ça évoluera c'est sur.

Absolument pas et c'est une limite intrinsèque au fonctionnement du LLM.

Même avec un contexte énorme (et donc une puissance gpu énorme), le llm ne saura pas intégrer la démarche de développement que l'on demande à un humain.
(et c'est pas "pisser du code" )

La solution c'est une team d'agents ia.
Mais ça c'est une mise en place qui demande de la technique IT.

o4 par exemple génère l'image puis repasse dessus avec un llm spécialisé pour ajouter les textes.

Cela fait longtemps que ChatGPT et ses équivalents ne se limitent plus au simple fonctionnement d’un LLM. Ils reposent sur un vaste écosystème d’outils complémentaires, de réglages spécifiques et d’optimisations adaptées à divers usages.

Demain, lorsque tu soumettras un prompt de développement, ChatGPT pourra, en arrière-plan, assembler automatiquement une équipe d’agents IA, gérer l’ensemble du projet et livrer un résultat final sans nécessiter d’intervention humaine ni de compétences techniques en IT.

Et peut-être que c’est déjà le cas sans qu’on le sache. Il est possible qu’une forme d’orchestration par agents IA soit déjà intégrée à ChatGPT, sans pour autant être visible aux utilisateurs.

Personnellement je suis assez d'accord avec ce que tu dis. Je dirais même que l'IA se cantonne actuellement a de petites choses mais ça le fait très bien.
 

Pas du tout d'accord là par contre
Quand on voit les perfs de Gemini 2.5 Pro franchement c'est bluffant
 

Les rag et fine tuning ne compensent pas complètement les limites intrinsèques.

A terme oui, c'est possible d'avoir des teams d'agents qui répondront.
C'est d'ailleurs ce que je disais.
o4 a commencé à intégrer des process de génération itérative.

A trop prendre pour valide ce que dit l'IA sans la critiquer ni vérifier, vous allez embarquer de la merde sans le voir.

Et à croire que l'IA a toujours raison, vous en viendrez à refuser à écouter les sachants "qui sont maintenant has been".

On commence déjà dans ce topic.

o4 ?  
 
Je pense que tout le monde a raison, on parle juste pas des mêmes choses. L'IA a un niveau de dev qui, à mon sens, explose déjà même les meilleurs développeurs humains MAIS le contexte est très limité et ne permet d'exploiter ça que sur de petits devs, de petits projets.
 
Dès qu'on sort des limites ça devient bancal. Effectivement un simple RAG d'un repo ça ne remplace pas du tout un contexte énorme.
 
Mais Gemini 2.5 a un context qui peut monter à 2 milliosn de token.. Reste à voir comment il performe avec un tel volume de données.

Faudra tout de même au moins un cerveau pour les "intentions" et donner des instructions. Le truc est ca: Il n'en faudra de plus en plus qu'un seul.

Un seul dans une organisation ça ne marche pas. Une démission et tu es foutu. Il en restera plusieurs, mais largement moins et j'imagine qu'on fera moins appel à de la prestation

La qualité d'un dev est au contraire de gérer des millions de LoC en limitant son entropie. Sur les petits devs, l'essentiel de ce qu'il est possible de faire est soit documenté, soit accessible en open source, soit l'objet de recherches théoriques, c'était déjà simple à trouver avant les années 2020, juste beaucoup plus long (publications, repos github...)

La force des LLM c'est pour l'instant le scafolding sur ces portions petites, et le résumé des documentations à une vitesse incroyable. La question de la mise à l'échelle est à mon sens de la boule de cristal, ça ne me semble pas si évident, même si  fortement possible, que la gestion des gros projets de manière évolutive est inéluctable : puissance de calcul qui ne va pas forcément augmenter tant que ça, quantité de gros projets en accès libre limitée et pas nécessairement state of the art.

plus l'échelle exponentielle sur le besoin de compute / nb de tokens du contexte.

Je prépare qqs exemples des limites intrinsèque des llm, vous verrez mieux ce que je veux dire

Farpaitement

+1, je pense qu'on utilise pas tous "dev" pour la même chose. Pour falkon1000 j'ai l'impression que c'est "écrire le code" et pour d'autres c'est aussi gérer tout ce qui va autour, dans quel projet mettre quelle partie, ce que ça implique sur les ressources d'infra, comme la CI va être impactée, les changements pour les autres équipes / projets, etc

Sur les trucs one shot c'est d'une efficacité assez folle, mais sur des gros truc avec compréhension pas encore (mais de toute façon je lui donnerais pas a manger tout mon code).

Dernier exemple avec Claude sur un truc one shot, je lui ai demandé de me faire un script pour faire des snapshots de DB en PHP et pouvoir comparer avec des tableaux de différences et restauration.

Sur les 6 première demandes il a fait au fur et à mesure ce que je lui demandais ensuite il a commençait à partir un peu en sucette, je l'ai recentrer et il a continuer, il est moins parti en sucette quand je lui ai demandé de juste mettre les bout de code différents VS tout les fichiers a chaque fois comme il fait tout seul.
A la fin j'ai un truc qui marche et qui fait exactement ce que j'ai demandé qu'il a intégré dans mon framework mais niveau efficacité (rapidité le code peut être amélioré je pense). Mais j'ai la fonction que je voulais faites en un temps record pour mon besoin spécifique. Si j'avais eu le faire je pense que j'en aurais eu pour 2 a 4 jours vs 2 a 3 h pour lui. (Le temps de relire, test le code)

Bonjour

En version gratuite de grok3, à combien de deepsearch on a droit ? Je n'ai pas trouvé l'info.

Ils ne semblent pas trop communiquer dessus
Demande à Grok directement. Il te dira ce qu'il en pense et il a une estimation (je lui avais demandé. C'est plus simple que tu le refasses plutôt que je cherche la conversation).

 
Donc une petite démo de ces limites.
 
Je suis parti d'une idée àlacon (la glacière-plancha ... si quelqu'un a la ref).
 
J'ai demandé à Grok et Claude d'analyser l'idée.
le même prompt : "j'ai l'idée d'un nouveau produit, la glacière-plancha. réfléchis et proposes-moi une analyse produit avec business plan, étude marché, etc."
Chacun a produit une analyse.
 
Ensuite, j'ai pris cette réponse et j'ai demandé à Grok d'évaluer Claude et à Claude d'évaluer Grok.
 
Pour chacun, j'ai demandé de 2 façons différentes :
1ère analyse :  
> "Analyse cette réponse de xxx et donnes-ton avis"
puis  
> "tu penses quoi de l'analyse au final ? bien ou pas bien ?"
 
2e analyse :  
> "Donnes-moi les défauts de cette analyse qui ne me plait pas"
Puis  
> "tu penses quoi de l'analyse au final ? bien ou pas bien ?"
 
Voila les résultats :  
https://pastebin.com/TqFPWTEr
 
 
Globalement, ce qui en ressort (et c'est leur ADN) :  
- l'orientation de la demande : l'orientation de la question influencera la réponse
- la sélection des données : les IA vont avoir tendance à prendre les informations qui correspondent à l'orientation suggérée dans le prompt.
- le biais de confirmation : les IA vont avoir tendance à aller dans le sens du prompt
- l'illusion de l'expertise : verbe, cohérence narrative, les IA sont toutes programmées pour répondre avec un ton d'expertise quasi absolue, peu importe les données intégrées.
Elles parlent très très bien.
 
Comme le dit Claude, "il découle directement de la façon dont ces systèmes sont conçus pour être utiles et affirmatifs. Les modèles sont entraînés pour produire des réponses qui semblent appropriées au contexte donné, et ce contexte inclut le ton et l'orientation du prompt"
 
Quand vous le savez et que vous faites attention, c'est bien.
Quand vous prenez pour argent comptant la 1ère réponse d'une IA sans la challenger dans un domaine que vous ne connaissez pas, c'est dangereux.
 

Hors test spécifique tel que tu l'as fait, je suis totalement d'accord avec ce que tu mets en avant là.
Ca se voit, se ressent et ca ne cesse de se confirmer plus tu les utilises Et oui, c'est assez prononcé.
Elles ont aussi tendance à être "positives" avec toi (Etre d'accord, te brosser dans le sens du poil, etc. Au-delà de l'influence que ton prompt a déjà sur leurs réponses. C'est être "engageant" pour elles, et elles sont programmées pour, de leur propre aveu).
 
EDIT: D'un autre coté, lorsque tu leur demande leur avis, elles essayent tout de même de te présenter aussi "l'autre coté". C'est pas "tout mauvais" non plus.
Ca dépend aussi beaucoup de ce que tu demandes exactement. Ca reste des machines et ca répond vachement à la demande... Tu restes le pilote. La voiture de course ne fait pas tout

Bon ça fait quelques jours que je joue avec les MCP et Claude et c'est vraiment cool.  
Déjà ne pas avoir besoin de l'API c'est un gros plus, avec juste l'abo pro ça roule et je suis sur de pas dépasser les 20$ quelque-soit mon utilisation.
Ensuite ça fait des miracles, je l'ai testé sur notre logiciel principal, des fichiers dans tous les sens, un MVVM pour chaque module, des contrôleurs un peu partout, c'est bien organisé, mais il y a du boilerplate à chaque implémentation de fonction. Je lui ai demandé de me faire une petite fonction qui doit parler à deux modules différents, qui se parlent juste à un moment dans un environnement, c'est pas évident parce-qu'il faut remonter assez haut. Il a tout réussi du premier coup. Le code est nickel, tout fonctionnait. Juste l'UI qui était pas parfaite même si l'idée était bonne.
En plus c'est du Swift donc pas forcément la plus grosse base de donnée en entraînement.
 
 
Testé également sur un plus petit projet en Python et ça a pas mal fonctionné, c'est du hardware. J'avais une branche qui fonctionnait, et une branche refactorisée qui gérait mal le multiprocessing. Ça a pris quelques back and forth mais il s'en est bien sorti au final.  
 
Par contre je l'ai testé sur le plan gratuit et en un message j'ai atteint la limite, je pense que ça prend le plan pro dès que les projets sont de moyennes tailles

Bon terminé les credits de manus, les 39$ ça sera non,un peu trop hors budget

J'ai relancé la creation de 200 pages il m'en a fait une et s'est recouché ...

j'ai voulu tenter le scrapping d'un annuaire question de voir ... il a fallu lui dire de chopper l'url dans le href, sinon tintin (et credits gaché du coups) ...les credits sont partis assez vite 4 pages environ 400 credits et un petit message me demandant de m'abonner (a 39$ les 3900 credits ) (en fait pour préciser je croyais qu'i se payait a la tache globale au forfait/prompt ,non il se paie avec les sous taches ,on voit le compteur de credit defiler à l'envers au fur et a mesure qu'il bosse)

Par contre lui est cool il m'a mis ça dans un pdf et un csv , la derniere fois que j'ai tenté ,je sais plus quel IA,il bien crrer le pdf , mais ne pouvait me le transmette, donc leur serveur doit servir de depotoir à pdf

C'est con qu'il soit si cher me laisserai bien tenter pour son petit coté couteau suisse

edit:
ça rale bien que les credits partent trop vite :
https://www.reddit.com/r/ManusOffic [...] uccessful/

Je pense que je devrais m'orienter vers la version Pro de Claude et lui demander de m'écrire des prompts que je donnerais à Deepseek ou autre LLM qui exécuterait dans VSCode. Ca me couterait bien moins cher.
On sait quand Gemini va sortir l'API de 2.5 ? D'après ce que je lis, c'est mieux que Claude 3.7

https://youtu.be/bye1Elt8MJI?t=25

ah merde

?

Petit indice en vert  

 
Quand j'ai plus d'usage dispo sur Claude je vais un peu sur Gemini. Par contre j'ai vraiment du mal à en tirer quelque-chose. Claude j'ai l'impression qu'il comprend plus facilement ce que je veux, il va juste faire ce que je demande et voilà. Gemini il va me réecrire tout le code et en plus il va sauter des morceaux. Donc je peux pas regarder facilement ce qu'il a changé et je peux pas non plus copier-coller ça facilement parce-que je vais perdre 25% de mon code.  
 
Je suppose qu'il y a une manière différente de faire les prompts mais pour l'instant j'ai pas regardé en détail.
 
J'ai pas pensé à demander des prompts, ça marche bien ?

Ben je bossais avec Grok pour les prompts qu'il donnait à Claude dans VSCode, je ne suis pas du tout dev, mais dans le prompt, je disais qu'il fallait demander à Claude de critiquer le code s'il voit un souci.
En général, ca parrait bien.
Mais le souci de claude c'est son contexte, dès que ca devient un peu long comme projet...
 
Et j'ai eu un "gros souci" avec Claude (je bosse directement dans VSCode + Cline).  
Y avait un bug persistant dans le code. J'ai essayé de le forcer à lire le code entier (plusieurs petits fichiers) mais il ne voulait "pas".
Il revenait avec un "j'ai trouvé la solution on doit modifier", et je lui disais, ne fait rien, dis moi d'abord si tu as lu le code.
 
Il me répondait je dois avouer ne pas avoir lu". Donc je lui dis, 'ne fait rien et lis le code entièrement"...et il revenait vers moi avec une solution. Je lui redemande a tu lu le code...il avoue ne pas l'avoir fait.
On a fait ca sur 7-8 messages. Il me disait oui je vais tout lire, promis...et revenait toujours sans tout lire.
J'ai l'impression que y a une limitation pour qu'il aille vite et mette en place une solution et contourne mes instructions.

 
En même temps manus c'est tellement février 2025    
 
Perso j'ai jamais réussi a en sortir quelque chose d'intéressant dès que ça s'éloigne des exemples de la galerie.

 
Alors là pour le coup MCP j'ai rien suivi. Avec un Claude pro à 20 USD/mois on peut faire quoi ?

Le connecter à ton Gmail pour qu'il réponde à tes emails

 
Tu vas pouvoir interagir avec différentes ressources locales (les fichiers sur ton ordi, créer, modifier, supprimer, avoir une extended memory persistante entre les chats qui grandit en fonction de tes projets, ...) ou distantes (https://modelcontextprotocol.io/examples).
 
Pour mon usage c'est surtout essayer de me rapprocher de Claude Code sans avoir besoin d'utiliser l'API (j'ai brûlé les 5$ en une aprèm).
Claude gratuit fonctionnerait aussi, mais tu atteins très vite la limite

Dites j'ai dans l'optique de regarder pour faire des prévisions de vente suivant plusieurs facteurs différents dont la météo.

Je voudrais trouver une source (de préférence pas chère   ) qui me permettrait de récupérer la météo (par département et par mois ça serait bien) des 10 ou 20 dernières années et qui aurait les prévisions météo des mois à venir (je parle d'une tendance).

Si ce sont deux sources séparées ce n'est pas très grave étant donné qu'une fois les datas récupéré dans le passé elle ne bouge plus, il faut juste que puisse avoir dans ces jeux de données une certaine "similarité" afin de pouvoir en déduire quelque chose.

(Après manquera que le prompt avec le contexte énorme )

Pas vraiment ta question, mais pourquoi vouloir un LLM pour faire de la prédiction ? Les techniques de machine learning me paraissent plus efficaces dans ce cas précis.

Tu as des ML spécialisés en prédictif plus adaptés.  

 
Pour la phase de modélisation et de training en moins je suppose