Reprise du message précédent :

Tout ce que je veux, c'est que l'IA trouve ce qu'il faut faire comme modifications/commit dans l'intégration publique sur GitHub pour que ça fonctionne par la suite.

En gros, je veux lui filer la doc de l'API A, le GitHub B, et lui demander de trouver les modifs à faire côté B pour que ça prenne bien tous les champs de l'endpoint Z de l'API A.

Un bon gros vibe coding avec un agent de code quoi  

A un moment, on va (enfin, je...) être vraiment, vraiment largués...

c'est mon customgpt qui fait les appels

Perso, je suis un peu étonné de comment tu présentes cela. Je n'ai encore jamais vu de résultat que je qualifierais de "ultra précis", quel que soit le modèle. Ca me parait tout de même bourré de petites fautes (si ce n'est parfois d'énormes fautes), d'approximations, d'instructions pas totalement bien suivies, etc. Si tu veux quelque chose de bon, la relecture, correction et le peaufinage prend tout de même du temps. Ou vous arrivez tous à avoir des résultats parfaits du premier coup, à tous les coups, et vous allez me la jouer que c'est de ma faute ?

Ça fait bien longtemps que je n’ai pas vu un modèle se planter sur quelques données venant d’un RAG  
 
Le customgpt dont je parle fait appel à des fonctions qui tapent dans des API pour récupérer quelques infos sous format structuré
Je vois pas comment il pourrait se planter dans la restitution de quelque dizaines de chiffres
 
L’API, elle, n’utilise aucun LLM pour fournir ses résultats
 
PS : on a d’autres systèmes qui, eux, peuvent donner le sentiment d’halluciner mais qui en réalité se mélangent juste les pinceaux sur les données récupérées car elles ne sont pas fournies sous forme structurée. Je pense par exemple à un chatbot qui lance une recherche vectorielle dans une base qui a été indexée depuis des phrases contenant des infos utiles. Ça n’a rien à voir avec une API qui, sur la base d’une requête bien précise et calibrée te renvoie un json ou un xml parfaitement balisé

https://huggingface.co/deepseek-ai/DeepSeek-R1-0528

Un nouvel agent niveau PHD accessible en bêta  
https://www.intology.ai/blog/zochi-acl

Accessible où et comment ?

regarde dans le lien, tu peux t'inscrire pour accéder à la bêta (en haut à droite)

C'est variable en fonction du besoin : au plus il est standard / courant (genre faire une interface en react / vuejs à partir de maquettes, ou bootstrap un projet API classique), au moins tu as besoin de retoucher, il peut même faire mieux que ce que tu aurais fait au premier abord.

Les domaines plus exotiques et donc avec moins de liens ou des changements récents c'est une autre histoire, là je suis content quand j'ai une piste viable que je peux étendre. Genre mettre en place une stack grafana / Loki / tempo sur du k8, il racontait trop de merdes sur la conf pour que ce soit rentable, je me suis servi de la doc, à l'ancienne.

Opéra rentre dans la danse

https://x.com/opera/status/1927645196059099138?s=19

Les opérateurs comme ça c’est le nouveau monde qui communique avec l’ancien
L’avenir c’est MCP et le commerce passera par là, tout comme la recherche d’info
 

Je ne saisis pas bien ta réponse. Bien entendu que les données provenant d'un RAG ou d'une API en elles-même sont correctes. Comment pourrait-il en être autrement ? C'est comme si tu lui collais toi-même les données dans le prompt. En entrée, c'est bon.
Ensuite le LLM va traiter ces données. Faire ce que tu veux en faire, ou faire avec. C'était bien ce dont tu étais en train de parler, tel que je t'ai cité et je te cite à nouveau: "...traiter les données, croiser ça avec un annuaire email + organigramme et qu'il pondait un mail ultra précis et pertinent à destination des bonnes personnes dans l'entreprise...". Et c'est là que le bas blesse éventuellement.
 
Je peux te donner un exemple concret très simple: En début de mois sur le topic bourse, était discuté deux ETFs sur l'indice NASDAQ-100. Sauf que l'un était "normal" (=les sociétés du NASDAQ-100) et l'autre était "ESG" (normalement les même boites, mais avec une sélection alakon). Le résultat a été celui-ci, en regardant (Source = le topic Bourse = https://forum.hardware.fr/hfr/Discu [...] #t72840260 ) :

J'ai voulu faire la comparaison des deux listes avec des LLMs pour obtenir ce résultat. J'ai concocté des instructions qui me paraissaient bien et bonnes, ainsi que claires (j'ai ai mis un peu d'effort), avec un copié/collé des deux listes de sociétés. Eh ben le résultat n'a pas été joyeux... Je me suis ensuite servi de ca comme "test" pour le filer à différents LLMs. De simples petits détails tel que le fait qu'il y avait deux fois l'action Alphabet (deux classes différentes), que les dénominations n'étaient pas toujours exprimées de l'exacte même facon (présence de "LTD" ou "LIMITED", "INC" qui apparaissait ou non, dénomination raccourcie ou un peu plus complète, etc.), qu'il y avait 5 sociétés dans la liste B qui n'étaient pas dans la A et 55 dans la A qui n'étaient pas dans la B, fait que t'obtenais rarement le bon résultat. Nombre de modèles n'arrivaient même pas à compter correctement le nombre de lignes des listes au départ, alors que ca parait pourtant ultra évident. L'une des deux listes était même numérotée, et ils arrivaient à me trouver un compte différent. Une tuerie. Et ca n'avait rien de terriblement compliqué. J'ai tout eu, genre "toutes les sociétés dans B sont dans A" => Non, ce n'est pas le cas, 5 n'y sont pas ! Bref, d'où mon étonnement devant la manière dont tu présentes cela comme outil quelque peu "magique".
 
Au-delà de ca, j'ai tendance à leur demander des trucs un peu compliqués, parce que oui, si je peux faire aussi rapidement moi-même que le temps qu'il me faut pour leur expliquer, ca ne me sert à rien. Ben les résultats, c'est souvent pas totalement ca. Au minimum, ca demande un bon coup de vérification. Et souvent d'y mettre la main à la pâte pour les aider et les guider. Pas plus tard qu'hier, sur une discussion en amont pour la création d'un dataset avec Gemini 2.5 PRO, il me donne un exemple basé sur des images de chat. Et dans son exemple, il explique qu'une image de chihuahua ressemblera environ à x%, y% et z% à d'autres trucs, mais que la plus grosse probabilité sera bien que ca ressemblera à une image de chat ! Il me sort ca, de but en blanc. Lorsque je lui fait remarquer que "euh, un chihuahua, c'est un chien, pas un chat", il me répond "ah oui, oups, désolé, c'est bien pour ca qu'il faut que tu vérifies ce que je raconte derrière et qu'il faut que tu vérifies le dataset ensuite". Bref, c'est pas précis, et ca se trompe "bêtement" assez facilement, à mon sens.
 
Sur l'exemple que tu as donné, de mon expérience, si tu te sers du LLM pour faire ca sur la durée, il te rajoutera quelques personnes qu'il ne faut pas à l'occasion, et t'en oubliera quelques unes à l'occasion (s'il faut faire de la sélection, des croisements, etc. le résultat n'est pas garanti d'être le bon)... Tu ne peux pas compter dessus pour ce que tu veux d'effectué de manière précise et sure (or "ultra précis" était ce que tu disais, d'où ma réaction / question ).

Pour coder comme cela, sachant qu'il a vachement dû voir passer de choses du genre durant son entrainement, ok, je suis tout à fait disposé à croire que ca peut sortir quelque chose de bon

@Mevo
 
Tout dépend de ce que tu lui demandes  
Moi je lui fait faire appel à des fonctions qui font des appels API venant de différentes sources, il les récupère parfaitement car l’appel est calibré et la sortie est faite par un système spécialisé, toujours sous le même format et qu’il est parfaitement clair.
Le volume de données récupéré est faible car c’est le résultat final, que le système spécialisé qu’on a interrogé à calculé lui même de son côté.
 
Croiser 4 ou 5 données de ce type et demander au LLM de faire la restitution ça ne provoque jamais d’erreurs car on n’a pas utilisé un modèle de langage pour faire autre chose que du langage
Ici on utilise le LLM pour qu’il comprenne une demande en langage naturel, appelle la bonne fonction qui fait partie d’un catalogue de fonction dont la description a été faite en langage naturel et est interprété correctement par le LLM, produire un texte de réponse avec les données récupérées.
 
Tant qu’on reste dans ce pourquoi les outils sont sont conçus ça fonctionne bien.
 
Si je prends ton exemple sur les chats et les chiens tu utilises un LLM pour qu’il comprenne ta demande puis il fait appel à un moteur de vision qui tente de décrire l’image. Ici le problème n’est pas le LLM mais le moteur de vision. que veux-tu que le LLM te réponde d’autre que « ah oui vision a fait une erreur bon bah je vais m’excuser pour lui ». et bien évidemment tu n’auras pas un meilleur résultat parce que le metteur de vision a ses limites. Ce n’est pas une hallucination.
Le moteur de vision n’a technologiquemen t rien à voir avec le LLM. Analyse de matrices de pixel d’un côté, prédiction de token de l’autre. Ça a beau être markèté dans un unique produit c’est très différent.
 
Souvent quand on parle du manque de performance, des grands modèles de langage et que je regarde l’utilisation qui est en effet et que je vois que on leur demande des calculs mathématiques complexes, j’ai le même discours. C’est juste pas leur domaine même si on les équipe de bonnes calculatrices.
 
On peut planter un clou en frappant comme un soir avec un manche de tournevis. Ça finira par presque fonctionner tant bien que mal. C’est pas pour autant que c’est un mauvais tournevis

Faut que je commence à faire attention avec mes requêtes de 700K tokens en input, mes journées commencent à coûter 10e avec Gemini  

Mais qu'est-ce qu'il est doué.

Tu utilises le pro ou le flash?

"il les récupère parfaitement": Encore une fois: Normal. Comment pourrait-il en être autrement ?
"Croiser 4 ou 5 données de ce type et demander au LLM de faire la restitution ça ne provoque jamais d’erreurs": Si, et c'était tout le point. Enfin, à mon sens (au niveau CROISEMENTS, pas récupération. Ou "restitution", si tu ne fais RIEN avec ces données. Dans ce cas, t'aurais plus vite fait d'appeler directement l'API).
 
"car on n’a pas utilisé un modèle de langage pour faire autre chose que du langage": Une discussion à propos d'images de chat (ce n"était qu'une discussion TEXTE en amont, avec un exemple qu'il m'a donné de lui-même), pas d'actuelle image impliquée pour l'instant. Et je t'ai donné l'exemple de la liste de sociétés, qui n'est que du texte, avec rien de terriblement compliqué. Ca se rapprochait de jongler avec des listes d'emails et sélectionner les bons, par exemple. Je n'ai jamais parlé de "calculs mathématiques complexes". Bref, dialogue de sourd.

Améliore ton prompt alors  
J’ai pas particulièrement envie de débattre
Perso j’ai des résultats qui nous font avancer

Les deux en fonction des besoins.

Pour extraire des citations d'un corpus, même Flash se débrouille très bien. Le pro c'est plutôt pour apporter des critiques sur certaines notes que j'ai produites en se basant sur ce même corpus.

Très honnêtement je n'ai jamais vu une seule hallucination dans les citations qu'il m'a apportées. Par contre ça arrive (⅒ environ) sur Flash qu'il crédite un autre auteur sur une citation/donnée ou qu'il sur interprète. Mais bon, ça arrive même aux humains et de toutes façons je connais bien mon corpus  .

Je ne crois pas que mon prompt soit en cause (ca peut arriver à l'occasion, mais ca se remarque, dans ce cas). On a simplement une différence d'opinion sur la fiabilité et ou le supposé forcément "parfait" du résultat, voilà tout. Perso, je veux bien du retour de gens autre que du "J’ai pas particulièrement envie de débattre. Perso j’ai des résultats qui nous font avancer" Entre "ca fait avancer" et c'est "ultra précis", il y a une différence, à mes yeux. Je n'ai pas dit que c'était inutile pour autant (faut pas tout mélanger).
 
De manière intéressante, le soucis me semble d'ailleurs augmenter proportionnellement à la réduction de la taille d'un modèle (au niveau du nombre de paramètres). Autant les bon gros modèles hébergés, ils se trompent peu et restent très bon. Mais les erreurs restent présentes à l'occasion. Autant avec les petits modèles en local, le soucis augmente de manière notable, je trouve. Le parallèle entre comment ils deviennent moins "intelligents" lorsqu'ils sont plus petits est assez marrant également (à considérer que les gros modèles seraient "intelligents" ). Ils ont davantage de mal à comprendre, davantage de difficultés avec la nuance, ils tapent plus facilement à coté de la plaque, se retrouvent beaucoup plus vite largués, et font davantage d'erreurs (on ne parle pas non plus que d'hallucinations, qui est autre chose). Un certain parallèle pourrait presque être fait avec l'intelligence des humains, d'ailleurs (je ne dis pas cela pour toi, ici, pas qu'il y ait méprise).

Assez d'accord avec toi, je ne constate pas d'ultra précis sur un usage d'architecture et de comparaison entre solutions. J'ai souvent le cas où la comparaison est bonne, je rajoute un paramètre et ce qui était réalisé avant est remis en question sans raison apparente. Même en refaisant un prompt ça reste parfois moins bien que le résultat initial... Voir même en faisant le même prompt une nouvelle fois il se plante à nouveau sur un autre élément !
Par exemple récemment je bosse sur des solutions pour un système air-gapped, ChatGPT invente pas mal de choses qui ne marchent pas quand il ne trouve rien dans la littérature puis se mélange entre plusieurs produits d'une même boîte en lui disant explicitement lequel évaluer, puis dit le classique "ah oui c'est vrai blablabla" et il persiste dans l'erreur. J'ai remarqué que ça me le fait souvent quand il modifie une comparaison formatée dans un tableau plutôt que dans des sections séparées.

Bref, le temps de relecture et vérification est non négligeable pour ma part.

Voilà, j'ai également les mêmes expériences que ce que tu décris Merci.

Pour info je viens de découvrir dans Gemini qu'on pouvait inviter 3 amis et leur faire bénéficier de 4 mois d'abonnement gratuit à Gemini Pro...
 

Même expérience ici.
 

C'est dommage cette attitude.
Tu dis sans arguments que croiser 4 ou 5 sources c'est facile et que le LLM ne se trompe pas.

Je ne vois pas non plus comment ça peut être vrai (que le llm se trompe pas) quand mes propres tests prouvent l'inverse.

Peu importe le prompt, lui donner 2 listes de valeurs textuelles et lui demander de fusionner ou de trier, ça peut foirer facilement.

C'est un travail d exactitude sur lequel les LLM ne sont pas bons.

Edit: j'avais pas vu les autres messages.
+1 avec vous

Ok
 
 
Quelqu’un sait si on peut utiliser MCP dans un custom gpt ?
J’ai lu que ça se faisait dans les Actions mais je ne trouve pas comment faire.
 
Merci

Si tu prends ce topic comme un SAV gratuit à tes demandes, je vois pas l'intérêt de te répondre.

Demandes à ton customGpt la réponse.

https://www.reddit.com/r/LocalLLaMA [...] ne_16_pro/

Bon bha MCP n’en n’est qu’à ses prémices sur GPT. Dispo dans l’api en stdio et de ce que j’ai compris c’est en bêta en sse depuis cette semaine
 
La dessus Claude a une avance
Et Google a une avance sur la vidéo
 
OpenAI doit être en stress en ce moment

Je t'ai testé c'est pas mal !

Si c’est Claude 3.7 derrière, pas de raison que ce soit mauvais

J'avais regardé il y a 1/2 mois, oauth n'était pas encore supporté dans la spec MCP, ce qui limite aux données locales. Amha c'est surtout à ce moment-là que MCP va décoller et devenir un must

Ça utilise 3.7, pas 4?

Je retire ce que j'ai dit plus haut : l'impact de MCP est déjà plus profond que ce que je pensais  

https://github.com/ConAcademy/buttplug-mcp

Perplexity continue sa marche en avant

https://x.com/perplexity_ai/status/1928471214533779894

perplexity, me laisse perplexe, j'ai voulu faire du comparo de scooter chinois, il m'a mélangé avec d'autres modeles ... le texte fait tres pro , y'a pas à dire, mais les données utilisé sont pété ...

Je m'en suis rendu compte car j'ai voulu faire le comparo avec d'autres modeles, il m'a sortie les memes données ... "tiens , c'est bizzare ... "

 
Perso je pense que MCP c’est la vraie révolution annoncée depuis l’annonce de ChatGPT
Ça va faire passer l’usage des LLM à un tout autre niveau