Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
4497 connectés 

 


Dernière réponse
Sujet : [Topic unique] IA générative de texte, ChatGPT, Copilot, Gemini & co
bulldozer_fusion

ogsvart_ a écrit :

OpenAI a présenté un modèle de cybersécurité non publié obtenant un score de 77 % sur ExploitGym, contre 52,6 % pour OpenAI GPT-6 Cyber, 54,8 % pour Google Gemini 4 Carbon et 39,2 % pour Anthropic Claude Mythos 5.2.


Et fable ?


Votre réponse
Nom d'utilisateur    Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !
Le ton de votre message                        
                       
Votre réponse


[b][i][u][strike][spoiler][fixed][cpp][url][email][img][*]   
 
   [quote]
 

Options

 
Vous avez perdu votre mot de passe ?


Vue Rapide de la discussion
bulldozer_fusion

ogsvart_ a écrit :

OpenAI a présenté un modèle de cybersécurité non publié obtenant un score de 77 % sur ExploitGym, contre 52,6 % pour OpenAI GPT-6 Cyber, 54,8 % pour Google Gemini 4 Carbon et 39,2 % pour Anthropic Claude Mythos 5.2.


Et fable ?

bulldozer_fusion

LibreArbitre a écrit :

Je ne me rappelle pas avoir été impressionné par les prouesses de Gemini depuis des années (deux ans quoi :o)... A chaque fois que je lui donne une chance il hallucine à mort et produit un code dégueulasse, n'arrive pas à déployer correctement mes services ou à suivre des logs, bref, aucun intérêt pour moi... Je garde l'abo pour la génération d'images (et encore les derniers d'OpenAI le défonce) et de vidéo, et aussi pour Gemini Notebook mais bon, j'attends juste un prétexte pour annuler...

 

Edit : Ha si je le garde pour Google Home Premium (à chier aussi) et Google Health (utilisé avec ma FitBit Air, pourri mais pas tout le temps)... En gros pour 22e/m avec du partage familial et 5 To de stockage ça worth si on n'a pas pas besoin de l'IA :o


Pareil j'ai du mal avec gemini

Olivie

Hephaestos a écrit :


Je peux, mais franchement j'arrive plus à voir la différence de qualité entre Carbon et Fable, ou entre Hydrogen et Opus. Ça se joue surtout au style des réponses. Ils m'ont nettement dépassé dans 90% de mes tâches.


Oui. Ce qui compte c’est plutôt le quota d’utilisation.  
Avoir une IA qui pour 100€ par mois permet de faire 100% des tâches qu’on lui demande.

Hephaestos

Olivie a écrit :

Super, des benchmarks de modèles que personne ne peut tester.
Tiens, je vais sortir mon « modèle » moi aussi :o


Je peux, mais franchement j'arrive plus à voir la différence de qualité entre Carbon et Fable, ou entre Hydrogen et Opus. Ça se joue surtout au style des réponses. Ils m'ont nettement dépassé dans 90% de mes tâches.

Olivie Super, des benchmarks de modèles que personne ne peut tester.
Tiens, je vais sortir mon « modèle » moi aussi :o
Mevo


C'est ce qu'ils se sont dit, et d'après Allen, ils ont juste enlevé le "ord' pour nommer le modèle :o

uranus4

ogsvart_ a écrit :

OpenAI a présenté un modèle de cybersécurité non publié obtenant un score de 77 % sur ExploitGym, contre 52,6 % pour OpenAI GPT-6 Cyber, 54,8 % pour Google Gemini 4 Carbon et 39,2 % pour Anthropic Claude Mythos 5.2.


Bordel

ogsvart_ OpenAI a présenté un modèle de cybersécurité non publié obtenant un score de 77 % sur ExploitGym, contre 52,6 % pour OpenAI GPT-6 Cyber, 54,8 % pour Google Gemini 4 Carbon et 39,2 % pour Anthropic Claude Mythos 5.2.
AllenMadison Oui leur prochain modèle c'est le fameux Bel, celui qui a tout poutré en maths.

 

Sachant qu'en plus en ce moment ils doivent bosser sur le modèle d'après, qui promet d'etre encore plus pouissan

ogsvart_ Du livestream d'Open AI, ca reste estampillé "Cyber" mais ce modèle en attente a l'air d'être assez sérieux  [:eh_bien_bonsoir]
 
https://zupimages.net/up/26/46/kllr.png
AllenMadison

ogsvart_ a écrit :

 

Oui mais c'est réducteur, Fable produit des choses et/ou voit des choses qu'Astra ne verra pas tjrs :D

 

Le combo des 2 est une tuerie :D

 

Ce que je produis avec Fable, Astra seul n'en est pas capable à ce pt.

 

Faut pas être de mauvaise fois, je suis loin de me dire qu'Astra est mieux que Fable sur tous les aspects d'un boulot, c'est loin de la réalité.

 

Le combo des 2 est magnifique en tout cas  :jap:

 

Fable reste le tueur je trouve, pour du boulot précis et incisif, et peu de pbs lui résisteront :o

 

Astra est mieux pour prendre du recul et de la hauteur, comme de manière générale entre Open Ai et Anthropic en fait, je préfère les modèles Open IA pour le recul et la hauteur sur une réflexion générale, et une meilleur capacité à nuancer une situation, mais quand faut envoyer du lourd sur des pts précis, faut reconnaitre qu'Anthropic est peut être plus solide, spécialement Fable.

 

Oui le combo des deux, un abo 100 balles d'un coté, un abo 100 balles de l'autre et hop. Comme ça on a le meilleur des deux mondes.

 

Bon après je m'attends a ce qu'on ait très vite des LLM en local qui fassent le job, apparemment des boites IA utilisent astra pour éditer les poids et améliorer leur LLM pour le rendre plus performant à taille égale en local. On devrait vite voir les bénéfices de ça.

uranus4

LibreArbitre a écrit :

Je ne me rappelle pas avoir été impressionné par les prouesses de Gemini depuis des années (deux ans quoi :o)... A chaque fois que je lui donne une chance il hallucine à mort et produit un code dégueulasse, n'arrive pas à déployer correctement mes services ou à suivre des logs, bref, aucun intérêt pour moi... Je garde l'abo pour la génération d'images (et encore les derniers d'OpenAI le défonce) et de vidéo, et aussi pour Gemini Notebook mais bon, j'attends juste un prétexte pour annuler...
 
Edit : Ha si je le garde pour Google Home Premium (à chier aussi) et Google Health (utilisé avec ma FitBit Air, pourri mais pas tout le temps)... En gros pour 22e/m avec du partage familial et 5 To de stockage ça worth si on n'a pas pas besoin de l'IA :o


 
Pourtant quand tu vois le dernier modèle Gemini 4, ce qu'il est capable de faire sur Blender comparé à il y a deux ans, c'est choquant. Je pense que beaucoup dans l'industrie du JV vont l'utiliser pour accélérer le développement des jeux.  
https://www.reddit.com/r/TopologyAI [...] omplex_in/

LibreArbitre Je ne me rappelle pas avoir été impressionné par les prouesses de Gemini depuis des années (deux ans quoi :o)... A chaque fois que je lui donne une chance il hallucine à mort et produit un code dégueulasse, n'arrive pas à déployer correctement mes services ou à suivre des logs, bref, aucun intérêt pour moi... Je garde l'abo pour la génération d'images (et encore les derniers d'OpenAI le défonce) et de vidéo, et aussi pour Gemini Notebook mais bon, j'attends juste un prétexte pour annuler...

 

Edit : Ha si je le garde pour Google Home Premium (à chier aussi) et Google Health (utilisé avec ma FitBit Air, pourri mais pas tout le temps)... En gros pour 22e/m avec du partage familial et 5 To de stockage ça worth si on n'a pas pas besoin de l'IA :o

ezzz Soyons sérieux :o
Olivie Même si tout le monde s'en fout :o
 

Citation :

@OfficialLoganK
 
Introducing Gemini 4 Hydrogen, an extremely capable and fast model built to bring Gemini 4 to everyone!
 
Available to all tiers of Google AI Studio, Gemini API, Gemini for business, the Gemini app, Google Search, and paid Google AI Pro + Ultra subscribers in Google Antigravity.
 
https://pbs.twimg.com/media/HW8YApa [...] name=small

Mevo

gars_lent a écrit :

A priori ils étaient que deux :o :o :o


La vache, ca n'est pas souvent que je rigole autant en lisant un commentaire HFR  :lol:  [:m0zart]

falkon1000

carrion crow a écrit :


OK boomer  :o  :D  
 
Embrasser une techno le plus vite possible n'empêche pas de garder les yeux ouverts et le cerveau connecté, surtout que tu dis être/avoir été dev.
J'ai fait un « agent autonome » pour un client (analyse de produits financiers), code généré par LLM. En fin de développement (que j'ai fait en deux semaines alors que des vibe coders professionnels sont restés dessus plus d'un an sans rien sortir de fonctionnel...), sur environ ~45 tests sur de vrais cas financiers, seulement 20% d'échec, ce qui est OK pour la complexité des produits et l'attendu. On met en production, 3 cas, 100% d'échec... et quand on lis les rapports de l'agent sur ce qu'il trouve confus, etc. et qui fait qu'il ne fini pas en état OK, mon client le traite d'abruti... Et ce n'est pas étonnant, car il faut de la réflexion et du jugement, ce qu'un LLM n'a pas, même s'il le singe bien.
J'ai fait les corrections (juste des précisions métier), et en voyant 3k+ LOC  :heink: j'ai regardé le code/tests (oui j'ai osé faire ça  :o ) Et bien ceux qui disent code is solved, etc. ne doivent vraiment pas être de bons devs... Oui, ça fonctionne (enfin ici ça ne donne pas le résultat attendu) Sans compter les tests qui ne servent à rien mis à part tester des fixtures... Comment est-ce que tu fais pour être sûr des tests que ça génère si tu ne les relis pas ?
Donc oui les LLM c'est puissant mais c'est un outil et sans cerveau aux commandes, le résultat n'est pas fou.
Sur un projet perso ce weekend, si ça fonctionnait bien, une relecture de ma part permet de diviser par dix le temps d'une requête.
Et sur ma software factory en développement, je ne suis pas spécialiste nix, mais alors le slop que le truc a généré est incroyable ; j'ai tout jeté, et je vais reprendre en le guidant petit à petit.
Et je parle de GPT6.1-sol xhigh/medium ou GPT6-astra ici.


Je n'ai jamais été dev. J'en ai fait (et j'ai vécu de ce que j'ai construit).
Pour le reste de ton message, souci de harnais, pas de la techno.

speedboyz30

XaTriX a écrit :


Je connais une administration francaise qui l'autorise :D


 
Oh bordel  [:moonbloood:2]

ChrisPc

gars_lent a écrit :

 

A priori ils étaient que deux :o :o :o

 

Je vais profiter du mois gratos ChatGPT, je commence à me faire larguer par quelques collègues.
J'aurai aimé que ma collectivité nous souscrive un abo groupé, que dalle... il y aura ceux qui vont s'y mettre et les autres...

 

Dit leur que si ils ne t'aident pas à utiliser une IA au boulot, vous allez tous faire du "Shadow AI".

 

Le risque ? Que chacun balance des données sensible sur chatGPT free ou plus sans savoir que ca part entraîner leur modèle par défaut et que d'autres peuvent avoir ses données, peut-être sensible, avec un prompt :o
Faut pas oublier de décocher la petite case dans les paramètres ;)
Et aussi que chacun augmente sa productivité, fasse SES outils de son côté et le jour où on veut propager un truc qui marche ailleurs, bah ça soit compliqué. Le mec il est parti avec son compte et la mémoire de son IA, SES outils et son code voilà.

XaTriX

speedboyz30 a écrit :

 

Mais tu peux utiliser ton abo perso au taf?  [:moonbloood:2]


Je connais une administration francaise qui l'autorise :D

speedboyz30

gars_lent a écrit :


 
A priori ils étaient que deux :o :o :o
 
Je vais profiter du mois gratos ChatGPT, je commence à me faire larguer par quelques collègues.
J'aurai aimé que ma collectivité nous souscrive un abo groupé, que dalle... il y aura ceux qui vont s'y mettre et les autres...


 
Mais tu peux utiliser ton abo perso au taf?  [:moonbloood:2]

ogsvart_ Ca parle que de Jensen Huang et sa démission sur tous les fils, parlez nous d'Astra 6.2 plutôt :o
gars_lent

fabien a écrit :


Celui qui s'est fait prendre avec sa maîtresse?


 
A priori ils étaient que deux :o :o :o
 
Je vais profiter du mois gratos ChatGPT, je commence à me faire larguer par quelques collègues.
J'aurai aimé que ma collectivité nous souscrive un abo groupé, que dalle... il y aura ceux qui vont s'y mettre et les autres...

fabien

speedboyz30 a écrit :

Le CEO a démissionné :o


Celui qui s'est fait prendre avec sa maîtresse?

H00d

speedboyz30 a écrit :

Le CEO a démissionné :o


Démis de ses fonctions : https://www.france24.com/fr/%C3%A9c [...] entreprise

Tronklou

speedboyz30 a écrit :

RIP NVIDIA  [:silvershaded]

 

Rip les gpu grand public dans l'immédiat plutôt.

speedboyz30 Le CEO a démissionné :o
XaTriX qué
speedboyz30 RIP NVIDIA  [:silvershaded]
ogsvart_

carrion crow a écrit :


Je trouve ça absolument pas impressionnant perso.


 
Sur la facilité et rapidité à produire un code jeu fonctionnel et quali, oui c'est impressionnant, même si la facilité et rapidité en question reste à déterminer précisément :o
 
Perso, je trouve Fable tres solide et véloce pour développer, c'est indubitable  :jap:  
 
Très satisfait de Fable, il envoie du bois et c'est pas que du marketing  :D
 
Vivement qu'Open AI se réveille et sorte Astra 6.2 juste avant l'IPO d'Anthropic, ils ont intérêt à pas se rater.

carrion crow

falkon1000 a écrit :


J'ai une vision résultat et je me projette dans l'avenir, je passe mon temps à essayer d'imaginer les manières de travailler dans x années et essaie de mettre en place tout ce qu'on peut dès aujourd'hui pour les reproduire ou se mettre sur le tremplin pour y arriver. Le facteur humain ne m'émeut pas car je ne changerai pas le cours de l'histoire, pas par ce que je trouve que ça n'a aucun intérêt. Ce qui doit arriver arrivera. Les états d'âme ou doléances des gens qui ne vivent que l'instant présent sont importantes et font de la peine mais ce n'est pas en se focalisant là dessus qu'on avance. Je laisse ça à ceux dont c'est le métier et qui en ont la compétence (pas moi, je m'agace vite).
Je re re re précise qu'on est ici sur un forum sur lequel je parle librement et sans mettre les formes requises pour le public visé. Au boulot c'est évidemment beaucoup plus rond.
 
Un peu avant les années 2000 quand je disais aux dirigeants de mes précédentes sociétés qu'internet serait partout, dans tous les postes de travail et qu'on l'aurait probablement directement sur nous en permanence on me prenait pour un fou. Quand je disais que certains métiers n'avaient aucun avenir suite à l'introduction de certaines nouvelles techno, on me disait que non, on a temporisé, géré l'humain, découvert avec étonnement qu'en fait peut-être, puis on a fini par reclasser ou licencier des gens.  
 
Je ne me pense pas visionnaire infaillible, j'ai aussi fait des prédictions extrêmement erronées, plein même (ma meilleure : l'iPad ça ne marchera jamais, les gens veulent un appareil dans leur poche, pas sur leur canapé).
 
Il y a deux ans j'ai dit aux dev qu'il fallait soit passer 24/24 sur l'IA, soit penser à une reconversion. Je n'invente rien, j'ai évoqué ici même petit à petit le cheminement qu'on a suivi dans ma boite.
On a fini par faire en 18 mois ce qu'on aurait pu faire en quelques semaines s'il n'y avait pas Gérard à convaincre.
 
Après, qui vivra verra.
 
Je pense que l'avenir de l'IA est local et qu'Apple est probablement la seule société de grande taille à l'avoir bien compris.
 
Je pense aussi qu'il vaut mieux embrasser une techno le plus vite possible quitte à se planter 2x plus au départ, pour comprendre ses limites, les contourner et ajuster les process au fur et à mesure des évolutions.


OK boomer  :o  :D  
 
Embrasser une techno le plus vite possible n'empêche pas de garder les yeux ouverts et le cerveau connecté, surtout que tu dis être/avoir été dev.
J'ai fait un « agent autonome » pour un client (analyse de produits financiers), code généré par LLM. En fin de développement (que j'ai fait en deux semaines alors que des vibe coders professionnels sont restés dessus plus d'un an sans rien sortir de fonctionnel...), sur environ ~45 tests sur de vrais cas financiers, seulement 20% d'échec, ce qui est OK pour la complexité des produits et l'attendu. On met en production, 3 cas, 100% d'échec... et quand on lis les rapports de l'agent sur ce qu'il trouve confus, etc. et qui fait qu'il ne fini pas en état OK, mon client le traite d'abruti... Et ce n'est pas étonnant, car il faut de la réflexion et du jugement, ce qu'un LLM n'a pas, même s'il le singe bien.
J'ai fait les corrections (juste des précisions métier), et en voyant 3k+ LOC  :heink: j'ai regardé le code/tests (oui j'ai osé faire ça  :o ) Et bien ceux qui disent code is solved, etc. ne doivent vraiment pas être de bons devs... Oui, ça fonctionne (enfin ici ça ne donne pas le résultat attendu) Sans compter les tests qui ne servent à rien mis à part tester des fixtures... Comment est-ce que tu fais pour être sûr des tests que ça génère si tu ne les relis pas ?
Donc oui les LLM c'est puissant mais c'est un outil et sans cerveau aux commandes, le résultat n'est pas fou.
Sur un projet perso ce weekend, si ça fonctionnait bien, une relecture de ma part permet de diviser par dix le temps d'une requête.
Et sur ma software factory en développement, je ne suis pas spécialiste nix, mais alors le slop que le truc a généré est incroyable ; j'ai tout jeté, et je vais reprendre en le guidant petit à petit.
Et je parle de GPT6.1-sol xhigh/medium ou GPT6-astra ici.

ogsvart_ a écrit :

L'exemple de création par Fable du petit FPS assez chouette qui tourne super bien dans le navigateur.
 
Selon toutes vraisemblance, il n'a pas été créé en un prompt one shot comme le dit l'auteur, ça semble peu réaliste, ceux qui essayent avec le même prompt n'obtiennent pas le même résultat.
 
Modulo l'effort et la complexité des demandes initiales, le produit reste assez remarquable.
 
Après analyse de son code par Astra, un des éléments les plus remarquables (c'est le terme utilisé par Astra, sympa le compliment pour le boulot d'un concurrent :o) est la fabrication des éléments visuels directement par du code.
 

Citation :

Fable a écrit, pour une partie des décors, des instructions de fabrication des objets et de leurs surfaces — de véritables recettes graphiques réutilisables.
 
Fable a créé une sorte de petit moteur spécialisé pour ce jeu, reposant sur Three.js, une partie de cette génération s’effectue sur le GPU, avec des shaders (petit programme exécuté par la carte graphique pour effectuer une partie des calculs du rendu), puis les résultats sont conservés et réutilisés.


 
Du beau boulot en somme, même si la création n'a surement pas nécessité qu'un seul prompt.


Je trouve ça absolument pas impressionnant perso. Ça a déjà été fait, et qu'un LLM produise un truc déjà existant, sur lequel il a été entraîné, ou est la performance ? Qu'il invente un nouveau type de jeu, un truc jamais vu ni fait, auquel le public adhère et là OK.
Et c'est une annonce Anthropic, qui prépare son IPO, donc peu de crédibilité dans leurs annonces putassières AMHA.

AllenMadison a écrit :


Ca dépend de quelle IA la personne a utilisé. Il y a IA et IA.  
 
Tu as les trucs de merde gratuits comme gemini en version free tier qui est de la merde absolue. Tu as les tier OpenAI et Anthropic en version payante qui défoncent tout le reste. Astra/Sol 6 et Fable 5.2 se trompent quasiment jamais maintenant. A l'inverse, le free tier gemini te dit n'importe quoi en permanence.


Il y a se tromper, et il y a aussi partir sur de fausses pistes alors qu'une simple réflexion aurait permis de voir direct le problème. Genre un bug dans podman qui fait planter ma CI ; ChatGPT m'a baladé pendant un moment le weekend dernier, jusqu'à ce que je branche mon cerveau dans l'affaire et pointe direct le problème (« oh, you are right ! »  :o )

ogsvart_

AllenMadison a écrit :


Tu veux une claque ?  
 
Quand je dis qu'il fait de la merde, je suis exigeant sur les détails en le comparant avec Astra :o  
 
Fable et Astra sont au dessus du lot vs toutes les autres IA, il n'y a pas de discussion, mais quand on compare finement, fable fait tjrs de la merde vs astra :D
 
C'est pas incompatible avec le "se trompe quasiment jamais maintenant", toute la sémantique est dans le "quasi" aka il me fait de la merde.


 
Oui mais c'est réducteur, Fable produit des choses et/ou voit des choses qu'Astra ne verra pas tjrs :D
 
Le combo des 2 est une tuerie :D
 
Ce que je produis avec Fable, Astra seul n'en est pas capable à ce pt.
 
Faut pas être de mauvaise fois, je suis loin de me dire qu'Astra est mieux que Fable sur tous les aspects d'un boulot, c'est loin de la réalité.
 
Le combo des 2 est magnifique en tout cas  :jap:  
 
Fable reste le tueur je trouve, pour du boulot précis et incisif, et peu de pbs lui résisteront :o
 
Astra est mieux pour prendre du recul et de la hauteur, comme de manière générale entre Open Ai et Anthropic en fait, je préfère les modèles Open IA pour le recul et la hauteur sur une réflexion générale, et une meilleur capacité à nuancer une situation, mais quand faut envoyer du lourd sur des pts précis, faut reconnaitre qu'Anthropic est peut être plus solide, spécialement Fable.

Mevo

AllenMadison a écrit :

quand on compare finement, fable fait tjrs de la merde vs astra :D
 
C'est pas incompatible avec le "se trompe quasiment jamais maintenant", toute la sémantique est dans le "quasi" aka il me fait de la merde.


D'accord. Autant pour moi, le "finement" m'avait quelque peu échappé dans le "fait toujours de la merde" :o  Oui, la sémantique :D
 
Sinon, ca aime bien baver sur certains labos et leurs modèles, ici (il ne semble toujours y en avoir que pour OpenAI et Anthropic), mais perso, je n'ai pas l'impression que Gemini, voire même les versions récentes de Grok, disent davantage d'âneries que Claude ou ChatGPT.
Ils sont "moins performants" au global, ca OK. Mais au niveau de "se tromper" fondamentalement, ca n'est pas mon impression (possiblement biaisée et/ou sur un échantillon limité, certes).
 
Il est vrai que je n'ai pas non plus essayé de démontrer RH avec :o

ogsvart_ Par contre Fable est exceptionnel pour mettre le doigt sur des éléments clefs qui changent la donne, dans la direction d'une réflexion et/ou dans l'audit ou le developpement d'une solution.
 
Je l'appelle Oeil de Faucon, il voit des choses qu'aucun autre modèle ne verra, ca se vérifie souvent :D
 
Ca peut être dans la capacité de trouver une solution à un pt précis, trouver un pb ou une approximation que personne avait vu, ou pour bien appuyer les éléments clefs d'une réflexion menant à un projet.
 
Chez Open AI, ca nuance, le regard global est plus juste, mais on perd un peu en capacité à être incisif et précis sur des éléments à forte valeur ajoutée.
 
Les A/R entre ces modèles concurrents débouchent sur une grande plus value à mon sens  :jap:

Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)