Forum |  HardWare.fr | News | Articles | PC | S'identifier | S'inscrire | Shop Recherche
2023 connectés 

 


Dernière réponse
Sujet : [Topic Unique] Claude by Anthropic
AllenMadison

SenorPollo a écrit :

Après peut être que tu comprends rien à ce que tu fais du coup tu l'orientes mal et tu lui demandes n'importe quoi ? :o

 

Pas du tout. Pour quelques étapes du problème, on fait appel a des théorèmes déjà existants, qui sont dans la littérature et dans les papiers arxiv/sur des sites internet.

 

Voilà sa réponse, alors qu'il a eu une des références :
https://i.imgur.com/obUKeWd.png

 

https://i.imgur.com/YbvPiCI.png

 

Et, alors que le papier est normalement facilement trouvable (il donne une justification bidon pour s'exxcuser de ne pas l'avoir trouvé), il en déduit "oui le papier n'existe pas, c'est une hallucination blablabla" et part à son tour dans une hallucination. Donc je lui donne le papier exact sur arxiv, mais effectivement une erreur comme celle là fausse tout le reste de ce qu'il dit, parce qu'il passe à côté d'un point (un théorème, contenu dans ce papier) qui est crucial pour le raisonnement et pour la construction d'un argument. ChatGPT ne fait pas cette erreur, mais claude oui.

 

Donc Claude n'est pas au point sur cette partie. Il ne m'a pas fait le coup une fois, mais 3 fois... Mon hypothèse c'est qu'il a des garde-fous, et que si ça n'est pas présent dans son entrainement et dans ses poids, il le traite comme une hallucination ou un élément probablement faux, malgré une recherche qui aurait du lui permettre de le trouver.

 

C'est pas un google amélioré ça :o

 
jix a écrit :


Et qu'il vient ici pour se la péter et faire genre c'est une tronche en math mais tout le monde s'en fout ? :o

 

Mon point n'est pas de me la péter mais de montrer mon expérience avec Claude actuellement, ça illustre bien que pour l'instant Claude déconne et qu'on ne peut pas se fier à ses réponses. Entre ça et le fait que les quotas sont bouffés en 2 secondes avec les gros modèles, va falloir qu'ils changent des choses chez anthropic.


Votre réponse
Nom d'utilisateur    Pour poster, vous devez être inscrit sur ce forum .... si ce n'est pas le cas, cliquez ici !
Le ton de votre message                        
                       
Votre réponse


[b][i][u][strike][spoiler][fixed][cpp][url][email][img][*]   
 
   [quote]
 

Options

 
Vous avez perdu votre mot de passe ?


Vue Rapide de la discussion
AllenMadison

SenorPollo a écrit :

Après peut être que tu comprends rien à ce que tu fais du coup tu l'orientes mal et tu lui demandes n'importe quoi ? :o

 

Pas du tout. Pour quelques étapes du problème, on fait appel a des théorèmes déjà existants, qui sont dans la littérature et dans les papiers arxiv/sur des sites internet.

 

Voilà sa réponse, alors qu'il a eu une des références :
https://i.imgur.com/obUKeWd.png

 

https://i.imgur.com/YbvPiCI.png

 

Et, alors que le papier est normalement facilement trouvable (il donne une justification bidon pour s'exxcuser de ne pas l'avoir trouvé), il en déduit "oui le papier n'existe pas, c'est une hallucination blablabla" et part à son tour dans une hallucination. Donc je lui donne le papier exact sur arxiv, mais effectivement une erreur comme celle là fausse tout le reste de ce qu'il dit, parce qu'il passe à côté d'un point (un théorème, contenu dans ce papier) qui est crucial pour le raisonnement et pour la construction d'un argument. ChatGPT ne fait pas cette erreur, mais claude oui.

 

Donc Claude n'est pas au point sur cette partie. Il ne m'a pas fait le coup une fois, mais 3 fois... Mon hypothèse c'est qu'il a des garde-fous, et que si ça n'est pas présent dans son entrainement et dans ses poids, il le traite comme une hallucination ou un élément probablement faux, malgré une recherche qui aurait du lui permettre de le trouver.

 

C'est pas un google amélioré ça :o

 
jix a écrit :


Et qu'il vient ici pour se la péter et faire genre c'est une tronche en math mais tout le monde s'en fout ? :o

 

Mon point n'est pas de me la péter mais de montrer mon expérience avec Claude actuellement, ça illustre bien que pour l'instant Claude déconne et qu'on ne peut pas se fier à ses réponses. Entre ça et le fait que les quotas sont bouffés en 2 secondes avec les gros modèles, va falloir qu'ils changent des choses chez anthropic.

M300A Chez moi ça marche bien en tout cas :o

 

Opus 5 est puissant mais il est un peu casse couille avec l'utilisation des tools, genre des qu'il code il peut pas s'empêcher de lancer des linters et des tests toutes les 2 lignes, c'est vraiment fable pour moi :D

 

Par contre c'est cool, il rechigne pas à se faire chier, si je lui demande de s'assurer que ça reste compatible avec un module toto en version 1, il va download le module dans la version et a chaque modif il va test le code contre pour en être sûr.

 

Bref, j'ai rien à dire avec Opus 5 mais j'étais déjà fan de 4.8. il y a que 4.7 qui m'a laissé un feeling mitigé mais j'ai codé avec quand même :o

jix

SenorPollo a écrit :

Après peut être que tu comprends rien à ce que tu fais du coup tu l'orientes mal et tu lui demandes n'importe quoi ? :o


Et qu'il vient ici pour se la péter et faire genre c'est une tronche en math mais tout le monde s'en fout ? :o

SenorPollo Après peut être que tu comprends rien à ce que tu fais du coup tu l'orientes mal et tu lui demandes n'importe quoi ? :o
AllenMadison

Bagdarion a écrit :

 

Ha tiens, pour la langue j’ai eu un problème similaire par 3x. J’écris mon prompt en français ou en anglais et il commence à me répondre en portugais. Sur différents projets, avec Sonnet 5 ( pas testé opus). Avec sonnet 4.6 pas de problème.

 

Je n’ai toujours pas compris d’où ça venait  :pt1cable:  

 

T'inquietes pas, il est un peu a la ramasse

 

https://i.imgur.com/h9UVdpp.png

 

je suis toujours sur mon problème, je me dis que je vais faire auditer ça par Claude Opus 5, et voilà qu'il se plante à CHAQUE fois. Ca fait quand même beaucoup depuis qu'ils ont sorti Opus 5. Bon le truc quand il dit "raison sur le calcul" c'est que j'avais le meme calcul que lui, ce qui me fait du coup légèrement douter, est-ce que mon calcul est faux du coup ? [:transparency]

 

Et en plus les citations en question c'est des théorèmes alors bon, si même ça il est pas foutu d'avoir raison...

Bagdarion

AllenMadison a écrit :

L'est polyglotte en tout cas le Fable  
 
https://i.imgur.com/Y5pSXiq.png
 
Il me tronque des formules de maths, je le lui fais remarquer, il me pond un document, mais ne corrige pas les formules de maths tronquées, ça bouffe du token en plus  
 
https://i.imgur.com/MeNh9Zu.png
 
REMBOURSE LES TOKENS FABLE


 
Ha tiens, pour la langue j’ai eu un problème similaire par 3x. J’écris mon prompt en français ou en anglais et il commence à me répondre en portugais. Sur différents projets, avec Sonnet 5 ( pas testé opus). Avec sonnet 4.6 pas de problème.
 
Je n’ai toujours pas compris d’où ça venait  :pt1cable:  

SenorPollo Non mais je suis bien d'accord, mais la partie "holala ça a leak des clés api/des tokens", c'est la faute de l'utilisateur. Perso ce genre de features je les utilise jamais même ailleurs car c'est justement un début d'ouverture sur mes data et si je fous le doigt dedans je sais pertinemment que je m'expose à un exploit.
Nr13

SenorPollo a écrit :

Je leur trouve pas d'excuses, je dis juste que quand tu vois ce genre de features où tu partages des liens pour une session avec un LLM qui garde du contexte dans tous les sens, faut pas s'étonner d'avoir des failles derrière. Ca reste un produit jeune avec des edge cases mal identifiés. Et surtout c'est vibé codé pleine balle maintenant Claude Code, donc bon :whistle:
Et surtout même si la session leak, si derrière t'arrives à en extraire des passwords, clés api and co, c'est de toute façon de la faute de l'utilisateur, ça n'a rien à faire dans un contexte.

 

Bah non tu mélanges deux choses. Les liens sans identification mais "non trouvables" ça existe dans des tas de produits (j'en utilise régulièrement avec youtube ou proton drive par ex), si la feature "non trouvable" merde du côté du fournisseur qui n'assure pas son "contrat", c'est une chose, qui n'a rien à voir avec la criticité du contenu accessible via le lien.

TotalRecall

M300A a écrit :

 

Non mais c'est entendu que c'est pas secure, mais il y a une nette différence entre pas secure et indexé sur Google.

 

C'est clair, j'ai pas lu en détails comment ça se manifeste mais oui si Google a indexé et proposé tous les liens vers des sessions privées, c'est un beau courage, pas la peine d'accuser l'utilisateur.
Perso j'ai pas confiance, quand c'est possible je censure les données sensibles. Genre récemment j'avais besoin de générer du powershell pour mettre à jour les enregistrements DNS d'un domaine par API, ben j'ai évité de lui filer l'API key qui donne le contrôle total sur le domaine :o.
Quand tu gères de l'infra en plus du code c'est pas toujours simple, mais on ne sait jamais où ça pourrait aller se balader ensuite... Pareil avec les données nominatives, etc

TotalRecall Tant que c'est le thinking et pas la reprendre finale on s'en fout non ?
Mais oui les LLM font parfois ce genre de trucs, dans la langue de leur choix...
M300A

Implosion du Sord a écrit :


Non. Le soucis c'est justement que c'est recouvrable et que tu ne maitrises pas qui y accède

 

Non mais c'est entendu que c'est pas secure, mais il y a une nette différence entre pas secure et indexé sur Google.

AllenMadison L'est polyglotte en tout cas le Fable

 

https://i.imgur.com/Y5pSXiq.png

 

Il me tronque des formules de maths, je le lui fais remarquer, il me pond un document, mais ne corrige pas les formules de maths tronquées, ça bouffe du token en plus

 

https://i.imgur.com/MeNh9Zu.png

 

REMBOURSE LES TOKENS FABLE

XaTriX C'était déjà le cas à l'époque non ? Ça sonne très marronnier
Olivie Y a eu le même souci avec ChatGPT y a presque 1 an pour les liens partagés. Ça avait été patché rapidement. Bizarre que ça ne sorte que maintenant pour Claude, le problème a dû être introduit récemment.
AllenMadison Claude Fable qui me dit que la réponse est trop longue (pour une simple correction de preuve).

 

"continue"
"continue"
"continue"
"continue"
Vous avez dépassé la limite, votre session reprendra dans 3h

 


 [:cheesecake]

 


Je suis quand meme en claude max x20, ils déconnent chez anthropic

SenorPollo Je leur trouve pas d'excuses, je dis juste que quand tu vois ce genre de features où tu partages des liens pour une session avec un LLM qui garde du contexte dans tous les sens, faut pas s'étonner d'avoir des failles derrière. Ca reste un produit jeune avec des edge cases mal identifiés. Et surtout c'est vibé codé pleine balle maintenant Claude Code, donc bon :whistle:
Et surtout même si la session leak, si derrière t'arrives à en extraire des passwords, clés api and co, c'est de toute façon de la faute de l'utilisateur, ça n'a rien à faire dans un contexte.
Nr13

SenorPollo a écrit :


 
On est en 2026, n'importe quel lien balancé sur whatsapp, discord, un forum, etc est à considérer comme une donnée publique. Et plus globalement, partager un lien vers une session Claude quand tu sais qu'il y a un contexte global entre tes différentes conversations, c'est vraiment tendre le baton pour se faire battre.


 
Faut arrêter de trouver des excuses aux petites startups sous-financées n'ayant pas accès aux meilleurs LLM de dev au monde blablabla  :o

Implosion du Sord

M300A a écrit :

Le comportement tacite de ce genre de liens c'est que si t'as pas l'id t'es pas censé le trouver. Personne ne s'attend à ce que ça se retrouve indexé sur les moteurs de recherche...


Non. Le soucis c'est justement que c'est recouvrable et que tu ne maitrises pas qui y accède

XaTriX

SenorPollo a écrit :


 
On est en 2026, n'importe quel lien balancé sur whatsapp, discord, un forum, etc est à considérer comme une donnée publique. Et plus globalement, partager un lien vers une session Claude quand tu sais qu'il y a un contexte global entre tes différentes conversations, c'est vraiment tendre le baton pour se faire battre.


De plus l'URL il y'a un gros SHARE :o
Pour les artefacts on peut régler les droits sur qui peut lire

XaTriX Les images stockées en base64 dans le jsonl, tu peux espérer un bon 25$ au prochain hello le lendemain en cache write :o
SenorPollo

M300A a écrit :


 
Le comportement tacite de ce genre de liens c'est que si t'as pas l'id t'es pas censé le trouver. Personne ne s'attend à ce que ça se retrouve indexé sur les moteurs de recherche...


 
On est en 2026, n'importe quel lien balancé sur whatsapp, discord, un forum, etc est à considérer comme une donnée publique. Et plus globalement, partager un lien vers une session Claude quand tu sais qu'il y a un contexte global entre tes différentes conversations, c'est vraiment tendre le baton pour se faire battre.

Olivie

SenorPollo a écrit :

Au fait je sais pas si vous avez vu : https://wavect.io/blog/text-as-image-token-savings/
Il est beaucoup moins coûteux de convertir un prompt en images que de l'écrire en texte directement. J'avais vu une vidéo de primeagen là dessus et y a un outil dédié pour ça. J'ai pas encore testé mais ça a l'air assez fou :D Après y a des cas où ça marche pas mais ça reste intéressant comme approche :love:


J’avais vu passer ça y a une semaine / 10 jours je crois. Comme j’en ai plus entendu parlé depuis, c’est que ça doit pas être si bien que .

M300A

SenorPollo a écrit :

 

Problème d'interface chaise clavier comme souvent.

 

Le comportement tacite de ce genre de liens c'est que si t'as pas l'id t'es pas censé le trouver. Personne ne s'attend à ce que ça se retrouve indexé sur les moteurs de recherche...

SenorPollo Au fait je sais pas si vous avez vu : https://wavect.io/blog/text-as-image-token-savings/
Il est beaucoup moins coûteux de convertir un prompt en images que de l'écrire en texte directement. J'avais vu une vidéo de primeagen là dessus et y a un outil dédié pour ça. J'ai pas encore testé mais ça a l'air assez fou :D Après y a des cas où ça marche pas mais ça reste intéressant comme approche :love:

Copyright © 1997-2025 Groupe LDLC (Signaler un contenu illicite / Données personnelles)