Reprise du message précédent :

J'ai du mal à y croire

.opus 5.5

jallais le dire. ya pas eu de 5.1

Y a pas non plus de Haïku 5

apparemment les garde-fous sont censés être ceux de fable...
J'espère qu'il va pas me bloquer la biologie. Impossible de bosser avec Fable  

https://www.anthropic.com/news/life [...] on-program
Tu peux peut-être y prétendre ?

J'ai fait les démarches pour le Cyber Verification Program de mon côté et j'ai été accepté en 48h. Ça m'a permis de ne presque plus être limité dans certains domaines de la cybersecurité (pas tous, uniquement ceux demandés) via Fable, sans me donner accès à Mythos pour autant (la,j'avais été rejeté)

 
 
https://www.anthropic.com/news/clau [...] yme-system
 

Impressionant!!!  

 
Sur touittère des biologistes aigris rageux disent que ça a rien d'impressionnant et que c'était déjà connu

Est-ce que tu auras des liens ? Curieux de lire les commentaires.

c'est mon côté réac mais ça me manque l'époque où les découvertes scientifiques  et les preuves mathématiques étaient publiées et vérifiées chez des tiers lol.

Pourquoi ça serait plus le cas ?
Sans peer review c'est plus de la science non ?

 
OpenAI et Anthropic ne publient vraiment pas grand chose "scientifiquement" (contrairement à Google, Meta, Microsoft etc). C'était déjà largement le cas pour le côté computer science (des technical reviews, preprints etc etc)

Leur preprint: https://www-cdn.anthropic.com/22573 [...] 08a071.pdf
 
A voir où il va atterrir.

drap

Donc on parle de 950 agents qui utilisent 210M de tokens chacun c'est bien ça ? Parce que à aucun moment tu crames 210M de tokens au total sur un tel laps de temps et avant autant d'agents. Ca veut dire qu'ils ont cramé environ 200 milliards de token, ça fait un coût de 2 à 10M$ si on considère que ça a été réalisé avec Mythos.
Je préfère prendre des pincettes avec ce genre de news, si c'est quelque chose qui aurait pu être fait par un pimpin dans un labo et que ça aurait couté 100K, c'est quand même pas fou le ROI (même si ça a pris moins de temps certes). Après j'y connais rien au domaine, c'est quoi les implications/applications de cette découverte ? Si ça permet d'éradiquer les cancers c'est pas mal

Non, c'est 210 million au total (215.6 million pour être précis).
 

 
Cela tomberait dans la même catégorie que les CRISPR, qui permettent d'éditer le génome, et potentiellement guérir des maladies génétiques. Et également traiter des cancers.
 

 
Leur truc est extrêmement préliminaire, mais ça reste une découverte intéressante qui mérite d'être explorée. C'est de la science fondamentale, la compréhension des systèmes biologiques. Les CRISPR n'attiraient pas grand monde à leur découverte, c'est plus tard que c'est devenu pertinent. Et un prix Nobel de chimie en 2020.

pour la partie technique :
- les 210 millions c'est le total consommé cumulé par les 950 agents, à l'échelle de leur base de client, c'est du négligeable
- ensuite, le prix ils s'en cognent, c'est leur infra et dans ce cas ils utilisent les surplus de temps serveur dispo non utilisé par les clients. Pour le temps, vu qu'ils sont en interne, ils n'ont pas les mêmes latences et limites de traitement.

pour la partie bio : je dirais que c'est du gains en connaissance fondamentale qui permettent d'ouvrir des angles de recherche pouvant mener à tout ou à rien

Impressionnant de consommer aussi peu de tokens, comment ils ont fait ? Par contre le prix ils s'en cognent pas d'accord, la conso électrique derrière elle est pas imaginaire hein Il y a une réalité physique derrière tout de même.

Pour l'énergie non, ils s'en cognent aussi pas mal : à leur échelle c'est négligeable par rapport au run habituel, et la capacité électrique de leurs DC est réservée sur des contrats de plusieurs années, avec une grosse partie des coûts engagée qu'elle soit utilisée ou non. Les gros DC ont même souvent des capacités de production dédiées ou contractualisées spécifiquement pour eux, donc on est très loin de simplement compter les kWh consommés par ce run

Non mais là clairement sur 210M de tokens on s'en branle c'est une broutille je suis d'accord, mais si ça avait été des milliards de milliards de tokens on aurait peut être vu la chose sous un autre angle. A un moment si on se met à cramer trop d'électricité pour ça, c'est pas l'idéal non plus. Je parle plus d'un coût mais de la capacité finie de production d'énergie dans le monde. On peut pas aller toujours plus loin indéfiniment.

Toujours est-il que ce chiffre de 210M répartis sur 950 agents en 21h est impressionnant. Je serais bien curieux de savoir comment ils ont fait parce qu'aujourd'hui je peux tout à faire brûler la même chose en quelques heures avec quelques agents

 
Ce n'est peut-être pas le même contexte. Une partie des agents est utilisées pour scanner le génome, donc uniquement 4 lettres: A,T, C et G. Ca brûle moins de tokens j'imagine.

non mais 200k tokens par agent en 21h? Y'a un bug dans l'énoncé.

ou juste 20k tokens pour des taches d'orchestration d'analyse, et le reste par un seul agent ou un tout petit groupe qui fait aussi du calcul hors LLM

J'ai des workflows qui ne font que lancer des regex (par millier) sur de gros blob de texte et ils ne consomment presque aucun tokens alors qu'ils tournent H24. Le texte est lui-même extrait de PDF via un script Python déclenché par le workflow. Le contexte manipule que des chemins et de la décision de "branche" de traitement basé essentiellement sur des compteurs. J'ai des pointes à 200 sub-agents.

De plus, Anthropic est probablement sur des modèles/contextes ajustés spécialement pour la tâche demandé pour optimiser le processus

 
Si je te suis, l'hypothèse c'est plein d'orchestration très minimale de process hors llm qui eux font vraiment le job. Pourquoi pas, mais dans ton exemple de workflow on est sur du scripting à l'ancienne un poil amélioré, ce qui est fort pratique mais en général c'est pas ça qui permet de faire des choses impossibles avant..

Non, le workflow est bien exécuté/orchestré par un LLM.
Le gain c'est justement que le LLM analyse les résultats à chaque étape et a des capacités de détection de redondance de patterns, mais aussi de patterns altérés, d'exceptions, de choses qui sortent de l'ordinaire, de séries... Les traitements mécaniques produisent une quantité massive de données qui est ensuite triée et analysée par quelques agents.
 
Imagine les agents comme des robots qui ont un "feeling qu'il se passe quelque chose à cet endroit" juste en observant les résultats, et qui vont donc décider de creuser cette partie là. Le workflow LLM permet justement de lancer énormément de traitements mécaniques très peu coûteux, avec entre les deux des étapes d'interprétation et de décision par le LLM, plutôt que d'avoir à coder à l'avance toute la logique en règles déterministes.

Alors qu'il suffirait de passer tout le génome à Jef et on aurait la réponse en 200ms.

Pas compris la référence...

 
Mouais, je dirais qu'actuellement si le coût LLM de la décision est faible c'est généralement qu'il était faisable de manière déterministe ou avec d'autres techniques de ML "classiques". Mais je peux me tromper

Je voulais dire Jev

Le modèle de décision 200x plus rapide et 400x moins cher qu'un LLM. C'est une vanne sur la hype de ce modèle, quoique ça pourrait réellement s'appliquer à ce genre de recherche (j'en sais rien).

Je m'intéresse un peu au fuzzing, c'est pas mon domaine mais j'en aurais besoin pour un projet. Et Justement les LLM semblent d'après mes recherches très adaptés à faire varier les paramètres d'un système de manière plus efficace que des algos classiques ou de l'aléatoire.

Je pense que tu confonds coût de la décision et complexité de la décision.
Le coût LLM dépend surtout de la quantité de contexte à ingérer et de la quantité de texte à produire, pas directement de la difficulté à reproduire la décision.
Tu peux avoir une décision sémantiquement complexe sur un contexte très compact : tout le traitement lourd est fait en amont, puis le LLM décide simplement où creuser. En déterministe, le problème est justement qu'il faut avoir prévu à l'avance les règles et les patterns possibles.

TL;DR :
Donc faible coût en tokens ≠ décision simple, ni décision facilement remplaçable par du déterministe ou du ML classique.

Et Claude Code te prévient, en plus
 

 
C'est bien sur ce cas d'usage que je doute de l'utilité d'un LLM face à d'autres techniques de ML. Mais encore une fois, je peux me tromper, faudrait des exemples.

Sur une tâche bien définie, un modèle de ML spécialisé sera souvent plus précis et plus efficace qu'un LLM. Mais encore faut-il savoir ce qu'on cherche, avoir les données pour l'entraîner et définir les bons features/labels.
Tu peux avoir deux objectifs :
- "détecte ce motif précis" => ML classique
- "regarde ces résultats, di si s'il y a quelque chose d'inhabituel, une piste qu'on n'avait pas prévue" => LLM car beaucoup moins trivial
Le second cas est ce qui intéresse la recherche fondamentale
 
Le ML classique est meilleur quand le problème est déjà bien cadré alors le LLM est utile quand une partie du problème consiste justement à découvrir ce qu'il faut regarder.

Ca me soulait de perdre du temps à créer des annonces, du coup j'ai fait une app :  
- tu prends des photos, tu les balances dans l'app
- elle choisit les plus belles, les ranges bien dans l'ordre, et retire les pourries
- génère une annonce complète à partir des photos / code barres trouvé, et ou d'une ligne que tu as écrite toi.
- va chercher sur internet d'autres infos
- et après avec 1 bouton ca publie sur leboncoin/vinted/facebook market place
 
Pour pallier au problème de protection datadome et autre, je passe par une extension chrome, qui me permet de pallier à tous ces problèmes.

Tu publie quand ton user script ? Ca a l’air cool

c'est pas du tout un userscript c'estr une app + extension chrome
Mais c'est en cours de peaufinage, je vais tester sur tous mes objets à vendre et des amis

Comment l'app choisit les plus belles photos ? Y a un LLM derrière ?

oui de la vision et de l'analyse, il retourne même et recadre les photos (mais à l'utilisateur de vérifier)

Attention il est hors de question de full automatiser, l'utilisateur doit toujours cliquer sur publier sur les sites.
Je suis obligé de faire ça sinon j'ai peur que chrome n'accepte pas mon extension si je la publie un jour

Si je réinitialise, ça change ma réinitialisation semaine ? ça la décale à une semaine après la réinitialisation gratuite ?
A quel moment, le faire ? En milieu de semaine après avoir réussi à cramer son quota de la semaine ?