Reprise du message précédent :
Gemini pro 3.5 pro preview \o/ Je vais pouvoir me plaindre des modèles soi-disant "frontier" pour faire du vrai travail, moi aussi.

Interne ?

Oui.

Wow la chance
Welcome en 2024

https://www-cdn.anthropic.com/08ab9 [...] 6f52bc.pdf

Section cyber, p47. C'est moins explicite que dans mon souvenir, mais c'est quand même très clair (dans le system card, et dans le blog post associé) : le gain en détection de vulnérabilité est significatif (on passe de 0.67 à 0.83 sur la détection de vulnérabilité de CyberGym), mais Opus était déjà très fort. En revanche, ce qui est radicalement nouveau et suscite l'inquiétude des auteurs, c'est la capacité du modèle à exploiter les failles. Le projet Glasswing n'avait pas pour objet principal de détecter les nouvelles failles, mais d'essayer d'identifier lesquelles étaient les plus dangereuses en les confiant aux red teams appropriées.

Voici le rapport de l'Institut britannique pour la sécurité de l'IA, financé par l'État britannique.

Non mais ok, j'ai mis la barre bas mais on est d'accord que quand je dis "personne ne dit que" je sous-entend "en étant pris au sérieux" ? Et on pourrait rajouter un critère de crédibilité : personne n'affirme qu'un modèle est trop dangereux au point de se restreindre de le publier... jusqu'à Mythos.

Au passage, on notera l'ironie de ton argument qui consiste à moquer les tentatives de limiter le danger des IAs d'Anthropic, tout en notant l'absence de dégâts sérieux (jusqu'à aujourd'hui). "Vous me faites marrer avec vos lances à incendie et vos canadair, le feu n'a pas avancé d'un pouce depuis une semaine".

Dans les conséquences indirectes, ici on a passé à 11 le niveau de lutte anti risque interne. Dernier changement de cette semaine : les ingénieurs n'ont plus le droit d'avoir des laptops linux (ça rouspète).

What ? Pour quelle raison ?

vous utilisez quoi du coup ? macos j'espere

T’as lu le post de Tailscale ?
 

Gemini Next YOLO
 
(Non pour de vrai j’ai arrêté, c’est trop random, un jour c’est bien un jour c’est une merde infâme, donc je pin aussi la dernière version. Le 3.5 flash était pas mal la dernière fois que j’ai essayé)
 

 
C’est pas un argument très sérieux si on regarde l’historique sur l’année dernière: ils veulent tuer les laptop Linux depuis longtemps, et ça s’est fait par vague. Chez nous laptop Linux = Lenovo Carbon, et notre store interne n’offre plus que des versions Full HD, ce qui est un foutage de gueule énorme sur un 13", et à déjà poussé plein d’utilisateurs de glinux à passer sur Chromebook ou Macbook
Donc c’est le dernier clou d’un cercueil qui tenait déjà bien fermé  
 
C’est comme le jus d’orange: y’a plus de fruits, au passage… et finalement plus que des oranges, et pas le jus de pomme super écologique promis.
 
La encore je prends les justifications avec une poignée de sel, parce que l’historique récent n’est pas jojo  
 

qui ça "ils" ? le département sécurité IT ? la direction ? le gouvernement US ? les reptiliens ?

MacOS majoritairement, on a encore ChromeOS également dont j'imagine que le sandboxing ou le tracking est plus efficace

3.1 flash Google edition est le meilleur de mon expérience.

Oui je lis memegen aussi. C'est pas les mêmes personnes qui gèrent la flotte de portables que celles qui optimisent le budget bouffe, je ne crois pas à l'argument de l'économie de bouts de chandelle, d'autant qu'en face il faut approvisionner en MacBook pas spécialement bon marché.

C'est vrai que la dynamique était là depuis un moment, j'extrapole quand j'y vois une réaction aux menaces récentes. Je constate que la sécurité en interne est globalement assez fébrile ces derniers mois, mais je n'ai pas de preuves concrètes à fournir.

Je sais qu'il existe et j'ai du en voir un résumé en moins de 280 caractères (sans le lien, toujours dans le message d'après car l'algo de threads n'aime pas les liens).
Belle tentative de goalpost moving mais ça ne répond pas au point

Après des jours de vache maigre, on dirait que les modèles IA font enfin des progrès en maths. La vraie question c'est est-ce que c'est un buzz marketing ? Franchement ça m'étonnerait pas qu'ils aient juste embauché quelques mathématiciens qui ont soufflé la solution au modèles, lesquels sont connus pour être des perroquets sophistiqués.

de ce que j'ai compris c'est pas mal de brute-force (et d'intuition plus ou moins bonne) autour d'un modèle de preuve formelles qui lui va verifier que le raisonnement est juste.
 
c'est un peut aussi pourquoi les LLM marchent bien avec rust: le language est hyper contraint, le compilateur flag les erreurs et le LLM corrige en boucle plus ou moins rapide.

La bonne intelligence, elle utilise ses connaissances et une dose d'intuition pour générer des hypothèses créatives qu'elle essaie de vérifier. La mauvaise intelligence, elle se contente de puiser dans ses connaissances et de simuler une intuition plus ou moins bonne, pour générer plein d'hypothèses en brute force et elle les vérifie, mais c'est un outil  

disons que l'IA est surement moins bonne qu'un mathematicien experimenté mais
- va bien plus vite
- a accès à bien plus de connaissances à réutiliser en "par coeur"
 
donc dans certains cas elle peut facilement le battre

Ton propos est clair, logique, sans aucune contradiction interne  

Dans ce genre de décisions plein de groupes sont impliqués: sécu, nos equipes qui gerent les devices pour les employes...mais il y a des inputs du management, et clairement on est sur des années de rationalisation des coûts (le service était très luxueux avant, ça me choque meme pas que les laptop linux disparaissent.)
 

la mienne aussi, mais comme je suis à la pointe j'avais noté que le 3.5 était sorti, et je l'ai déjà testé
 

ce ne sont pas les mêmes gens, mais la finalité reste la même: tu veux que je te trouve le point commun entre externaliser les services RH (quand tu crées un ticket ce ne sont plus des RH internes ou TVC sur site, et le service n'est clairement plus le meme), le fait que les restos ferment à certaines heures, la réduction globale de qualité/choix de la bouffe, la fermeture de tech stop, et maintenant réduire la diversité de devices / OS supportés pour les employés (forcing sur ChromeOS, suppression des workstations physiques au profit des VM virtuelles, etc...).
Un indice chez vous:       . Note que je me bas pas contre forcément (faire un SSH vers une boite sous son bureau ou une boite dans un datacenter, j'ai jamais trop vu de difference, je vois mal les ~30msec de latence de difference quand je lance une compilation ou une requete qui prennent 5min )
 
Après pour Linux j'imagine qu'avec des LLM qui rodent en mode YOLO, ça doit etre une merde infâme à sécuriser, donc c'est une justification suffisante en soi je te le concède, mais le vers était passablement dans le fruit
 

Je reépond exactement à cette question, avec un exemple récent issue de la même crise, je vois pas où le goalpost a bougé:  
Tailscale avoue avoir chié la protection de HuggingFace à qui ils fournissent des services. Si ton raisonnement était juste, ils aurait passé le truc sous silence, au lieu de ça ils communiquent dessus pour vendre ce qui est essentiellement une roadmap produit. Et pourtant ils l'ont fait. Etonnant non ?    
 
Encore une fois je peux avoir tort, mais je trouve intéressant que toutes les preuves qu'on ait de la dangerosité des modèles viennent de boite qui ont intérêt à ce narratif, parce que "mon modèle est trop un h4xX0r" c' est finalement assez vendeur, particulièrement aux yeux du grand public (l'exmple de Fable est le cas d'école ici:  
1/ Haaaaaan notre modèle est trop dangereux, on ne peut pas le releaser"
2/ "Bon, allez, parce que c'est vous, on va lancer une version à peine édulcorée hein, qué s'appeloriot "Fable", vous allez voir ça troue le cul".  
3/ par contre édition limitée. une semaine uniquement
 
==> ça va faire bientot 2 mois que n'importe quel quidam avec un abo à 100 balles y a accès
 
Regarde moi dans les yeux et explique moi qu'ily a pas de leger foutage de gueule sur la comm, et que le coté dangereux n'est pas exploité à des fins marketing (y' a des precedents avec OpenAI si tu veux, Altman avait déjà fait le coup).
 
Du coup vos preuves sont :  
- le gouvernement US: OK, super legit ces jours-ci, confiance totale
- la sécu de G qui donne le dernier coup de pelle dans un truc qu'ils cherchent à tuer depuis des mois (alors que ça fait à ce stade des années qu'ils font du cost cutting de tout poil pour essayer de poster des bilans pas trop dégueulasse et faire passer la pilule des dépenses AI. Notre CFO elle même l'avait expliqué. C'est un peu comme les boites qui justifient les layoffs par l'IA, c'est une preuve totalement circulaire, personne n'a jamais prouvé les gains de productivité (et case in point chez nous, on a finalement peu/pas viré dans les divisions produit critique, et on peut réembaucher tous les SWE qui partent. Sur une équipe de 50 si l'IA donnait des gains de productivité prouvable ne serait-ce que de 10%, on devrait me sucrer des gens. Et on ne le fait pas, et notre Senior Director qui était en balade y'a quelque semaine a confirmé que personne n'avait vu de gains justiiant des réductions de taille d'équipe (il gère 300 personnes). Ça veut pas dire qu'il n'y aura pas de réduction d'équipes, ça veut pas dire qu'elles ne seront pas justifiées par l'AI, mais ça veut pas dire non plus que ce sera pas un motif pipo utilisé parce que c'est socialement plus acceptable que de dire "déso, notre CEO a une compensation à 90% en stock, et il tient à ses primes de perfs"
 
pourtant je suis pas complotiste, mais disons que si l'industrie bullshitait pas plus vite que son ombre toutes les 5min (on fait un check de tous les trucs promis par Altman / Amodei qui ne se sont jamais matérialisé), ça aiderait aussi

Et vous avez pas testé 3.6 ?

Après, qui est capable de définir précisément l'intuition ?
Parce qu'on n'a plus de définition de l'intelligence depuis que les LLM passent avec succès le test de Turing.

Question pour les experts en virtu, ya moyen de convertir une partition windows physique en une VM sous linux?

Non mais les Googlers sur les produits importants ils n’ont pas le temps de glandouiller sur le topic

Microsof fait un soft P2V de mémoire

...et la répétition périodique sans réalité derrière rend la prise au sérieux des nouvelles itérations difficile.

Bouef. Au final il a rien fait de si incroyable une fois sorti non plus, Fable. Ok il a permis de détecter pas mal de failles de sécu. Combien n'auraient pas été détectées par la génération précédente en y mettant autant d'efforts?
Pour moi le gros des progrès récents n'est pas dans les LLMs eux-mêmes mais dans l'investissement des gens dans la techno et les outils qui vont autour...d'où leur "peur" de l'open-source : si les gens se rendent compte qu'ils peuvent faire à peu près pareil avec des modèles open source self-hostés, qui va nous payer des abonnements et nous permettre de justifier les milliards qu'on dépense?

Aujourd'hui qu'est ce qu'ils proposent qui n'est pas en fait réplicable à 99% par un truc genre GLM 5.2 sur une machine à quelques milliers d'euros? Quelle boite a intérêt à continuer à payer les tokens au prix fort dans ce contexte?

Je suis pas sur que l'AISI soit aussi indépendente que tu imagines.

Je suis d’accord sur l’idée, la réponse pour le consommateur c’est que c’est subventionné. La question est donc de savoir quel est le coût réel des tokens, et ça va être intéressant de voir où les modèles open source atterrissent vs la performance relative face aux modèles commerciaux.
Ca permettra de répondre à Ed Zitron et savoir si il y a un business modèle ou pas.

En même temps c'était littéralement le but : Fable c'est Mythos bridé pour tout ce qui a trait à la sécurité.

ok, mais le point reste valide : mythos lui même via le programme machin a permis de détecter et corriger un nombre intéressant de failles de sécu, ok. Combien dans le lot auraient été détectées avec le même programme et la génération précédente? L'impression que j'ai c'est qu'on a surtout mis des moyens sur le sujet, et que oui un bon LLM ça sait bien matcher des patterns de trous de sécu.

 
En parallèle vous avez cramé combien de centaines de milliards dans des modèles llm que personne n’utilise ?
 
Je trouve que parler de rationalisation des coûts est très hypocrite

???
Ils sont utilisés les modèles, on les vend via cloud, Google search les utilise pour les réponses IA, je pense que toutes les product area de Google ont complété ou remplacé leurs modèles ML par Gemini (c’est le cas pour nous chez YT, même du c’est pas total)
 
D’après Claude, le mois dernier, en consumer chatbot, Gemini était 2ème avec 28%, devant ChatGPT avec 53%, et devant Claude avec 10%. (Sachant que Claude et Gemini gagnent des pdm)
En API c’est Claude en premier avec 40%, ChatGPT avec 27%, et Google avec 21%
 
Bref, on est pas market leaders, mais c’est pas «  personne » non plus.
Et une bonne partie de l’infrastructure sert au cloud, Anthropic est un client, donc même si on avait pas Gemini on investirait dans l’infrastructure

Au passage, Search continue de croitre comme jamais, grâce à Gemini, alors que c'est le produit internet le plus utilisé au monde (pour ceux qui seraient tentés de dire que Google ferait mieux de s'en tenir à ce qu'ils faisaient il y a quinze ans).

 
Et c'est parfaitement logique. Tu peux pas bien servir un LLM (aussi puissant soit-il) sans la possibilité de bien chercher en ligne. C'est aussi un très bon filon sur lequel Google est forcément très bien placé (euphémisme).

Du marketing il y en a, mais ce que tu décris ce n'est pas du tt tu ce qui s'est passé.

Mythos c'est d'abord le publication du system card. 150 pages de données sourcées et analysées. Comme tous les résultats, on peut leur associer divers narratifs, mais on peut pas vraiment changer mes chiffres. Contrairement à l'exemple cité plus haut de GPT2, ils se sont pas contenté de dire que le modèle était dangereux
- ils ont expliqué aussi concrètement que possible ce dont le modèle était capable.
- ils n'ont pas publié le modèle, dans un marché où en 2 mois on est dépassé c'était un risque énorme, qu'ils ont payé cher : ils se sont fait dépasser, aujourd'hui personne veut payer Fable c'est trop cher.
- ils ont donné accès direct privilégié à leur modèle à leurs concurrents directs. Je suis curieux de savoir comment on explique le projet Glasswing dans un monde où le modèle est bof. Étonnant qu'aucun des concurrents en question n'en ait profité pour le dénigrer.

Je crois pas que quiconque ait utilisé cet argument ici. Le gouvernement US a censuré le modèle bridé, sur des bases foireuses. J'ai donné plus haut en revanche un lien d'une agence britannique, mais bon apparemment c'est encore pas assez indépendant je vous laisse faire l'analyse.

Il y a eu un malentendu. Je ne pense pas que ce soit une preuve de quoi que ce soit. J'y vois un signe, mais je suis conscient que je n'ai rien pour étayer cette conviction (je n'ai pas été convaincu par tes arguments disant que ça n'a rien à voir, mais clairement on ne part pas avec les mêmes biais). À ma décharge, je m'appuie sur la version officielle.

Un peu en "best of n", il a jamais gagné en général il était aligné avec les âneries ds 3.5 flash (ce qui est précisément ce pour quoi il est vendu, c'est 3.5 flash moins cher.)

Un peu de nostalgie, 3 dessins animés un peu traumatisants :
Rémi sans famille
Princesse Sarah
Les animaux du bois de quat'sous (perso, je ne m'en souvenais pas trop)
https://www.youtube.com/watch?v=3ujjsYk86k4    
 
Dans le lot, il aurait pu rajouter Clémentine et l'oiseau bleu.

Un revenant    
Comment ça va ?

tekitoa    
 

Tout l'monde à chaud
et toi ?