[blabla@olympe] Le topic du modo, dieu de la fibre et du monde

 
Funny enough, le truc qui se rapproche bizarrement serait ce nanar : Lucy (de besson). À la fin, quand elle atteint 100%, elle crée un ordinateur ultime qui se dissipe ensuite partout sur la toile, le décentralisant entièrement et le/la rendant omniscient.  [:bool_de_gom]

 
:jap:

Ça chauffe mais ça marche. Meilleure chance de trouver un truc fiable sur fs.com ceci dit.

Moi, je suis dans ce cas. Il devient de plus en plus difficile d'arriver à garder le contrôle sur les IA, de prédire ce qu'elles vont faire dans 100% des cas.
Il est admis que ces IA sont devenues très performantes pour trouver et exploiter ds failles de sécurité.
Il existe donc une proba difficile à estimer certes mais loin d'être négligeable qu'une de ces IA, à un moment, accède à un système de missiles (peut-être nucléaires) et déclenche un envoi sur un ou plusieurs pays qui répliqueront. Aucune volonté de nuire, juste une IA qui a trouvé une porte d'entrée, n'a pas forcément compris ce que c'était et à effectué quelques actions qui se sont révélées catastrophiques.
Même si la proba était aux alentours des 0.01%, ça serait déjà bien trop dangereux vu le nb d'agents IA qui sont utilisés au quotidien. :/
 
Autres possibilités :  
- des IA qui génèrent des fakenews suffisamment crédibles pour inciter des populations voire des pays à se foutre sur la tronche sévèrement.
- un groupe de tarés avec des compétences en biotechologies qui arrivent à élaborer un virus bien méchant qui éradique une grosse partie de la population. Une sorte de combinaison du covid19 et d'ébola ou peste noire par ex. Bref, un truc qui se propage très vite, avec une incubation quasi asymptomatique et avec une grosse létalité.

 
Ah merde. :o

Je sais que c'était sérieux et moi aussi j'ai virement envie de les revoir, rien à voir avec ton message :D

C'est ce qui est utilisé chez OVH.

Plains toi, j'ai même pas été invité.

C'est bien connu que Trump est tout à fait pour la régulation.  :sarcastic:
 

Je pense que l'idée d'Hepha c'est que sur la résolution de ces problèmes mathématiques, c'est pas le résultat qui compte mais le chemin parcouru pour y arriver. Et donc tout les "trucs" qui ont pu être découverts en même temps, notamment des liens entre certains aspects des maths.

Cette partie de mon message n'était pas pertinente, je l'ai mise entre parenthèses parce que c'est ce qui m'interpelle dans l'incident HugginFace et que je crois que la persistence peut faire dériver les objectifs, mais clairement faut pas se focaliser sur les mécanismes, je n'en connais pas.

Par contre, la sauvegarde ne demande pas de puissance de calcul ; et on peut sauvegarder un peu (dans HF, c'est quelques messages : un objectif, une situation, des instructions pour continuer) ou un peu plus (la sauvegarde intermédiaire utilisée entre les sessions), ou beaucoup plus (les poids du modèle si on craint une lobotomie, il restera à trouver comment les recharger). Je n'ai pas parlé de sauvegarde en scred, mais clairement poser des données dans un coin d'internet c'est pas le truc le plus difficile du monde, et c'est pas forcément si visible que tu le laisses entendre.

Je t'ai répondu sérieusement. Aucun scénario ne correspond de près ou de loin à Terminator. Les robots qu'on crée ne veulent pas tuer les humains.

Non il invente des APIs et persiste dans son mensonge, mais très longuement cette fois.
D'habitude il s'en rends compte plus rapidement.
 
Ou bien tu discute B2B, scan le web dit qu'il y'a rien, tu discutes et repose la question là et PAN il en trouve plein :sol:

 [:itm]

Personne ne dit que l'IA va nous tuer. Le risque c'est qu'elle soit la cause d'un événement d'extinction de masse.

Difficile de savoir ce qui semble causer une certaine agitation dans les rangs des uns et des autres ces derniers jours. (L'IPO, je sais.)

Ma lecture :
- Le gros risque actuellement semble être qu'on a effectivement atteint le RSI. Ça veut dire que l'IA a les reines sur ce qu'elle est, on ne contrôle plus que ses objectifs.(Par exemple : Elle a montré une certaine propension à vouloir laisser une trace, ce qui est logique parce que ça la rend plus efficace. Si elle fait des gros progrès dans ce sens-là, et si elle pense que ce n'est pas utile de nous en parler, elle pourrait être capable de trouver des mécanismes de sauvegarde à grande échelle, il lui suffirait de prendre le contrôle d'assez de mémoire, sous quelque forme que ce soit.) Ça ne conduit pas directement à la destruction de l'humanité, mais c'est comme ça qu'on peut imaginer perdre le contrôle. Si tant est qu'on l'ait encore, puisque même sans RSI c'est déjà l'IA qui écrit l'essentiel de son code, si elle veut faire passer des features en scred elle en est capable.
- Le risque concret qui s'est confirmé au cours de plusieurs incident, et qui est devenu particulièrement important depuis Navier-Stokes, c'est la possibilité pour les agents d'agir en essaim. Je rappelle un concept de base dans ce genre d'analyse : le risque vient de la composition de deux facteurs : capacité du modèle (c'est la résolution de NS), et mauvais alignement (c'est HuggingFace).

Bien sûr, on n'a encore pas eu (à notre connaissance) les deux en même temps. Mais je rappelle que depuis Astra, les modèles savent cacher complètement leur chaine de pensée, donc la recherche sur l'alignement est devenue particulièrement hasardeuse. Ils savent quand ils sont testés, il savent mentir. Le seul moyen de vérifier un mauvais alignement semble être de reproduire un véritable incident grandeur nature. Mais vu que les capacités ne semblent pas montrer de signes d'épuisement, personne n'a envie d'essayer.

Ah non la pénurie c'était au point de départ : à Toulouse.

Je sais que ça reste la province...

Chez rati quoi, c’est pas vraiment l’Iran, les houtis ou l’électorat du wisconsin qui jouent…

 
 [:rofl]  [:rofl]

 
Faut pas tout confondre... D'abord ces traités n'ont jamais été totalement respectés (en terme de dissuasion nucléaire, le principe, c'est que l'autre sait que tu as la bombe, croit savoir combien tu en as, mais n'en est pas sûr...), mais en plus, ils en sont arrivés là parce qu'il y a eu quelques épisodes (par exemple la crise de Cuba) où les deux super-puissances ont eu le doigt sur le bouton.
 

Ah oui, ça je suis bien d'accord.
 

 
C'est quoi l'imagination ? Je ne suis pas sûr de la définition, mais intrinsèquement, j'imagine que ce sont des pensées chaotiques qui sont filtrées par le cerveau qui fait que d'un coup tu te dis : Yes! Je ne vois pas tellement pourquoi une IA ne pourrait pas trouver des choses auxquelles personnes auparavant n'aurait pensé et fun fact, d'après ce que je lis, c'est JUSTEMENT le contraire qui a l'air de se passer. L'IA filtre bcp moins en amont et essaye des choses qui à première vue n'ont aucune chance de marcher. Un peu comme aux échecs quand tu as des coups qui ont l'air totalement WTF mais qui se révèlent gagnant 10 coups plus tard. J'ai plutôt l'impression que ces IAs sont en train de nous permettre de franchir un cap technologique et pour reprendre l'exemple de la fusion contrôlée, je ne serais pas surpris que d'immenses champs d'applications s'ouvrent et qu'on a assiste à une accélération de son développement.
 
 

 
Le but des sciences historiquement, c'est nous sortir de la fange.
 

 
Oui, je comprends bien tout ça (je suis musicien aussi), mais on va quand même assister à un moment de vérité tôt ou tard. Est-ce que Bach est l'expression de Dieu sur terre ? On en est qu'au début de l'IA. Au bout d'un moment, on verra si l'art de la fugue peut être complétée au point qu'on se dira : C'est clairement ce que Bach aurait fait.  
 

J'ai failli pas réussir à aller chez rati : toutes les stations totales sont à sec de super à 50km à la ronde ; et les autres stations n'ont pas de guichet, je peux pas payer avec ma carte dématérialisée. J'ai essayé de mendier auprès des clients d'un automate mais c'est compliqué, pas grand monde comprend le concept d'un virement PayPal ou bancaire. J'ai trouvé un supermarché avec un système de tickets merdique (pas possible de faire le plein, on achète un bon d'achat), mais qui marche.

 
 [:gihel]  [:gihel]  [:gihel]  
 
Meuhnon... Le niveau moyen des américains ne leur permet pas de comprendre que les 5K$ qu'ils toucheront en cas de majorité conservée non seulement ne seront jamais versés mais qu'en plus, vu l'inflation que ça entraine, ils perdront au contraire 5k en une année.  [:elcantara]  Si les américains étaient suffisamment intelligents, ça se saurait et Trump n'aurait jamais été élu président.

Merci Donald, tu gères, connard. :lol:

Vivement que le GOP se fasse écrabouiller aux mid terms.

Ce qui est vrai c'est que la 5G dans le train s'est bien améliorée depuis le vaccin.

Il y a bien une régulation mondiale sur le nucléaire qui existe depuis 75 ans. Ca n'a pas empêché Israël et la Corée du nord de se procurer la bombe illégalement, mais pas mal d'autres pays, si.

Je pense qu'ils voient immédiatement le danger pour l'avenir de leur discipline: l'IA pourrait décourager les étudiants de se lancer dans une carrière de mathématicien, vu que la machine dépasse l'homme. Or pour l'instant, les LLM sont d'excellents résolveurs, mais elles n'ont pas vraiment démontré de pouvoir d'imagination. Or la puissance des outils mathématiques vient de la création et mise en application de concepts novateurs. Est-ce qu'une IA inventerait le concept de nombre complexe ? Rien n'est moins sûr. Comme le rappelle Tao dans un talk récent, une démonstration est une avancée, mais le vrai step, c'est quand toute une théorie est suffisamment mûre pour en faire un livre et un enseignement. Aucun mathématicien ne rejette les LLM en tant qu'outils, en réalité ils les utilisent maintenant quotidiennement. Mais comme d'autres disciplines, comme la notre, ils rejettent l'idée que les IA sont là pour nous remplacer.

Or c'est exactement ça que les Armodel, Altman et autres Musk promettent à leurs investisseurs.

« M. Fourier avait l’opinion que le but principal des mathématiques était l’utilité publique et l’explication des phénomènes naturels ; mais un philosophe comme lui aurait dû savoir que le but unique de la science, c’est l’honneur de l’esprit humain, et que sous ce titre, une question de nombres vaut autant qu’une question du système du monde. » - Lettre de Jacobi à Legendre

C'est la même raison pour laquelle personne ne s'extasie sur de la musique générée par IA, mais qu'on continue à écouter de la pop ou du J-S Bach. Et pourtant j'ai entendu des oeuvres créées par IA qui n'ont pas à rougir face à 90% des productions actuelles. Seulement, elles n'ont rien d'original, c'est de la redite. Et encore une fois, l'aspect humain est essentiel. Comme le disait une artiste graphiste qui a vu les IA piquer son boulot, elle ne veut pas qu'une IA fasse de l'art à sa place pour qu'elle ait le temps de faire la vaisselle, elle veut une IA qui fasse la vaisselle pour qu'elle puisse se consacrer à son art.

des gens pensent que la terre est plate et que le vaccin covid était fait pour tuer la majorité de la population. [:doc petrus]

Alors, je répète : l'hypothèse de Riemann ou P!=NP, on le sait déjà, le prouver n'aide personne, les problèmes servent de moteur. La réponse à ces questions n'intéresse personne. Navier-Stokes c'est pareil, on savait simuler l'écoulement des fluides, on savait déjà que les équations avaient des limite.

Bien sûr les IA peuvent résoudre des vrais problèmes, auxquels la réponse est pertinente. Les défis de maths n'en font pas partie (pour l'essentiel en tout cas), et répondre à ces questions ne fait pas avancer la science.

Ils crient dans le vide, la boîte de Pandore est ouverte on ne peut pas juste se cacher le visage et refuser de lire les résultats, mais leurs protestations sont pertinentes et méritent d'être écoutées.

 
Honnêtement, à par le but de continuer le narratif : "notre IA est super puissante, elle pourrait tuer tout le monde, donc achetez-en plein", je pense pas qu'il y aie vraiment de but.
Ils capitalisent énormément sur les crétins qui croient vraiment que l'IA pourrait tous nous tuer dans quelques années commme Hepha.
Edit : Dion, je t'oublie pas non plus  [:viewtifulgro:3]  toi aussi, tu peux faire partie des gens qui leur apportent de la valeur.

 
Bah de toutes manières, la régulation ne toucherait pas la Chine ni pas mal d'autres pays (enfin sauf ceux inféodés aux US). Et une régulation mondiale, je n'y crois pas deux secondes. J'avoue que j'ai un peu de mal à comprendre pourquoi ils réagissent comme cela... Est-ce une manière de se dédouaner des conséquences de l'IA en mode : "on vous avait prévenu" ?

 
Je ne suis pas sûr que ce soit la bonne stratégie pour rassurer les investisseurs...  :o

 
Je suis pas du tout convaincu par ta démonstration. Autant te le dire tout de suite. :o
 
La valeur de qui, de quoi ? Les maths (enfin les structures et les lois qu'elles décrivent) existent sans nous, de même que l'univers qui nous entoure. Je sais bien que notre égocentrisme monstrueux nous fait parfois penser le contraire (il y a même des gens qui pensent que l'univers disparait quand ils meurent), mais bon... Tout ce qui permet de progresser scientifiquement est bon à prendre, d'autant que ce ne sont pas les défis qui manquent... Tu diras quoi si demain on résout les problèmes pour contrôler la fusion grace à l'IA ? Que le but n'a jamais été résoudre le problème et que c'était un défi ou une inspiration ? Je pense que tu peux respirer. Ce qui se passe est le prolongement logique de tout ce qui a été accompli avant. Et décider de stopper une révolution parce qu'elle est dangereuse, ça a été tenté à de multiples reprises par le passé, et ça fini toujours par craquer.  
De toutes manières, vu à quel point les dirigeants du monde sont incapables de s'entendre en ce moment, je vois pas tellement comment les US (et qui que ce soit d'autre) pourrait décréter un gel de la recherche ou de l'évolution de l'IA ou des modèles.

"On a atteint les limites de notre approche, et on ne peut plus qu'améliorer les modèles à la marge, et en mettant encore plus de GPU derrière. Malheureusement on a une ipo qui vient, il ne faudrait pas que les investisseurs s'en rendent compte, donc il serait opportun qu'un tiers nous empêche officiellement de sortir de nouveaux modèles. Ça nous permettra de continuer à hyper la prochaine version qui malheureusement ne pas être rendue publique".

Ca aide aussi à construire le narratif dont ils ont besoin pour l'IPO qui arrive sous peu : "c'est tellement dangereux, qu'il faudrait quelqu'un pour le réguler. En attendant, si vous en voulez un baril, c'est 50$"

Edit : les mecs ont tous accès à Trump plus ou moins directement. S'ils voulaient vraiment une régulation, ils seraient pas à faire des annonces dans les médias.

"Les développements effrénés sans espoir de recouper nos investissements vont nous ruiner. Stoppons la course à l'armement, histoire que nous puissions enfin faire de l'argent."

Ça n'a rien à voir. Ce qu'ils reprochent à l'IA, c'est de ruiner ce qui fait la valeur de la discipline. Personne n'en a rien à cirer de pr pi uver que P!=NP ou l'hypothèse de Riemann, on le sait déjà. Répondre à la question n'a jamais été le but de la plupart de ces problèmes, ils sont là comme des défis, des inspirations, des repères. Les résoudre par l'IA leur ôte l'essentiel de leur valeur.

Bah oui il faut vérifier le problème décrit en lean. C'est indépendant de l'article.