Beavis and Butt-head a écrit :
Le comique sans fond des "citoyens" aveuglés par le capitalisme spectaculaire auxquels le pouvoir ne dit toujours pas que c'est la fin de l'ère du pétrole (avant la fin de l'ère de l'uranium) et que l'humanité va connaître au cours du XXIè siècle les plus grands bouleversments de son histoire...
Nous allons retourner à la vie cyclique des champs sans pesticides pétroliers cancérigènes? Vous serez tous des José Bové?
Ou nous serons tous digérés par des nano-robots, ou des super bactéries génétiquement modifiées? Selon des scientifiques toujours plus nombreux, la probabilité de l'auto-destruction technologique de l'humanité ne cesse d'augmenter: l'arme nucléaire n'est que le début de la hausse.
Pile ou face?
Notre pouvoir sur la matière augmente sans cesse. Notre pouvoir de transformer la matière augmente sans cesse.
Problème: vous êtes faits de matière. Vos corps sont fragiles. Vos vies ne tiendront bientôt plus qu'à un fil.
La science-fiction est en passe de devenir réalité.
Vous reprendrez bien un peu de grey goo?
<< la robotique, le génie génétique et les nanotechnologies - menacent d'extinction l'espèce humaine.
par Bill Joy
Mon implication dans le développement des nouvelles technologies s'est toujours accompagnée de préoccupations d'ordre éthique, et ce depuis le premier jour. Cependant, ce n'est qu'à l'automne 1998 que j'ai pris conscience des graves dangers que nous faisait courir le XXIe siècle. Les premiers symptômes de ce malaise profond sont apparus le jour de ma rencontre avec Ray Kurzweil, l'inventeur, au succès bien légitime, de maintes choses extraordinaires, dont le premier appareil permettant aux non-voyants de lire.
Ray et moi nous exprimions tous deux à la conférence " Telecosm " de George Gilder. Nos interventions respectives terminées, j'ai fait sa connaissance par hasard au bar de l'hôtel, où je me trouvais en conversation avec John Searle, un philosophe de Berkeley spécialiste de la conscience. C'est alors que Ray s'est approché, et qu'une conversation s'est engagée autour d'un thème qui, depuis lors, n'a cessé de me hanter.
J'avais raté l'intervention de Ray et la tribune qui avait suivi, dont John et lui étaient les invités. Or les voilà qui reprenaient le débat où ils l'avaient laissé. Ray affirmait que les progrès en matière de technologie allaient connaître une accélération de plus en plus rapide et que nous étions voués à devenir des robots, à fusionner avec nos machines ou quelque chose d'approchant. Soutenant qu'un automate n'est pas doué de conscience, John rejetait, quant à lui, cette idée.
Si ce genre de discours m'était relativement familier, les robots doués de sensation restaient pour moi du domaine de la science-fiction. Or, là, sous mes yeux, un individu qui présentait toutes les garanties de sérieux affirmait avec beaucoup de conviction l'imminence d'une telle perspective. J'étais interloqué. Surtout connaissant la capacité avérée de Ray à non seulement imaginer le futur, mais aussi à l'inventer de manière concrète. Qu'il fût alors devenu possible de refaire le monde en s'appuyant sur des technologies nouvelles comme le génie génétique ou les nanotechnologies2, cela n'était pas une surprise pour moi. Par contre, inscrire dans un avenir proche un scénario réaliste de robots " intelligents ", voilà qui me laissait perplexe.
Ce genre de découvertes capitales perd vite de son piquant. Chaque jour ou presque, un bulletin d'informations nous informe d'une avancée supplémentaire dans un domaine ou un autre de la technologie ou des sciences. Reste qu'en ce cas précis, la prédiction se détachait du lot. Là, dans ce bar d'hôtel, Ray m'a remis un jeu d'épreuves extraites de son livre, The Age of Spiritual Machines, alors sur le point de paraître. Dans cet ouvrage, il traçait les grandes lignes d'une utopie visionnaire : une utopie selon laquelle, en s'unissant à la technologie robotique, l'être humain devenait une créature quasi immortelle. Au fil des pages, mon sentiment de malaise allait croissant : non seulement Ray, à coup sûr, minimisait les dangers d'une telle voie, mais il réduisait également l'importance de ses potentiels effets dévastateurs.
C'est alors que j'ai été bouleversé par un passage exposant en détail un scénario dystopique :
UN NOUVEAU DÉFI POUR LES " LUDDISTES3 "
" Admettons que les chercheurs en informatique parviennent à développer des machines "intelligentes" capables de surpasser l'être humain en toute chose. Dès lors, l'ensemble du travail serait probablement assuré par des systèmes automatisés tentaculaires à l'organisation rigoureuse, lesquels rendraient superflu tout effort humain. En ce cas, de deux choses l'une : ou bien on laisse ces machines entièrement maîtresses de leurs décisions, libres de toute supervision par l'homme, ou bien c'est l'hypothèse du contrôle humain qui prévaut.
Face à la perspective d'unités laissées entièrement maîtresses d'elles-mêmes, dans la mesure où il est exclu d'en anticiper le comportement, nous nous garderons de toute spéculation sur un dénouement possible. Reste que dès lors, il convient de le souligner, le destin de l'humanité tomberait entre leurs mains. L'argument selon lequel jamais le genre humain n'aura la naïveté de s'en remettre totalement aux machines est recevable. Notre propos, toutefois, n'est pas davantage un scénario où l'homme investirait délibérément des pleins pouvoirs les machines, qu'un autre où celles-ci prendraient le pouvoir d'autorité. De fait, ce que nous redoutons, c'est une dérive rapide du genre humain vers une telle dépendance à l'égard de celles-ci, dont, concrètement, il ne lui resterait plus d'autre choix que d'accepter en bloc leurs décisions. A mesure que la complexité de la société et des problèmes auxquels elle doit faire face iront croissants, et à mesure que les dispositifs deviendront plus "intelligents", un nombre toujours plus grand de décisions leur seront confiées. La raison en est simple : on obtiendra de meilleurs résultats. On peut même imaginer qu'à terme, les prises de décisions nécessaires à la gestion du système atteindront un degré de complexité tel qu'elles échapperont aux capacités de l'intelligence humaine. Ce jour-là, les machines auront effectivement pris le contrôle. Les éteindre ? Il n'en sera pas question. Etant donné notre degré de dépendance, ce serait un acte suicidaire.
" L'option alternative consisterait à asservir les machines au contrôle de l'homme. Si, dans une telle hypothèse, l'individu lambda conserve la maîtrise de certains appareils personnels tels que sa voiture ou son ordinateur, celle des systèmes de grande envergure devient le monopole d'une élite restreinte - comme c'est le cas aujourd'hui, mais à deux détails près. Avec l'évolution des techniques, cette élite exercera sur les masses un contrôle renforcé. Et puisqu'à ce stade la main-d'?uvre humaine ne sera plus nécessaire, les masses elles-mêmes deviendront superflues. Elles ne seront plus qu'un fardeau inutile alourdissant le système. Si l'élite en question est cruelle, il se peut qu'elle décide simplement d'exterminer l'humanité. Si elle est humaine, elle peut recourir à la propagande ou à d'autres techniques psychologiques ou biologiques, pour provoquer une chute du taux de natalité telle que la masse de l'humanité finirait par s'éteindre. L'élite pourrait alors imposer ses vues au reste du monde. Ou encore, serait-elle constituée de démocrates au c?ur tendre, elle pourrait fort bien s'investir du rôle du berger menant avec bienveillance le reste de l'humanité. Ses tenants veilleront à ce que les besoins matériels soient satisfaits, à ce qu'une éducation soit assurée à tout enfant dans un climat psychologique sain, à ce que chacun s'occupe avec un passe-temps hygiénique et qu'enfin, quiconque s'estime mécontent subisse un "traitement" destiné à régler son "problème". Bien entendu, la vie sera tellement vide de sens qu'il conviendra de soumettre les individus à des manipulations biologiques ou psychologiques, soit destinées à éradiquer toute velléité de pouvoir, soit à "sublimer" cette soif de pouvoir en quelque passe-temps inoffensif. Dans une telle société, ces êtres humains manipulés vivront peut-être heureux ; pour autant, la liberté leur sera clairement étrangère. On les aura réduits au rang d'animaux domestiques 4.
L'auteur de ce passage n'est autre que Theodore Kaczynski, alias Unabomber, mais on ne le découvre qu'à la page suivante. Loin de moi l'idée de vanter ses mérites. En dix-sept ans d'une campagne terroriste, ses bombes ont tué trois personnes et en ont blessé une multitude d'autres. L'une d'elles a gravement atteint mon ami David Gelernter, l'un des chercheurs en informatique les plus brillants de notre époque, véritable visionnaire. En outre, comme beaucoup de mes collègues, j'avais le sentiment que je pourrais facilement être sa prochaine cible.
Les actes de Kaczynski sont criminels et, à mes yeux, la marque d'une folie meurtrière. Nous sommes clairement en présence d'un " luddiste ". Pour autant, ce simple constat ne balaie pas son argumentation. Il m'en coûte, mais je dois l'admettre : dans ce passage précis, son raisonnement mérite attention. J'ai ressenti le besoin impérieux de prendre le taureau par les cornes.
La vision dystopique5 de Kaczynski expose le phénomène des conséquences involontaires, problème bien connu allant de pair avec la création et l'usage de toute technologie. Ce phénomène renvoie directement à la loi de Murphy, en vertu de laquelle " tout ce qui peut dysfonctionner dysfonctionnera 6 " (il s'agit en réalité de la loi de Finagle, assertion qui, par nature, donne d'emblée raison à son auteur). L'usage immodéré des antibiotiques a engendré un problème qui, parmi tous les autres de ce type, est peut-être le plus grave : l'apparition de bactéries " antibio-résistantes ", infiniment plus redoutables. Des effets similaires ont été observés lorsque, pour éliminer le moustique de la malaria, on a eu recours au DDT, en conséquence de quoi cet animal est devenu résistant au produit destiné à les détruire. En outre, les parasites liés à cette maladie ont développé des gènes (multi-résistants)7.
La cause d'un si grand nombre d'imprévus semble claire : les systèmes qui entrent en jeu sont complexes, supposent une interaction entre eux et ont besoin que les nombreuses parties concernées leur renvoient un feed-back. La moindre modification dans un tel système provoque une onde de choc dont les répercussions sont impossibles à prévoir. Cela est d'autant plus vrai que l'homme intervient dans le processus.
J'ai commencé à faire lire à mes amis le passage de Kaczynski cité dans The Age of Spiritual Machines ; je leur tendais le livre de Kurzweil, les laissais prendre connaissance de l'extrait, puis observais leur réaction une fois qu'ils en découvraient l'auteur. Environ à la même époque, j'ai découvert le livre de Hans Moravec, Robot : Mere Machine to Transcendent Mind. Moravec, éminence parmi les éminences dans la recherche en robotique, a participé à la création d'un des plus vastes programmes mondiaux dans ce domaine, à la Carnegie Mellon University. Robot m'a fourni du matériel supplémentaire pour tester mes amis. Celui-ci abondait de façon surprenante dans le sens des thèses de Kaczynski. Ceci par exemple :
A court terme (début des années 2000)
" Une espèce biologique ne survit que très rarement à une rencontre avec une espèce rivale présentant un degré d'évolution supérieur. Il y a dix millions d'années, l'Amérique du Nord et l'Amérique du Sud étaient séparées par un isthme de Panama alors immergé. Comme l'Australie aujourd'hui, l'Amérique du Sud était peuplée de mammifères marsupiaux, en particulier d'équivalents de rats, de cervidés et de tigres, tous équipés d'une poche ventrale. Lorsque l'isthme faisant la jonction entre les deux Amériques s'est soulevé, quelques milliers d'années ont suffi aux espèces placentaires venues du Nord, dotées de métabolismes et de systèmes reproducteurs et nerveux légèrement plus efficaces, pour déplacer et éliminer la quasi-totalité des marsupiaux du Sud.
" Dans un contexte de libéralisme sans freins, des robots présentant un degré d'évolution supérieur ne manqueraient pas de modifier l'homme, de la même manière que les placentaires d'Amérique du Nord ont modifié les marsupiaux d'Amérique du Sud (et que l'homme lui-même a affecté un grand nombre d'espèces). Les industries de la robotique se livreraient une compétition féroce dans une course à la matière, à l'énergie et à l'espace, relevant au passage leurs tarifs pour s'établir à des niveaux inaccessibles à l'homme. Dès lors incapable de subvenir à ses besoins, l'homme biologique se retrouverait poussé hors de l'existence.
" Il nous reste sans doute une réserve d'oxygène, dans la mesure où nous ne vivons pas dans un contexte de libéralisme sans freins. Le gouvernement nous contraint à certains comportements collectifs, en priorité par l'impôt.
Avec une telle régulation, exercée judicieusement, les populations humaines pourraient amplement bénéficier du travail des robots, et ce pour un bon moment. "
Un exemple classique de dystopie, et encore : Moravec ne fait là que s'échauffer. Plus loin, il explique comment, au XXIe siècle, notre tâche principale consistera à " veiller à s'assurer la coopération indéfectible des industries de la robotique " en votant des lois les astreignant à rester " aimables 8 . En outre, il rappelle à quel point, " une fois modifié en robot superintelligent non-bridé ", l'homme peut se révéler un être extrêmement dangereux. La thèse de Moravec est qu'à terme, les robots nous succéderont : pour lui, l'humanité est clairement vouée à disparaître.
C'était dit : une conversation avec mon ami Danny Hillis s'imposait. Danny Hillis s'est rendu célèbre comme co-fondateur de la Thinking Machines Corporation, qui a fabriqué un superordinateur parallèle extrêmement puissant. Malgré mon titre actuel de chief scientist chez Sun Microsystems, je suis davantage un architecte d'ordinateurs qu'un scientifique au sens strict, et le respect que je voue à Danny pour sa connaissance de l'information et des sciences physiques est sans commune mesure. En outre, Danny est un futurologue respecté, quelqu'un qui voit à long terme ; il y a quatre ans, il a créé la Long Now Foundation, qui travaille à l'heure actuelle sur une horloge construite pour durer dix mille ans. L'objectif est d'attirer l'attention sur la propension de notre société à n'examiner les événements que sur un nombre d'années lamentablement court (voir " Test of Time ", Wired 8.03, p. 78). http://www.wired.com/wired/archive/8.03/eword.html ?pg=2
J'ai donc sauté dans un avion pour Los Angeles tout spécialement pour aller dîner avec Danny et sa femme, Pati. Selon une routine désormais très rodée, j'ai débité les idées et les passages que je trouvais si dérangeants. La réponse de Danny - référence claire au scénario de l'homme fusionnant avec la machine imaginé par Kurzweil - a jailli promptement, et m'a plutôt surpris : les changements interviendraient progressivement, s'est-il contenté de dire, et nous allions nous y faire.
Mais en définitive, cela ne m'étonnait pas plus que ça. Dans le livre de Kurzweil, j'avais relevé une citation de Danny qui disait ceci : " J'aime bien mon corps, comme tout le monde, mais si un corps de silicone me permet de vivre jusqu'à 200 ans, je suis partant. " Ni le processus en tant que tel ni les risques qui s'y rattachaient ne semblaient l'inquiéter le moins du monde. Contrairement à moi.
A force de parler de Kurzweil, de Kaczynski et de Moravec et de retourner leurs idées dans ma tête, je me suis souvenu d'un roman que j'avais lu près de vingt ans auparavant, The White Plague, de Frank Herbert, dans lequel un chercheur en biologie moléculaire sombre dans la folie suite au meurtre insensé de sa famille. Pour se venger, il fabrique et répand les bacilles d'une peste inconnue et hautement contagieuse qui tue à grande échelle, mais de façon élective (par chance, Kaczynski était mathématicien et pas chercheur en biologie moléculaire). Un autre souvenir m'est également revenu, celui du Borg de " Star Trek " : un essaim de créatures mi-biologiques, mi-robotiques qui se distinguent par une nette propension à détruire. Alors, puisque les catastrophes du type Borg sont un classique en science-fiction, pourquoi ne m'étais-je pas inquiété plus tôt de ce genre de dystopies dans le domaine de la robotique ? Et pour quelle raison les autres ne s'inquiétaient-ils pas davantage de ces scénarios cauchemardesques ?
La réponse à cette interrogation réside sans aucun doute dans notre attitude face à ce qui est nouveau, c'est-à-dire dans notre tendance à la familiarité immédiate et à l'acceptation inconditionnelle des choses. Si les avancées technologiques ne sont plus à nos yeux que des événements de routine ou presque, il va pourtant falloir se résoudre à regarder les choses en face : les technologies les plus incontournables du XXIe siècle - la robotique, le génie génétique et les nanotechnologies - représentent une menace différente des technologies antérieures. Concrètement, les robots, les organismes génétiquement modifiés et les " nanorobots " ont en commun un facteur démultipliant : ils ont la capacité de s'autoreproduire. Une bombe n'explose qu'une fois ; un robot, en revanche, peut proliférer et rapidement échapper à tout contrôle.
Depuis vingt-cinq ans, mon travail porte essentiellement sur les réseaux informatiques, où l'envoi et la réception de messages crée la possibilité d'une reproduction non contrôlée. Si, dans un ordinateur ou un réseau informatique, la duplication peut provoquer des dégâts, la conséquence ultime en sera, dans le pire des cas, une mise hors service de l'appareil, du réseau, ou un blocage de l'accès à ce réseau. Or l'autoreproduction incontrôlée dans le domaine de ces technologies plus récentes nous fait courir un danger beaucoup plus grave : celui de substantielles dégradations du monde physique.
En outre, chacune de ces technologies nous fait miroiter sa promesse secrète, et ce qui nous meut n'est autre que la vision de quasi-immortalité présente dans les rêves de robot de Kurzweil. Le génie génétique permettra bientôt de trouver les traitements adaptés pour soigner, voire éradiquer la plupart des maladies ; enfin, les nanotechnologies et la nanomédecine permettront d'en traiter d'autres encore. Combinées les unes aux autres, elle pourraient allonger notre espérance de vie et en améliorer la qualité de façon significative. Il n'en demeure pas moins que, s'agissant de ces diverses technologies, une séquence de petits paliers - sensés, lorsqu'ils sont pris isolément - débouche sur une accumulation massive de pouvoir et, de ce fait, sur un danger redoutable.
Quelle différence avec le XXe siècle ? Certes, les technologies liées aux armes de destruction massive (WMD) - nucléaires, biologiques et chimiques (NBC) étaient puissantes, et l'arsenal faisait peser sur nous une menace extrême. Cependant, la fabrication d'engins atomiques supposait, du moins pendant un temps, l'accès à des matériaux rares - et même inaccessibles -, autant qu'à des informations hautement confidentielles. Au surplus, les programmes d'armement biologiques et chimiques exigeaient souvent des activités à grande échelle.
Les technologies du XXIe siècle - génétique, nanotechnologies et robotique (GNR) - sont porteuses d'une puissance telle qu'elles ont la capacité d'engendrer des classes entières d'accidents et d'abus totalement inédits. Circonstance aggravante, pour la première fois, ces accidents et ces abus sont dans une large mesure à la porté d'individus isolés ou de groupes restreints. En effet, ces technologies ne supposent ni l'accès à des installations de grande envergure, ni à des matériaux rares ; la seule condition pour y avoir recours, c'est d'être en possession du savoir requis.
En conséquence, la menace sous laquelle nous nous trouvons aujourd'hui ne se limite plus au seul problème des armes de destruction massive. Vient s'y ajouter celle de l'acquisition d'une connaissance qui, à elle seule, permet cette destruction à très grande échelle. En outre, le potentiel d'anéantissement se trouve démultiplié par l'autoreproduction.
Il ne me semble pas déraisonnable d'affirmer qu'ayant touché aux sommets du mal absolu, nous nous apprêtons à en repousser encore les limites. Surprenant et redoutable, ce mal s'étend bien au-delà d'un arsenal dévastateur qui resterait l'apanage des Etats-nations, pour tomber aujourd'hui entre les mains d'extrémistes isolés.
Rien, dans la manière dont je me suis retrouvé impliqué dans le monde des ordinateurs, ne me laissait présager que de tels enjeux se présenteraient un jour devant moi.
Mon moteur a toujours été un besoin aigu de poser des questions et de trouver des réponses. A l'âge de trois ans, comme je lisais déjà, mon père m'a inscrit à l'école élémentaire, où, assis sur les genoux du directeur, je lui lisais des histoires. J'ai commencé l'école en avance, j'ai sauté une classe, pour finalement m'évader dans les livres. J'avais une soif d'apprendre incroyable. Je posais des tas de questions, jetant souvent le trouble dans l'esprit des adultes.
Adolescent, je m'intéressais de près à la science et aux technologies. J'avais dans l'idée de devenir radioamateur, mais je ne disposais pas de l'argent suffisant pour me payer le matériel. Le poste du radioamateur était l'Internet d'alors : très compulsif, et plutôt solitaire. Outre les considérations financières, ma mère a stoppé net : pas question que je me lance là-dedans - j'étais déjà assez asocial comme ça.
Les amis proches ne se bousculaient pas au portillon, mais je bouillonnais d'idées. Dès le lycée, j'ai découvert les grands auteurs de science-fiction. Je me souviens en particulier de Have Spacesuit Will Travel de Heinlein, et de I, Robot d'Asimov, avec ses " trois règles de la robotique ". Les descriptions de voyages dans l'espace m'enchantaient. Je rêvais d'un télescope pour observer les étoiles, mais n'ayant pas assez d'argent pour m'en acheter un ou me le fabriquer moi-même, j'épluchais, en guise de consolation, les livres pratiques expliquant comment s'y prendre. Je montais en flèche, mais en pensée.
Le jeudi soir, c'était bowling. Mes parents allaient faire leurs parties et nous, les gosses, restions tout seuls à la maison. C'était le jour de " Star Trek ", de Gene Roddenberry, dont c'étaient à l'époque les épisodes originaux. Cette série télévisée m'a profondément marqué. J'en suis arrivé à accepter son idée, selon laquelle l'homme avait un avenir dans l'espace, à l'occidentale, avec ses héros invincibles et ses aventures extraordinaires. La vision de Roddenberry des siècles à venir reposait sur des valeurs morales solides, exprimées dans des codes de conduite comme la " première directive " : ne pas interférer dans le développement de civilisations moins avancées sur le plan technologique. Cela exerçait sur moi une fascination sans borne ; aux commandes de ce futur, on trouvait non pas des robots, mais des êtres humains, avec une éthique. Et j'ai partiellement fait mien le rêve de Roddenberry.
Au lycée, mon niveau en mathématiques était excellent, et quand je suis parti à l'université du Michigan pour y préparer ma licence d'ingénieur, je me suis tout de suite inscrit en mathématiques supérieures. Résoudre des problèmes mathématiques était un joli défi, mais avec les ordinateurs, j'ai découvert quelque chose de nettement plus intéressant : une machine dans laquelle on pouvait introduire un programme qui tentait de résoudre le problème, suite à quoi la machine vérifiait rapidement si cette solution était bonne. L'ordinateur avait une idée claire de ce qui était exact ou inexact, de ce qui était vrai ou faux. Mes idées étaient-elles justes ? La machine pourrait me le dire. Tout cela était très séduisant.
Par chance, j'ai réussi à me trouver un travail dans la programmation des premiers superordinateurs, et j'ai découvert les extraordinaires capacités des unités puissantes qui permettent, grâce à la simulation numérique, d'élaborer des concepts de haute technologie. Arrivé à l'UC Berkeley, au milieu des années 70, pour y suivre mon troisième cycle, j'ai commencé à aller au c?ur des machines pour inventer des mondes nouveaux, me couchant tard, les jours où je me couchais. A résoudre des problèmes. A rédiger les codes qui désespéraient d'être écrits.
Dans The Agony and the Ecstasy, sa biographie romancée de Michel-Ange, Irving Stone décrit avec un réalisme saisissant comment le sculpteur, " perçant le secret " de la pierre, laissait ses visions guider son ciseau pour libérer les statues de leur gangue minérale9.. De la même manière, dans mes moments d'euphorie les plus intenses, c'est comme si le logiciel surgissait des profondeurs de l'ordinateur. Une fois finalisé dans mon esprit, j'avais le sentiment qu'il siégeait dans la machine, n'attendant plus que l'instant de sa libération. Dans cette optique, ne pas fermer l'?il de la nuit me semblait un prix à payer bien dérisoire pour lui donner sa liberté, pour que mes idées prennent forme.
Au bout de quelques années à Berkeley, j'ai commencé à envoyer certains des logiciels que j'avais conçus - un système Pascal d'instructions, des utilitaires Unix, ainsi qu'un éditeur de texte nommé vi (lequel, à ma grande surprise, est toujours utilisé vingt ans plus tard) - à des gens également équipés de petits PDP-11 et de mini-ordinateurs VAX. Ces aventures au pays du software ont finalement donné naissance à la version Berkeley du système d'exploitation Unix, lequel, sur le plan personnel, s'est soldé par un " succès désastreux " : la demande était si forte que je n'ai jamais pu boucler mon PhD. En revanche, j'ai été recruté par Darpa pour mettre sur Internet la version Berkeley du système Unix, et la corriger pour en faire quelque chose de fiable et capable de faire tourner des applications de recherche de grande envergure également. Tout cela m'a follement amusé et a été très gratifiant.
Et, franchement, je ne voyais pas l'ombre d'un robot nulle part. Ni ici ni à proximité.
Reste qu'au début des années 80, j'étais submergé. Les versions Unix connaissaient un grand succès, et bientôt, ce qui était au départ un petit projet personnel a trouvé son financement et s'est doté d'effectifs. Cependant, comme toujours à Berkeley, le problème était moins l'argent que les mètres carrés. Compte tenu de l'envergure du projet et des effectifs requis, l'espace manquait. C'est pourquoi lorsque sont apparus les autres membres fondateurs de Sun Microsystems, j'ai sauté sur l'occasion d'unir nos forces. Chez Sun, les journées interminables ont été le quotidien jusqu'aux premières générations de stations de travail et de PC, et j'ai eu le plaisir de participer à l'élaboration de technologies de pointe dans le domaine des microprocesseurs et des technologies Internet telles que Java et Jini.
Tout cela, il me semble, le laisse clairement apparaître : je ne suis pas un " luddiste ". Bien au contraire. J'ai toujours tenu la quête de vérité scientifique dans la plus haute estime, et toujours été intimement convaincu de la capacité de la grande ingénierie à engendrer le progrès matériel. La révolution industrielle a amélioré notre vie à tous de façon extraordinaire au cours des deux derniers siècles, et, concernant ma carrière, mon v?u a toujours été de produire des solutions utiles à des problèmes réels, en les gérant un par un.
Je n'ai pas été déçu. Mon travail a eu des répercussions proprement inespérées, et l'utilisation à grande échelle qui en a été faite a, de surcroît, dépassé mes rêves les plus fous. Voilà maintenant vingt ans que je me creuse la tête pour fabriquer des ordinateurs suffisamment fiables à mes yeux (on est encore loin du compte), et pour tenter d'en accroître le confort d'utilisation (un objectif encore plus loin d'être réalisé à ce jour). Reste que, si certains progrès ont été accomplis, les problèmes qui subsistent semblent plus décourageants encore.
Toutefois, si j'avais conscience des dilemmes moraux liés aux conséquences de certaines technologies dans des domaines comme la recherche en armements, loin de moi l'idée qu'ils pourraient un jour surgir dans mon propre secteur. Ou, en tout cas, pas si prématurément.
Happé dans le vortex d'une transformation, sans doute est-il toujours difficile d'entrevoir le réel impact des choses. Que ce soit dans le domaine des sciences ou celui des technologies, l'incapacité à saisir les conséquences de leurs inventions semble un défaut largement répandu parmi les chercheurs, tout à l'ivresse de la découverte et de l'innovation. Inhérent à la quête scientifique, le désir naturel de savoir brûle en nous depuis si longtemps que nous négligeons de marquer une pause pour prendre acte de ceci : le progrès à l'origine de technologies toujours plus innovantes et toujours plus puissantes peut nous échapper et déclencher un processus autonome.
J'ai réalisé depuis bien longtemps que ce n'est ni au travail des chercheurs en informatique, ni à celui des concepteurs d'ordinateurs ou des ingénieurs que l'on doit les avancées significatives dans le domaine des technologies de l'information, mais à celui des chercheurs en physique. Au début des années 80, les physiciens Stephen Wolfram et Brosl Hasslacher m'ont initié à la théorie du chaos et aux systèmes non linéaires. Au cours des années 90, des conversations avec Danny Hillis, le biologiste Stuart Kauffman, le Prix Nobel de physique Murray Gell-Mann et d'autres m'ont permis de découvrir des systèmes complexes. Plus récemment, Hasslacher et Mark Reed, ingénieur et physicien des puces, m'ont éclairé sur les possibilités extraordinaires de l'électronique moléculaire.
Dans le cadre de mon propre travail, étant le concepteur associé de trois architectures de microprocesseurs - Sparc, PicoJava et MAJC - et, en outre, de plusieurs de leurs implémentations, je bénéficie d'une place de choix pour vérifier, personnellement et sans relâche, le bien-fondé de la loi de Moore. Des décennies durant, cette loi nous a permis d'estimer avec précision le taux exponentiel de perfectionnement des technologies en matière de semi-conducteurs. Jusqu'à l'année dernière, j'avais la conviction que vers 2010 environ, certaines limites finiraient par être physiquement atteintes et que, par le fait, ce taux de croissance chuterait. A mes yeux, aucun signal n'indiquait clairement qu'une technologie nouvelle apparaîtrait suffisamment tôt pour maintenir une cadence soutenue.
Mais du fait des récents progrès, saisissants et rapides, dans le domaine de l'électronique moléculaire - où des atomes et des molécules isolés remplacent les transistors lithographiés -, ainsi que dans le secteur des technologies à l'échelle " nano " qui s'y rattachent, tout indique que nous devrions maintenir ou accroître le taux de croissance annoncé par la loi de Moore pendant encore trente ans. C'est ainsi qu'à l'horizon 2030, nous devrions être en mesure de produire, en quantité, des unités un million de fois plus puissantes que les ordinateurs personnels d'aujourd'hui. En clair, suffisamment puissantes pour réaliser les rêves de Kurzweil et de Moravec.
La combinaison de cette formidable puissance informatique, d'une part aux progrès réalisés en matière de manipulation dans le domaine des sciences physiques, d'autre part aux récentes découvertes cruciales dans celui de la génétique, aura pour conséquence de libérer une déferlante dont le pouvoir de transformation est phénoménal. Ces cumuls permettent d'envisager une complète redistribution des cartes, pour le meilleur ou pour le pire. Les processus de duplication et de développement, jusqu'alors circonscrits au monde physique, sont aujourd'hui à la portée de l'homme.
En créant des logiciels et des microprocesseurs, je n'ai jamais eu le sentiment de développer une seule machine " intelligente ". Compte tenu de la grande fragilité du software comme du hardware et des capacités de " réflexion " clairement nulles que montre une machine, j'ai toujours renvoyé cela à un futur très éloigné - même en tant que simple possibilité.
Mais aujourd'hui, dans la perspective d'une puissance informatique rattrapant celle des capacités humaines à l'horizon 2030, je sens poindre une idée nouvelle : celle que, peut-être, je travaille à l'élaboration d'outils capables de produire une technologie qui pourrait se substituer à notre espèce. Sur ce point, quel est mon sentiment ? Celui d'un profond malaise. M'étant battu tout au long de ma carrière pour fabriquer des logiciels fiables, l'éventualité d'un futur nettement moins rose que certains voudraient l'imaginer m'apparaît aujourd'hui plus que probable. Si j'en crois mon expérience personnelle, nous avons tendance à surestimer nos capacités de concepteurs.
Etant donné la puissance redoutable de ces nouvelles technologies, ne devrions-nous pas nous interroger sur les meilleurs moyens de coexister avec elles ? Et si, à terme, leur développement peut ou doit sonner le glas de notre espèce, ne devrions-nous pas avancer avec la plus grande prudence ?
Le rêve de la robotique est, premièrement, de parvenir à ce que des machines " intelligentes " fassent le travail à notre place, de sorte que, renouant avec l'Eden perdu, nous puissions vivre une vie d'oisiveté. Reste que dans sa version à lui, Darwin Among the Machines, George Dyson nous met en garde : " Dans le jeu de la vie et de l'évolution, trois joueurs sont assis à la table : l'être humain, la nature et les machines. Je me range clairement du côté de la nature. Mais la nature, j'en ai peur, est du côté des machines. " On l'a vu, Moravec le rejoint sur ce point, puisqu'il se déclare convaincu de nos minces chances de survie en cas de rencontre avec l'espèce supérieure des robots.
A quel horizon un robot " intelligent " de ce type pourrait-il voir le jour ? Le bond en avant prochain des capacités informatiques laisse à penser que ce pourrait être en 2030. Or, une fois un premier robot intelligent mis au point, il ne reste à franchir qu'un petit pas pour en créer une espèce toute entière, autrement dit pour créer un robot intelligent capable de se dupliquer, de fabriquer des copies élaborées de lui-même.
Un deuxième rêve de la robotique veut que peu à peu, notre technologie robotique va se substituer à nous, et que, grâce au transfert de la conscience, nous accéderons à la quasi-immortalité. C'est précisément à ce processus que, selon Danny Hillis, nous allons nous habituer, et c'est celui-là également qu'expose en détail et avec distinction Ray Kurzweil dans The Age of Spiritual Machines (on commence à le voir avec l'implantation dans le corps humain de dispositifs informatiques, comme en atteste la couverture de Wired 8.02. http://www.wired.com/wired/archive/8.02/full.html).
Mais si nous devenons des extensions de nos technologies, quelles sont nos chances de rester nous-mêmes et, même, de rester des êtres humains ? Il me semble plus qu'évident qu'une existence de robot serait sans commune mesure avec une existence d'être humain au sens auquel nous l'entendons, quel qu'il soit, qu'en aucun cas les robots ne seraient nos enfants, et que, sur cette voie-là, notre humanité pourrait bien se perdre.
Le génie génétique promet de révolutionner l'agriculture en combinant l'accroissement des récoltes à la réduction de l'usage des pesticides ; de créer des dizaines de milliers d'espèces inédites de bactéries, plantes, virus, et animaux ; de remplacer, ou du moins de compléter, la reproduction par le clonage ; de produire des remèdes à d'innombrables maladies ; d'augmenter notre espérance de vie et notre qualité de vie ; et beaucoup, beaucoup d'autres choses encore. Aujourd'hui, nous en avons parfaitement conscience : ces profonds changements dans le domaine des sciences de la biologie vont intervenir incessamment, et vont mettre en question toutes les notions que nous avons de la vie.
Des technologies comme le clonage humain, en particulier, nous ont sensibilisés aux questions fondamentales d'éthique et de morale qui se posent. Mettre le génie génétique au service d'une restructuration du genre humain en plusieurs espèces distinctes et inégales, par exemple, mettrait en péril la notion d'égalité, elle-même composante essentielle de notre démocratie.
Compte tenu de la puissance formidable que recèle le génie génétique, rien d'étonnant à ce que des questions fondamentales de sécurité en limitent l'usage. Mon ami[e] Amory Lovins a récemment signé, en collaboration avec Hunter Lovins, un éditorial qui fournit un point de vue écologique sur un certain nombre de ces dangers. Au nombre de leurs préoccupations figure celle " que la nouvelle botanique aligne le développement des plantes sur leur prospérité, non plus au regard de l'évolution, mais du point de vue de la rentabilité économique " (voir A Tale of Two Botanies, page 247 ou http://www.wired.com/wired/archive/8.04/botanies.html) Amory Lovins travaille depuis longtemps sur le rapport énergie/ressources en étudiant les systèmes créés par l'homme selon la méthode dite whole-system view, une approche globale qui permet souvent de trouver des solutions simples et intelligentes à des problèmes qui, examinés sous un angle différent, peuvent apparaître délicats. En l'occurrence, cette méthode se révèle également concluante.
Quelque temps près avoir lu l'éditorial des Lovins, j'ai relevé, dans l'édition du 19 novembre 1999 du New York Times, un billet traitant des organismes génétiquement modifiés dans l'agriculture, signé Gregg Easterbrook sous le titre " Nourriture du futur : Un jour, de la vitamine A intégrée dans votre grain de riz. Sauf en cas de victoire des luddistes ".
Amory et Hunter Lovins seraient-ils des " luddistes " ? A l'évidence, non. Nul ne doute, j'imagine, des possibles bienfaits du golden rice, avec sa vitamine A intégrée, dans la mesure où on le développe dans le respect des potentiels dangers découlant du franchissement des barrières entre espèces.
Comme en atteste l'éditorial des Lovins, la vigilance face aux dangers inhérents au génie génétique commence à se renforcer. Dans une très large mesure, la population a connaissance des aliments à base d'organismes génétiquement modifiés et éprouve un malaise devant ceux-ci ; elle semble opposée à l'idée de leur circulation sans étiquetage adéquat.
Mais le génie génétique a déjà parcouru beaucoup de chemin. Comme le soulignent les Lovins, l'USDA a déjà avalisé la mise en vente illimitée d'une cinquantaine de produits agricoles génétiquement modifiés. C'est ainsi qu'aujourd'hui, plus de la moitié du soja ainsi qu'un tiers du maïs mondial contiennent des gènes transférés, issus d'un croisement avec d'autres formes de vie.
Si, dans ce contexte, les enjeux de taille ne manquent pas, ma principale crainte dans le domaine du génie génétique est plus ciblée : celle que cette technologie puisse donner le pouvoir de déclencher une " peste blanche " - militairement, accidentellement ou par un acte terroriste délibéré.
Les maintes merveilles des " nanotechnologies " ont, à l'origine, été imaginées par le prix Nobel de physique Richard Feynman, dans un discours qu'il a tenu en 1959, publié par la suite sous le titre " There's plenty of room at the bottom ". Au milieu des années 80, un livre m'a fait forte impression : il s'agit d'Engines of Creation, d'Eric Drexler. Dans cet ouvrage, l'auteur décrit en termes vibrants comment la manipulation de la matière au niveau de l'atome pourrait permettre de bâtir un futur utopique de profusion de biens matériels, dans lequel chaque chose ou presque pourrait être produite à un coût dérisoire, et où, grâce aux nanotechnologies et aux intelligences artificielles, quasiment n'importe quelle maladie ou problème physique pourrait être résolu.
Dans la foulée, un livre, cette fois cosigné par Drexler sous le titre Unbounding the Future : The Nanotechnology Revolution, imaginait certains des changements susceptibles d'intervenir dans un monde doté d'" assembleurs " à l'échelle moléculaire. Grâce à ces micromonteurs, et pour des prix incroyablement bas, il devenait possible de produire de l'énergie solaire, de renforcer les capacités du système immunitaire pour soigner les maladies, du cancer au simple rhume, de nettoyer l'environnement de fond en comble, ou de mettre sur le marché des superordinateurs de poche à des prix dérisoires. Concrètement, ces assembleurs avaient la capacité de produire en série n'importe quel produit pour un prix n'excédant pas celui du bois, de rendre les voyages dans l'espace plus abordables que les croisières transocéaniques ne le sont aujourd'hui, ou encore de rétablir des espèces disparues.
Je me souviens de l'impression favorable que la lecture d'Engines of Creation m'a laissée vis-à-vis des nanotechnologies. En refermant ce livre, l'homme de technologie que je suis a été gagné par un sentiment de paix, en ce sens qu'elles laissaient augurer d'un progrès phénoménal. Ce progrès était non seulement possible, mais peut-être même inéluctable. Si les nanotechnologies étaient notre futur, alors trouver, là, tout de suite, une solution à la multitude de problèmes qui se posaient à moi ne revêtait plus le même caractère d'urgence. J'en viendrais au futur utopique de Drexler en temps et en heure : tant qu'à faire, autant profiter un peu de la vie, ici et maintenant. Compte tenu de sa vision, travailler sans relâche de jour comme de nuit n'avait plus guère de sens.
La vision de Drexler a également été pour moi une source de franches rigolades. Je me suis surpris plus d'une fois à vanter à ceux qui n'en avaient jamais entendu parler les vertus extraordinaires des nanotechnologies. Après les avoir émoustillés avec les descriptions de Drexler, je leur assignais une petite mission de mon cru : " En recourant aux méthodes des nanotechnologies, produisez un vampire. Pour marquer des points supplémentaires, créez l'antidote. "
Les merveilles en question portaient en elles de réels dangers, et ces dangers, j'en avais une conscience aiguë. Comme je l'ai affirmé en 1989 lors d'une conférence, " nous ne pouvons nous borner à notre discipline sans prendre en considération ces questions éthiques10 . Mais les conversations que j'ai eues par la suite avec des physiciens m'en ont convaincu : selon toute vraisemblance, les nanotechnologies resteraient un rêve - ou, en tout cas, elles ne risquaient pas d'être opérationnelles de sitôt. Peu de temps après, je suis parti m'installer dans le Colorado, où j'avais monté une équipe de conception de hautes technologies, avant que mon intérêt ne se porte sur des logiciels destinés à l'Internet, prioritairement sur des idées qui allaient devenir le langage Java et le protocole Jini.
Et puis, l'été dernier, Brosl Hasslacher me l'a annoncé : l'électronique moléculaire à l'échelle " nano " était devenue réalité. Cette fois-ci, on pouvait vraiment parler de coup de théâtre - en tout cas, pour moi, mais pour beaucoup d'autres également, je crois -, et cette information a radicalement fait basculer mon point de vue au sujet des nanotechnologies. Elle m'a renvoyé à Engines of Creation. Me replongeant dans le travail de Drexler plus dix ans après, j'ai été consterné du peu de cas que j'avais fait d'une très longue section du livre intitulée " Espérances et périls ", où figurait notamment un débat autour du thème des nanotechnologies comme potentiels " engins de destruction ". De fait, en relisant aujourd'hui ces mises en garde, je suis frappé de l'apparente naïveté de Drexler dans certaines de ses propositions préventives ; j'estime aujourd'hui les risques infiniment plus graves que lui-même à l'époque dans cet ouvrage (Drexler, ayant anticipé et exposé maints problèmes techniques et politiques liés aux nanotechnologies, a lancé le Foresight Institute à la fin des années 80, pour aider la société à se préparer aux technologies de pointe - en particulier, les nanotechnologies.)
Selon toutes probabilités, la découverte capitale devant mener aux assembleurs interviendra dans les vingt prochaines années. L'électronique moléculaire, domaine le plus récent des nanotechnologies, où des molécules isolées constituent des éléments du circuit, devrait rapidement progresser et générer de colossaux bénéfices au cours de la décennie à venir, déclenchant ainsi un investissement massif et croissant dans toutes les nanotechnologies.
Hélas, comme pour la technologie du nucléaire, l'usage des nanotechnologies à des fins de destruction est significativement plus aisé que son usage à des fins constructives. Celles-ci ont des applications militaires et terroristes très claires. Au surplus, il n'est pas nécessaire d'être animé de pulsions suicidaires pour libérer un " nanodispositif " de destruction massive : sa vocation peut être la destruction sélective, avec pour seule cible, par exemple, une zone géographique précise ou un groupe d'individus génétiquement distincts.
L'une des conséquences immédiates du commerce faustien donnant accès à l'immense pouvoir que confèrent les nanotechnologies, c'est la menace redoutable qu'elles font peser sur nous : celle d'une possible destruction de la biosphère, indispensable à toute vie.
Drexler l'expose dans les termes suivants :
" Des "plantes" à "feuilles" guère plus efficaces que nos capteurs solaires actuels pourraient vaincre les plantes réelles et envahir la biosphère d'un feuillage noncomestible. Des "bactéries" omnivores résistantes pourraient vaincre les vraies bactéries, se disséminer dans l'air comme du pollen, se reproduire rapidement, et, en l'espace de quelques jours, réduire à néant la biosphère. Des "réplicateurs" dangereux pourraient aisément s'avérer trop résistants, trop petits et trop prompts à se reproduire pour être stoppés - en tout cas, si nous ne prenons pas les devants. Nous avons déjà bien du mal à maîtriser les virus et les drosophiles.
" Cette menace, les experts en nanotechnologies l'ont surnommée "gray goo problem". Si rien n'indique que des nuées de réplicateurs incontrôlés formeraient automatiquement une masse grise ["grey"] et gluante ["goo"], cette appellation souligne que des réplicateurs doués d'une telle puissance dévastatrice s'avéreraient, je le crois, moins engageants qu'une simple espèce de mauvaise herbe. Certes, ils peuvent se révéler supérieurs du point de vue de leur degré d'évolution, mais cela ne suffit pas à en faire des utiles.
" Le "gray goo problem" laisse clairement apparaître une chose : s'agissant des assembleurs et de leur reproduction, nous ne pouvons pas nous permettre certains accidents. "
Finir englués dans une masse grise et visqueuse serait assurément une fin déprimante à notre aventure sur la Terre - de loin pire que le simple feu ou la glace. En outre, elle pourrait survenir à la suite d'un simple, houp !, incident de laboratoire11.
C'est avant tout le pouvoir destructeur de l'autoreproduction dans le domaine de la génétique, des nanotechnologies et de la robotique (GNR) qui devrait nous inciter à marquer une pause. L'autoreproduction est le modus operandi du génie génétique, lequel utilise la machinerie de la cellule pour dupliquer ses propres structures, et constitue le risque de " gray goo " numéro un sous-jacent aux nanotechnologies. Les scénarios, dans la veine du Borg, de robots pris de folie se reproduisant ou mutant pour se soustraire aux contraintes éthiques imposées par leur concepteur sont aujourd'hui des classiques du livre et du film de science-fiction. Il n'est d'ailleurs pas exclu qu'en définitive, le phénomène d'autoreproduction se révèle plus fondamental que nous ne le pensions, et que, de ce fait, la maîtrise en soit plus difficile, voire impossible. Un article récent de Stuart Kauffman publié dans Nature, intitulé " Autoreproduction : même les peptides s'y mettent ", se penche sur une découverte établissant qu'un polypeptide de 32 aminoacides a la capacité d'" autocatalyser sa propre synthèse ". A ce jour, même si on évalue mal la portée exacte d'une telle capacité, Kauffman observe que cela pourrait ouvrir " une voie de systèmes moléculaires autoreproductifs sur une base significativement plus étendue que ne l'établissent les paires de base de Watson-Crick 12 ". >>
|