NZNTV

ROULETTE RUSSE Un chercheur d’Anthropic a démissionné en accusant les entreprises d’intelligence artificielle de mettre en danger l’humanité. Cette croyance est largement partagée dans le milieu, y compris par des scientifiques considérés comme les « pères » de cette technologie. Mais elle est aussi un argument marketing.

Sept messages publiés sur X le 8 septembre, un article dans le Washington Post dans la foulée, et pour résultat une forte secousse médiatique. De celles dont le monde de l’intelligence artificielle (IA) devient coutumier. Sur le réseau social d’Elon Musk puis dans le quotidien détenu par Jeff Bezos, Jacob Coxon, 27 ans, a annoncé qu’il démissionnait de son poste chez Anthropic et qu’il ne travaillerait plus pour les entreprises d’IA générative.

Le chercheur en mathématiques, spécialisé dans l’entraînement de nouveaux modèles, avait précédemment travaillé chez OpenAI. Et il a un message limpide : ces entreprises « jouent à la roulette russe avec nos vies ».

« Ces systèmes deviendront bientôt surhumains, capables de pirater n’importe quoi, de révolutionner n’importe quel domaine du jour au lendemain et d’acquérir un pouvoir et des ressources réels », alerte-t-il. « Les personnes qui construisent l’IA croient sincèrement qu’elle pourrait nous tuer tous d’ici la fin de la décennie », « aucune autre activité humaine ne pose un tel niveau de danger », martèle-t-il.

Pour le jeune chercheur, le but déclaré d’OpenAI et d’Anthropic, développer une IA en mesure d’atteindre l’équivalent de l’esprit humain dans une large diversité de tâches (ce qu’on qualifie d’intelligence artificielle générale, AGI), ne peut être atteint de manière « responsable ». Il doit être régulé, pour parvenir à un ralentissement dans la cadence des progrès techniques.

L’émoi dans son milieu professionnel a été immédiat, et son écho a vite gagné le grand public. D’autant que son appel a été aussitôt relayé de manière encore plus alarmiste sur X par Evan Hubinger, un haut responsable de la sûreté d’Anthropic. « Jacob a raison. Nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains ! », a-t-il écrit, évaluant cette hypothèse à une probabilité supérieure à 10 % « dans la prochaine décennie ».

Non que les modèles actuels soient dangereux, précise le spécialiste d’Anthropic. Il se dit en revanche inquiet de « l’émergence d’une superintelligence issue de l’auto-amélioration récursive » d’un modèle qui deviendrait capable d’apprendre seul à se renforcer, encore et encore. L’entreprise concurrente d’OpenAI évoque d’ailleurs cette possibilité dans un rapport de sécurité publié en août.

Risques « catastrophiques »

Aussi frappantes soient ces prises de position, elles ne sont pas inédites, tant s’en faut. Un jour avant les messages de Jacob Coxon, le haut-commissaire des Nations unies aux droits de l’homme, Volker Türk, affirmait que l’intelligence artificielle pouvait représenter un « danger existentiel pour l’humanité », appelant à prendre immédiatement des mesures pour rendre cette technologie plus sûre.

Fin juillet, une pétition de plus de mille salarié·es des principales entreprises d’IA appelait déjà à un encadrement du développement des futurs modèles d’IA générative. Parmi les signataires, on trouvait plusieurs très hauts responsables du secteur, parmi lesquel·les Dario Amodei, le PDG d’Anthropic qui affiche publiquement depuis sa création son souci de la sécurité, mais aussi les dirigeants de la recherche d’OpenAI et de Meta, ainsi que des cadres de Google ou de Thinking Machines Lab (fondé par une ex-directrice technique d’OpenAI).

Leur texte pointe la concurrence infernale entre les acteurs du secteur, la vitesse effrénée à laquelle sortent de nouveaux modèles et, là aussi, la possibilité que cette technologie devienne capable de s’améliorer elle-même, échappant à tout contrôle.

Début juin, une étude menée par le Massachusetts Institute of Technology (MIT), avec 272 expert·es issu·es de trente-neuf pays, énumérait également les cinq risques « catastrophiques » liés au développement de l’IA : développement de capacités autonomes, armes autonomes et cyberattaques, centralisation du pouvoir dans quelques mains potentiellement mal intentionnées, diffusion massive de fausses informations…

Mi-juillet, une forte émotion a suivi l’annonce par la plateforme Hugging Face qu’elle avait détecté une intrusion pilotée par un groupe d’agents autonomes issus d’OpenAI.

Et ces derniers mois, certains ont voulu voir le début concret de ces calamités dans l’apparition de nouvelles capacités de modèles ou d’agents IA dans les cyberattaques, renouvelant les débats sur la question de leur dangerosité.

Ainsi début avril, Anthropic avait annoncé ne vouloir diffuser son nouveau modèle, Mythos, qu’à un groupe restreint d’organisations, le jugeant trop dangereux pour être commercialisé à grande échelle. La start-up californienne a finalement mis en ligne en juin une version bridée de ce modèle, Fable 5, mais la Maison-Blanche l’a contrainte à la retirer trois jours plus tard. Avant de finalement autoriser son lancement véritable le 1^er juillet.

Mi-juillet, une forte émotion a suivi l’annonce par la plateforme de modèles IA ouverts Hugging Face (rachetée depuis par Nvidia) d’une intrusion pilotée par un groupe d’agents autonomes issus d’OpenAI au cours d’un exercice de cyberattaque mal sécurisé. L’entreprise d’IA avait désactivé des garde-fous limitant l’activité cyber de ses modèles et les agents ont trouvé un moyen de se passer du cadre sécurisé prévu au web ouvert.

Les semaines suivantes, on apprenait que des créations d’Anthropic, de Meta et du chinois Moonshot AI auraient également réussi à accéder à Internet malgré l’interdiction de leurs constructeurs. Début septembre, enfin, Reuters révélait qu’un précédent du même type avait déjà concerné OpenAI.

« Doomers » de la première heure

Quand ce type d’annonce a lieu, l’inquiétude rejaillit à chaque fois quant au potentiel destructeur de l’IA générative, et les pouvoirs publics déclarent rituellement surveiller le dossier de près. Mais y chercher l’origine des positions apocalyptiques des spécialistes du secteur serait une erreur.

Ces positions sont en fait très répandues parmi les têtes pensantes de l’IA générative. Elles sont couplées avec la conviction quasi messianique que les progrès technologiques de ce secteur, qui avancent à un rythme ahurissant depuis le milieu des années 2010, vaincront les nombreux obstacles à l’établissement d’une intelligence artificielle générale.

Les certitudes de ceux qu’on appelle les « doomers » sont les deux faces d’une même pièce : foi profonde envers les capacités technologiques de l’IA d’un côté, crainte de plus en plus affirmée face à son autonomisation possible de l’autre.

Par exemple, Elon Musk a affirmé au procès qu’il a intenté à Sam Altman au printemps que la puissance de l’IA pourrait bientôt dépasser celle des humains, risquant ainsi de « tous nous tuer ». Et déjà en 2015, au tout début de la création d’OpenAI, Sam Altman se disait lui aussi inquiet des effets potentiellement dévastateurs d’une IA encore balbutiante. Il avait d’ailleurs positionné au départ son entreprise comme une organisation à but non lucratif œuvrant pour le bien commun.

Ce discours, ou une forme à peine atténuée, est tenu par des scientifiques bien plus sérieux que les techno bros de Tesla et d’OpenAI, ou de certains des « pères » de l’IA générative. À commencer par Geoffrey Hinton, pionnier du deep learning, qui a obtenu en 2024 le prix Nobel de physique (avec John Hopfield), pour ses travaux sur les réseaux de neurones artificiels.

En mai 2023, le scientifique canadien a claqué la porte de manière spectaculaire de Google, où il travaillait depuis une dizaine d’années, afin d’être libre d’exprimer ses craintes sur l’IA. « Je pense que d’ici cinq à vingt ans, il y aura une chance sur deux que nous soyons confrontés au problème de l’intelligence artificielle qui essaie de prendre le contrôle de nos vies », a-t-il averti.

Selon lui, une IA incontrôlable pourrait menacer les démocraties si elles sont aux mains de dictateurs, ruiner le marché du travail aux quatre coins du monde, mais aussi et surtout équiper et guider des armes autonomes, sortes de robots tueurs. Soit peu ou prou le scénario du film Terminator, de James Cameron, qui racontait en 1984 une guerre, en 2029, entre une humanité postapocalyptique et des robots dirigés par Skynet, une intelligence artificielle visant la suprématie des machines.

Un scénario à la « 2001 : L’Odyssée de l’espace »

En 2018, Geoffrey Hinton avait aussi été lauréat du Turing Award, récompense suprême du monde de l’informatique, pour son travail aux côtés du Français Yann Le Cun et du Franco-Canadien Yoshua Bengio. Ce dernier a lui aussi enfourché le cheval du combat anti-IA.

Yoshua Bengio s’inquiète lui aussi des méfaits d’une intelligence artificielle devenue incontrôlable, orchestrant par exemple des cyberattaques foudroyantes ou créant des armes biologiques inconnues.

À la tête de l’association LoiZéro, lui revendique explicitement craindre un scénario tel que décrit dans le film de 1968 de Stanley Kubrick, 2001 : L’Odyssée de l’espace, dans lequel un ordinateur se révolte contre les humains dans l’espace. « Même si les événements catastrophiques ont une probabilité très faible, mettons de 1 %, c’est important de les éviter », répète-t-il dans la presse, sur les plateaux télé ou au Forum de Davos.

Ces discours ont pris une forme cohérente à partir de 2023. Cette année-là, Sam Altman, fort du lancement récent de ChatGPT, demande déjà au Sénat états-unien de réguler son secteur et se livrait à une tournée mondiale en ce sens. Plusieurs tribunes signées par de nombreux scientifiques sont aussi publiées, sur les « risques d’extinction » posés par l’IA, ou sur les mesures à prendre pour les contrer. En novembre 2023 se tient au Royaume-Uni le premier sommet sur la sécurité de l’IA, qui réunit toutes les figures de l’industrie devant le premier ministre conservateur Rishi Sunak.

Dans un tout autre registre, c’est désormais la position qu’occupe aussi le sénateur phare de la gauche états-unienne Bernie Sanders. Au nom des risques majeurs pesant sur « l’avenir de l’humanité », il appelle à « mettre l’IA en pause » –reprenant là le mot d’ordre d’une association qui milite en ce sens.

Paradoxe 

Il peut paraître difficile de comprendre pourquoi, si les acteurs majeurs du développement de l’IA sont convaincus de ses dangers, ils ne décident tout simplement pas d’arrêter de leur propre chef la course à l’abîme.

« Chez OpenAI, beaucoup n’ont pas pleinement intériorisé les enjeux civilisationnels », assure Jacob Coxon dans l’un de ses messages sur X. Il donne en revanche un bon point à Anthropic, où les enjeux seraient « bien compris », mais dont les responsables « estiment que personne d’autre n’agira de manière responsable, et qu’ils doivent donc le faire eux-mêmes, malgré le risque ».

Il y a une autre manière, plus cynique, de considérer ce paradoxe : les acteurs majeurs de l’IA ont aussi tout intérêt à faire valoir la puissance de l’outil qu’ils fabriquent. Pour mieux le vendre, et pour se dépeindre comme les seules entreprises responsables capables de la dominer en toute sécurité.

C’est l’avis d’Emily Bender, linguiste et directrice du laboratoire de linguistique informatique de l’université de Washington, coautrice d’un livre contestant le discours des Big Tech sur l’IA et d’un podcast combattant la « hype » autour de ces outils.

Devenue célèbre pour avoir cosigné en 2021 un article définissant les grands modèles de langage comme des « perroquets stochastiques », répétant des mots et des phrases sans en saisir le sens, tout en coûtant trop cher en termes environnementaux, la chercheuse critique rappelait déjà en 2023 que les doomers relevaient eux aussi de la « hype » autour de l’IA.

« Parmi les gens qui entonnent le refrain “doomer”, il y a probablement des gens qui le font cyniquement, parce que cela donne l’impression que la technologie est puissante, ce qui est bon pour les affaires, balayait-elle dans un entretien au Monde en 2024. D’autres gens le font probablement de façon sincère. Mais ils restent attachés au même ensemble de croyances erronées. »

Autre voix technocritique anglophone, l’infatigable activiste de l’Internet libre Cory Doctorow décrit pour sa part les croyances des doomers comme un équivalent du pari de Blaise Pascal sur l’existence de Dieu. Même si on ne peut pas la démontrer, il est plus rationnel et moins coûteux de faire comme si elle était réelle.

Argument auquel Cory Doctorow oppose les coûts réels et concrets du développement à tous crins de l’IA générative, du poids écologique à la gigantesque bulle financière en cours de construction. Autrement dit, des risques dont la probabilité qu’ils fassent du mal à l’humanité est indiscutable.

Dan Israel