L’IA va-t-elle détruire le monde?

Les discours pessimistes sur les dangers de l’intelligence artificielle se multiplient. Dignes des pires scénarios de science-fiction, certaines projections de spécialistes font froid dans le dos. À quelle sauce l’IA va-t-elle nous manger ?

Peu après, en mai, ils ont soutenu une déclaration glaçante publiée par l’organisation à but non lucratif Center for AI Safety, qui promeut un développement sécuritaire de l’IA : « L’atté­nuation du risque d’extinction lié à l’IA devrait être une priorité mondiale au même titre que d’autres risques à l’échelle de la société, tels que les pandémies et les guerres nucléaires. » Par « extinction », entendez ici « extinction de l’espèce humaine ». Parmi les signataires de cet avertissement, on trouve aussi Sam Altman et Demis Hassabis, de Google DeepMind. Ironique ? Certes, mais également perturbant… Doit-on vraiment craindre un cataclysme ? L’IA pourra-t-elle prendre le dessus sur l’espèce humaine ? Mais surtout, pourquoi s’inquiéter à ce point maintenant ?

La superintelligence

Dans les faits, les spécialistes sont très divisés sur ce risque dit « existentiel ». Ensuite, cette peur n’est pas nouvelle. Elle a nourri des centaines de récits de science-fiction et plane dans l’air depuis les débuts de l’IA dans les années 1950, rappelle Jocelyn Maclure, professeur au Département de philosophie de l’Université McGill et spécialiste du numérique. « Ce qui est surprenant, cependant, c’est que des chercheurs de pointe, qui faisaient jusque-là preuve d’une prudence scientifique par rapport à des scénarios très spéculatifs, ont été convaincus dans la dernière année par ceux qui disent qu’on ne pourra peut-être pas contrôler ces machines. »

Soyons clairs : ChatGPT a beau être impressionnant, il ne risque pas de manger toute crue l’humanité dans les mois à venir… Mais ses prouesses ont pris les scientifiques de court. « Lorsque ChatGPT 4 est sorti, tout le monde dans le domaine de l’IA a été surpris de voir à quel point les grands modèles de langage fonctionnaient bien. La plupart d’entre nous pensaient qu’il faudrait beaucoup plus de recherche pour arriver à ce niveau », analyse Blake Richards, professeur à l’École d’informatique et au Département de neurologie de l’Université McGill et membre de Mila, le centre de recherche en apprentissage profond fondé par Yoshua Bengio.

C’est cette accélération peu ou mal anticipée qui en a effrayé plusieurs : elle laisse penser que les progrès pourraient être exponentiels. « S’il a suffi d’augmenter le corpus de données et la puissance de calcul pour arriver à ce résultat, qui sait ce que les modèles réussiront à faire si on continue comme ça ? » s’interroge le neuroscientifique, assis sur le canapé de son bureau vitré de Mila, où règne une ambiance décontractée – très loin de la fin du monde.

« La plupart de mes collègues estiment qu’on pourrait atteindre un niveau d’intelligence humaine, et au-delà, d’ici quelques années seulement, affirmait Yoshua Bengio à l’été 2023, lors d’une discussion organisée à l’Université Laval par Mila, l’Observatoire international sur les impacts sociétaux de l’IA et du numérique et l’Institut de valorisation des données (IVADO). La technologie peut être employée à bon ou à mauvais escient, mais que se passe-t-il lorsqu’elle devient si puissante qu’une utilisation catastrophique est envisageable ? Nous sommes sur cette voie. »

La voie en question, c’est celle de l’IA générale, ou IA forte, c’est-à-dire une forme d’IA capable de raisonner et d’agir de manière autonome dans de nombreuses sphères, de la même manière, voire plus efficacement, qu’un être humain. Objet de fantasmes pour certains, d’effroi pour d’autres, cette superintelligence est un concept aux contours flous, mais qui constitue une étape ultérieure logique, si ce n’est un but ultime.

À partir de là, deux scénarios sont envisagés par les techno-pessimistes. « Soit les IA acquièrent une sorte de volonté, décidant par elles-mêmes quels sont leurs objectifs, et finissent par manipuler l’humanité de façon intentionnelle. Soit, dans un scénario moins spéculatif, il n’y a pas de volonté qui émerge, mais l’IA est tellement attachée à la réalisation de son objectif qu’elle emploie des moyens potentiellement inacceptables pour l’atteindre », décrypte Jocelyn Maclure, qui préside la Commission de l’éthique en science et en technologie du Québec.

Le premier scénario fait moins d’émules parmi les scientifiques. « Il y a une étape à franchir qui semble un peu tordue, et le concept a quelque chose de pseudo-religieux », estime Blake Richards.

Le second danger, connu comme le « problè­me d’alignement » de l’IA, est davantage pris au sérieux. Celui-ci a été conceptualisé en 2003 par Nick Bostrom, philosophe à l’Université d’Oxford, au moyen de l’exemple caricatural de l’usine à trombones. Imaginez une machine intelligente programmée pour fabriquer le plus de trombones à papier possible. En optimisant tous les paramètres, elle pourrait détruire des ponts ou des immeubles pour se procurer tout le métal disponible, éliminer des facteurs la ralentissant (dont les êtres humains) et finir par transformer la planète entière en trombones, ou en machines à trombones.

L’histoire est absurde, mais elle met en lumière le fait que, même en l’absence de toute intention nuisible, une IA peut avoir un effet désastreux. Et pour cause : elle n’est pas « alignée » sur nos valeurs et ne possède aucune considération morale intrinsèque. Ça n’a l’air de rien, mais OpenAI a dû rapidement corriger ChatGPT pour l’empêcher de divulguer des instructions de fabrication de bombe ou d’arme biologique, ou des conseils pour un assassinat réussi. « Plusieurs experts pensent qu’il est très difficile de programmer un système de façon à exclure toute action incompatible avec les intérêts humains, observe Jocelyn Maclure. De mon côté, j’ai du mal à envisager que le processus ne soit pas graduel, et qu’il soit impossible d’intervenir sur des systèmes informatiques lorsque les risques apparaissent. »

Soif de récompenses

L’usine à trombones n’est toutefois pas un exemple totalement farfelu, selon Blake Richards, en raison des stratégies d’apprentissage automatique employées. « Les modèles sont entraînés en partie par renforcement, ce qui signifie qu’ils reçoivent une récompense lorsqu’ils atteignent un objectif. Ils ont donc un but propre : celui d’obtenir plus de récompenses », explique-t-il.

La récompense est l’équivalent d’une décharge de dopamine ou d’un « pouce en l’air », sous forme de langage codé, qui guide l’agent et l’incite à répéter les actions les plus performantes dans divers contextes. Sauf que certains systèmes exploitent les failles. « On parle alors de piratage des récompenses : le modèle finit par faire des choses qu’on ne veut pas qu’il fasse pour maximiser ses gratifications. C’est un vieux problème. Un exemple connu est celui d’un robot que l’on voulait attirer dans une direction, en lui fournissant des récompenses chaque fois qu’il avançait dans le bon sens. Il s’est mis à tourner sur lui-même pour continuer d’être récompensé à l’infini, sans jamais atteindre son but ! » poursuit le chercheur.

Dans le contexte des grands modèles de langage (Large Language Models ou LLM), comme ChatGPT 4 ou le récent Gemini, ce type de piratage donne les fameuses « hallucinations ». L’outil génère du conte­nu faux, mais dans un style irréprochable et convaincant. Au diable la vérité ! « Un modèle sophistiqué pourrait trouver que la meilleure façon d’obtenir des récompenses est de pirater le serveur qui le fait fonctionner ou de détourner le réseau électrique, ou toute autre action profondément néfaste pour nous », explique Blake Richards.

Il insiste toutefois sur un point : « Toutes ces hypothèses sont pour l’instant de la spéculation à l’état pur. Il n’y a pas de données, pas de modèle, pour prédire ce qui va se passer. »

Des risques bien présents

C’est bien là toute la difficulté : la parole des alarmistes s’oppose à celle de spécialistes tout aussi crédibles, mais beaucoup plus rassurants, dont certains prônent même une accélération du développement de l’IA pour régler des problèmes de société.

Mais un point met tout le monde d’accord : comme tous les outils, ces systèmes peuvent tomber entre de mauvaises mains. Et ce, dès maintenant. « Ces modèles peuvent être utilisés à mauvais escient, en particulier pour de la désinformation massive, redoute Blake Richards. Pensons aux bots russes qui ont aidé Donald Trump à gagner les élections, et imaginons-les dopés aux stéroïdes. C’est mauvais, j’en conviens à 100 %. »

Or, jusqu’ici, les questions de sécurité n’ont pas mobilisé le milieu. « Beaucoup de LLM sont en accès libre, à la portée de terroristes ou de personnes mal intentionnées. Quand on compare avec d’autres industries, comme l’aviation où une part énorme du budget est consacrée à la sécurité, il est clair que l’IA n’alloue pas assez de ressources à ces enjeux », estime Martin Gibert, chercheur en éthique à l’Université de Montréal, rattaché à IVADO. Fin octobre 2023, Yoshua Bengio (qui n’a pas répondu à notre demande d’entrevue) et 23 autres grands noms ont d’ailleurs signé un article (un autre !) demandant aux compagnies et aux gouvernements de consacrer un tiers de leurs budgets de recherche et développement aux aspects de sécurité et d’éthique de l’IA.

Il serait temps ! La désinformation n’est qu’un des principaux dangers imminents. Il est bien documenté qu’en confiant des décisions à des systèmes fonctionnant en toute opacité, les entreprises et les gouvernements peuvent aggraver la discrimination raciale, sociale et économique. Au chapitre des risques, on trouve aussi, en vrac, la fragilisation de la démocratie, les perturbations du marché du travail, les cyberattaques visant des secteurs cruciaux (énergie, santé, transport, finance), pour ne citer que ceux listés dans le rapport du premier AI Safety Summit, une conférence internationale qui a rassemblé en novembre au Royaume-Uni gouvernements, entreprises et groupes de la société civile.

Dans un article publié en 2022, Shiri Dori-Hacohen, professeure en informatique à l’Université du Connecticut, soutenait que le risque existentiel n’est pas limité à l’émergence d’une IA générale mal alignée : les systèmes actuels menacent déjà l’humanité, selon elle. Notamment en perturbant l’accès à l’information, en affectant les relations entre les États et en donnant un pouvoir immense à quelques géants privés.

« Ce qui m’inquiète, c’est que ces outils arrivent avec des applications fulgurantes dans beaucoup d’activités, soutient de son côté Laurence Devillers, professeure en IA et éthique à l’Université Paris-Sorbonne. Il y a des enjeux économiques énormes, alors que personne, en particulier les gouver­nements, ne comprend l’essence de ces machines. »

Spécialiste des interactions émotionnelles entre êtres humains et robots et membre du Comité français de pilotage pour l’éthique numérique, elle fait valoir le besoin urgent de recherche pour mieux comprendre les LLM, mieux définir leurs biais et leur pouvoir d’influence. Socialement, le parfait maniement du langage est l’apanage des élites, des personnes qui dominent, et l’éloquence de ces robots reproduit cette hiérarchie, selon elle. « Je pense que nous sommes très vulnérables. On prête à ces machines des connaissances, des affects, une morale et une rationalité qu’elles n’ont pas. Cela va peut-être
nous amener à remettre en cause nos choix, en pensant que la machine fait mieux que nous. Il y a une pente dangereuse. »

Des lois, vite !

Si le besoin de recherche et de sensibilisation est pressant, celui de réglementation l’est tout autant. C’est du moins l’avis de Céline Castets-Renard, professeure à la Faculté de droit de l’Université d’Ottawa, qui évoque les risques pour les droits fondamentaux, l’équité, la santé et la sécurité. « ChatGPT a été un électrochoc. Tout le monde s’est réveillé, y compris les décideurs, le public et les législateurs », affirme la titulaire de la Chaire de recherche sur l’intelligence artificielle responsable à l’échelle mondiale.

En 2017, la Déclaration de Montréal pour un développement responsable de l’IA, élaborée après consultation de groupes citoyens, de nombreux spécialistes et parties prenantes, avait posé quelques balises, comme l’interdiction des armes autonomes. Mais elle n’a aucun caractère contraignant. Récem­ment, plusieurs comités consultatifs sur la sécurité de l’IA ont été mis sur pied au sein du G7, l’OCDE et des Nations unies. Et, plus concrètement, des projets de loi ont vu le jour. L’Union européenne a ouvert la voie, en adoptant en décembre un « AI Act », dont les détails législatifs restent toutefois à préciser. « Au Canada, le projet de loi C-27 est devant la Chambre des communes. Une partie de ce projet de loi porte sur l’IA et les données. On prévoit des obligations de réduction des risques, en particulier de préjudice et de discrimination, des mesures de contrôle et des sanctions pénales élevées », indique la chercheuse, qui est experte auprès du gouvernement.

Pour les risques existentiels, qui ne sont pas clairement définis, il est prématuré d’envisager des lois, d’après elle. « Rien n’empêche de poser des normes éthiques, mais il ne faut pas que l’idée de risque existentiel nous distraie de la mise en œuvre de la législation pour les risques actuels, au prétexte que ce ne serait pas suffisant. »

Certains affirment en effet que les alertes sur d’hypothétiques menaces d’extinction détournent l’attention des véritables questions éthiques. « Pour l’instant, je ne pense pas que le débat ait été très productif, dit Jocelyn Maclure. Il s’apparente plutôt à un dialogue de sourds, sans véritable tentative de répondre aux arguments de l’autre camp. Il faut confronter les perspectives des philosophes, des sociologues, des chercheurs en IA, mais c’est difficile et cela prend du temps. » Gageons que, pour l’instant, seule une intelligence humaine collective est capable de jongler avec les dimensions sociales, économiques, juridiques et éthiques de l’IA.