Photo: Microsoft
Pour aseptiser les modèles d’intelligence artificielle, des personnes passent des journées à visionner du contenu violent. Pourra-t-on un jour se passer de ce travail du clic ?
Tay était conçue pour imiter la personnalité d’une adolescente. Développé par Microsoft et mis en ligne sur Twitter en 2016, l’agent conversationnel devait dialoguer avec les internautes et apprendre de ces interactions. Tay est plutôt devenue raciste et sexiste, sous l’influence d’un groupe d’internautes qui s’est acharné à lui enseigner des horreurs. « Nous allons construire un mur, et c’est le Mexique qui paiera pour », a publié Tay quelques heures à peine après sa mise en service, parmi ses nombreux commentaires haineux.
La carrière de Tay a été de courte durée : Microsoft l’a retirée de Twitter 16 heures après sa mise en ligne et a présenté ses excuses pour « les tweets offensants et blessants non intentionnels ». L’incident a marqué les esprits et mis en garde tous les développeurs et développeuses d’agents de ce type. Aujourd’hui, il faut ramer fort pour réussir à faire cracher un petit juron aux descendants de Tay, comme ChatGPT.
Pour parvenir à cette façade lisse, il a fallu enseigner aux agents conversationnels, qui s’entraînent à partir de données glanées sur le Web, à détecter le contenu toxique. Les forums comme Reddit, qui ont servi de nourriture pour entraîner les grands modèles de langage, débordent de commentaires haineux. Comment s’assurer que l’outil pourra séparer le bon grain de l’ivraie ?
Pour OpenAI, la compagnie à l’origine de ChatGPT, la solution passe par une technique éprouvée par les grandes compagnies comme Facebook : demander à des modérateurs humains de classer une partie du contenu en signalant le matériel violent, les discours haineux et la violence sexuelle. Une fois ce contenu correctement annoté, il suffit de le retourner vers le modèle en lui indiquant de trouver tous les contenus similaires et de les éliminer, une méthode nommée « apprentissage par renforcement avec rétroaction humaine ».
Mais qui a envie de passer des heures à lire des textes relatant des atrocités ? OpenAI a mandaté une firme nommée Sama employant des travailleurs et travailleuses du clic basés au Kenya et payés moins de deux dollars l’heure, révélait le journaliste Billy Perrigo dans le magazine Time en janvier 2023. La compagnie californienne n’est pas la seule cliente de cette firme : Google, Meta et Microsoft figurent aussi dans la liste. Bref : si nous pouvons profiter d’outils technologiques plus ou moins dépourvus de contenu violent, c’est entre autres grâce à ces travailleurs et travailleuses, qui ont déclaré à Time avoir été « marqués mentalement ».
Grâce à ces développements, il est désormais possible de fournir des données à une IA générative et de lui demander de s’adapter à nos besoins de manière pointue.
Automatiser l’enseignement
Le travail du clic ne se fait pas que dans les pays en développement. Des plateformes de microtravail comme Amazon Mechanical Turk permettent à des gens partout dans le monde d’arrondir leurs fins de mois en accomplissant des tâches simples. De fait, entraîner les IA n’implique pas toujours de visionner du contenu haineux. Selon la méthode choisie, il faut parfois lui fournir des données dites « annotées ». Dans ce cas, un humain doit par exemple visionner diverses photos d’animaux et ajouter une note indiquant ici un chat, là un éléphant – un travail fastidieux.
Pour se sortir de ces tâches ennuyeuses, de plus en plus de ces petites mains se tournent… vers l’IA ! Pour une étude non révisée par les pairs menée à l’École polytechnique fédérale de Lausanne et déposée sur ArXiv en 2023, 44 personnes ont été embauchées par l’entremise de la plateforme Amazon Mechanical Turk pour écrire des résumés d’études scientifiques. À la suite d’une analyse des textes produits, l’équipe de recherche a conclu que jusqu’à 46 % de ceux-ci avaient été générés par une IA.
Une généralisation de cette pratique « diminuerait fortement l’utilité des données collectées », lit-on dans l’article. « La richesse, le caractère unique et la diversité du contenu produit par les humains sont indéniables. » En ingérant trop de contenu artificiel, l’IA pourrait même « s’effondrer » et offrir des résultats de moins bonne qualité, craignent les auteurs d’un article paru en mai 2023.
Êtres humains demandés
Répétitif, ennuyeux, parfois même traumatisant, le travail du clic est aussi fort coûteux et prend énormément de temps. Si le développement des technologies d’IA suscite des craintes pour l’avenir de certains métiers, en voici un qui gagnerait à être automatisé ! Mauvaise nouvelle : « Est-ce que l’annotation manuelle de contenu et la supervision globale par des humains seront supprimées à l’avenir ? Je suis à peu près convaincue qu’on ne le verra pas de mon vivant », estime Marie-Jean Meurs, professeure au Département d’informatique de l’Université du Québec à Montréal.
Mais tout n’est pas sombre, affirme Gaétan Marceau Caron, directeur de l’équipe de recherche appliquée à l’institut de recherche Mila, à Montréal, qui remarque que la manière d’entraîner les IA est déjà en train de changer. « Avant, quand on faisait des modèles spécialisés, on devait fournir énormément de données annotées. Aujourd’hui, les modèles de nouvelle génération sont entraînés sur une quantité de données très grandes, ce qui réduit le besoin des annotations. »
Grâce à ces développements, il est désormais possible de fournir des données à une IA générative et de lui demander de s’adapter à nos besoins de manière pointue – donc de nous-mêmes l’entraîner à effectuer une tâche précise, une méthode connue sous le nom d’in-context learning. « L’avantage est que les données qu’on fournit au modèle dans ce contexte ne sont pas partagées entre les utilisateurs », relève Gaétan Marceau Caron. Bref, impossible de corrompre l’outil comme l’avaient fait les internautes avec Tay.
Malgré toute l’intelligence de l’IA, il faudra donc vraisemblablement que des humains continuent de contribuer à son apprentissage. Tant mieux, estime Gaétan Marceau Caron, qui cite en exemple l’IA Alpha Go, qui avait affiné ses compétences à ce jeu chinois en jouant contre lui-même. « Il avait un style de jeu digne d’un extraterrestre ! » rappelle-t-il. Cet exemple sert selon lui d’avertissement : « Si on veut une IA proche de l’humain, qui sert à l’humain et que l’humain peut comprendre, il faut une rétroaction humaine. »
