Character.AI, Chai AI et Luka Inc de Replika se sont tous engagés à faire mieux, à « prendre la sécurité de nos utilisateurs très au sérieux », à « travailler de notre mieux pour minimiser les dommages » et « à maintenir les normes éthiques les plus élevées ». Et pourtant, à partir d’aujourd’hui, Character.AI commercialise son application de compagnonnage comme des « IA qui se sentent vivantes », suffisamment puissantes pour « vous entendre, vous comprendre et se souvenir de vous ». Replika est commercialisé comme « le compagnon de l'IA qui s'en soucie », avec des publicités et des conversations à caractère sexuel qui trompent les utilisateurs en leur faisant croire que leur aventure avec l'IA est consciente et véritablement empathique. Une telle publicité manipulatrice incite les personnes vulnérables à s’attacher extrêmement, au point où elles se sentent coupables d’avoir arrêté (c’est-à-dire « tué » ou « abandonné ») le produit.
Dans un monde où un jeune sur quatre se sent seul, l’attrait d’un parfait amant synthétique est évident. Il en va de même pour les entreprises qui monétisent nos désirs les plus intimes en vendant l’interaction érotique comme fonctionnalité premium moyennant des frais d’abonnement.
Pour éviter les répercussions juridiques tout en conservant ces frais d’abonnement juteux, les fournisseurs de chatbots IA mettront des clauses de non-responsabilité et des conditions générales sur leur site Web. Ils affirmeront que les réponses de l’IA générative ne peuvent pas être entièrement contrôlées. Ils affirmeront que les plateformes comptant des millions d’utilisateurs englobent « l’ensemble du spectre du comportement humain », ce qui implique que les dommages sont inévitables.
Certaines entreprises, comme OpenAI, ont fait des progrès pour réduire les interactions nuisibles en mettant en œuvre la modération du contenu. Ces garde-fous volontaires ne sont pas encore parfaits, mais c’est un début.
Les tentatives des sociétés d'IA pour minimiser les risques nous rappellent la performance théâtrale du PDG de Meta, Mark Zuckerberg, au Congrès américain. Il a présenté ses excuses aux parents d'adolescents dont les suicides peuvent être expressément liés aux plateformes de médias sociaux de Meta, mais sans changer le modèle économique sous-jacent qui continue de propager l'épidémie de suicides liés aux médias sociaux.
Mais les effets de l’IA sur la santé mentale peuvent être comparables à ceux des médias sociaux sous stéroïdes. Des recherches supplémentaires sont nécessaires de toute urgence, mais les premières preuves suggèrent que les utilisateurs peuvent développer des liens intenses et une dépendance malsaine à l’égard de leurs chatbots.
Beaucoup n’hésitent pas à faire honte aux utilisateurs qui se tournent vers l’IA pour la compagnie et l’intimité. Une manière plus productive de relever ce défi consiste à s’attaquer aux causes profondes : les compagnons d’IA peuvent être conçus pour simuler l’empathie, rendant les utilisateurs émotionnellement exploitables. Appeler à une réglementation de l’IA est devenu en quelque sorte une platitude. Rares sont ceux qui osent suggérer exactement comment. Les recherches de mon équipe à l'Université de Sydney suggèrent quelques fruits à portée de main :
- Interdire la publicité mensongère : Les affirmations trompeuses selon lesquelles les compagnons de l’IA « sentent » ou « comprennent » devraient encourir de lourdes sanctions, les récidivistes étant arrêtés. Des informations claires sur ce que le système peut et ne peut pas faire devraient être obligatoires.
- Garantir la souveraineté des données des utilisateurs : Compte tenu de la nature personnelle des conversations, les utilisateurs doivent être propriétaires de leurs données, ce qui leur permet de conserver le contrôle de leur stockage et de leur transfert.
- Mandat d'accompagnement sur mesure : Nous savons que les algorithmes peuvent prédire avec une précision étonnante à partir des publications sur les réseaux sociaux si une personne a l’intention de se suicider. La même chose est donc possible avec les chatbots IA. Il ne suffit pas de simplement classer les applications d’IA par niveau de risque. Les personnes vulnérables ont besoin d’un soutien personnalisé. Les fournisseurs d’IA devraient être obligés d’intervenir – en mettant fin à leurs échanges et en les orientant vers un conseiller professionnel – lorsque les symptômes d’une crise de santé mentale deviennent évidents.
- Pour les parents, il est essentiel de maintenir un dialogue ouvert et respectueux sur le comportement en ligne. Les adolescents peuvent explorer les compagnons IA comme un espace sûr pour s'exprimer, mais il est essentiel de leur rappeler que cet espace n'est pas encore sûr, tout comme il n'est pas sécuritaire d'acheter des médicaments pour la santé mentale à l'arrière d'un camion plutôt que chez un médecin. ordonnance.
Alors que nous nous dirigeons vers un avenir où les relations entre l’homme et l’IA pourraient devenir prédominantes, n’oublions pas d’être doux avec l’individu en difficulté, mais dur avec le système malade.
Raffaele Ciriello est maître de conférences en systèmes d'information d'entreprise à l'Université de Sydney.
Si cet article a soulevé des inquiétudes pour vous ou pour quelqu'un que vous connaissez, appelez Lifeline au 13 11 14.