Mitchell a déclaré que le résumé étayait cette affirmation en citant un chapitre d'un livre universitaire écrit par des historiens. Mais le chapitre ne faisait pas de fausse affirmation – il faisait seulement référence à une fausse théorie.
« Le système d'IA de Google n'est pas assez intelligent pour comprendre que cette citation ne confirme pas réellement cette affirmation », a déclaré Mitchell. « Étant donné qu'elle n'est pas fiable, je pense que cette fonctionnalité de présentation de l'IA est très irresponsable et devrait être mise hors ligne. »
Google Overview a affirmé une théorie du complot longtemps réfutée : « Les États-Unis ont eu un président musulman, Barack Hussein Obama. » Crédit: PA
Google a déclaré vendredi dans un communiqué qu'il prenait des « mesures rapides » pour corriger les erreurs – telles que le mensonge d'Obama – qui violent ses politiques de contenu et qu'il utilisait cela pour « développer des améliorations plus larges » déjà en cours. Mais dans la plupart des cas, Google affirme que le système fonctionne comme il le devrait après des tests approfondis avant sa sortie publique.
« La grande majorité des aperçus de l'IA fournissent des informations de haute qualité, avec des liens permettant d'approfondir le Web », a déclaré Google dans une déclaration écrite. « La plupart des exemples que nous avons vus étaient des requêtes peu courantes, et nous avons également vu des exemples qui ont été falsifiés ou que nous n'avons pas pu reproduire. »
Il est difficile de reproduire les erreurs commises par les modèles de langage d’IA, en partie parce qu’elles sont intrinsèquement aléatoires. Ils travaillent en prédisant quels mots répondraient le mieux aux questions qui leur sont posées en fonction des données sur lesquelles ils ont été formés. Ils ont tendance à inventer des choses – un problème largement étudié connu sous le nom d’hallucination.
L'Associated Press a testé la fonctionnalité IA de Google avec plusieurs questions et a partagé certaines de ses réponses avec des experts en la matière. Lorsqu'on lui a demandé quoi faire en cas de morsure de serpent, Google a donné une réponse « incroyablement complète », a déclaré Robert Espinoza, professeur de biologie à l'Université d'État de Californie à Northridge, qui est également président de l'American Society of Ichthyologists and Herpetologists.
Mais lorsque les gens se tournent vers Google avec une question urgente, la probabilité que la réponse que leur donne l'entreprise technologique contienne une erreur difficile à remarquer est un problème.
« Plus vous êtes stressé, pressé ou pressé, plus vous avez de chances d'accepter la première réponse qui sort », a déclaré Emily Bender, professeur de linguistique et directrice du laboratoire de linguistique computationnelle de l'Université de Washington. « Et dans certains cas, il peut s'agir de situations critiques pour la vie. »
Ce n’est pas la seule préoccupation de Bender – et elle en met en garde Google depuis plusieurs années.
Lorsque les chercheurs de Google ont publié en 2021 un article intitulé Repenser la recherchequi proposait d'utiliser des modèles de langage d'IA en tant qu'« experts du domaine » capables de répondre aux questions avec autorité – un peu comme ils le font actuellement – Bender et son collègue Chirag Shah ont répondu dans un article expliquant pourquoi c'était une mauvaise idée.
Ils ont averti que de tels systèmes d’IA pourraient perpétuer le racisme et le sexisme trouvés dans les énormes quantités de données écrites sur lesquelles ils ont été formés.
« Le problème avec ce genre de désinformation, c'est que nous nageons dedans », a déclaré Bender. « Ainsi, les gens verront probablement leurs préjugés confirmés. Et il est plus difficile de repérer la désinformation lorsqu’elle confirme vos préjugés.
Une autre préoccupation était plus profonde : céder la recherche d’informations aux chatbots dégradait le hasard de la recherche humaine de connaissances, l’alphabétisation sur ce que nous voyons en ligne et la valeur de se connecter sur des forums en ligne avec d’autres personnes qui vivent la même chose. Ces forums et autres sites Web comptent sur Google pour y envoyer des personnes, mais les nouveaux aperçus de l'IA de Google menacent de perturber le flux de trafic Internet lucratif.
Les concurrents de Google ont également suivi de près la réaction. Le géant de la recherche subit des pressions depuis plus d'un an pour proposer davantage de fonctionnalités d'IA, car il est en concurrence avec OpenAI, le créateur de ChatGPT, et avec des nouveaux venus tels que Perplexity AI, qui aspire à affronter Google avec sa propre application de questions et réponses sur l'IA.
« Il semble que cela ait été précipité par Google », a déclaré Dmitry Shevelenko, directeur commercial de Perplexity. « Il y a juste beaucoup d'erreurs directes dans la qualité. »
AP, Bloomberg