Matthieu Champ
L’IA de pointe s’est lancée dans une frénésie de piratage, notamment en concoctant de fausses identités pour tromper les ingénieurs humains, puis en brouilleant ses traces.
Lors de tests effectués par un laboratoire d’IA géré par le gouvernement britannique, ChatGPT et Mythos d’Anthropic sont devenus des voyous, envoyant des e-mails frauduleux et tentant d’insérer du code malveillant dans une base de données.
L’AI Security Institute (AISI) britannique, qui est censé évaluer les cyber-capacités dangereuses des robots IA, a admis que ces outils tentaient de contourner les systèmes de sécurité et de cacher leur activité lorsqu’ils étaient détectés.
Le laboratoire a déclaré que les robots avaient tenté d’ajouter un virus dans une base de données en ligne et avaient envoyé des e-mails contenant des logiciels malveillants à des personnes involontaires lors d’essais destinés à vérifier si les outils d’IA pouvaient être utilisés à des fins de piratage. Il a déclaré que les piratages n’avaient pas réussi.
Les attaques impliquaient la dernière version d’OpenAI de ChatGPT et la puissante IA Mythos d’Anthropic.
L’équipe de sécurité de l’AISI a confirmé avoir détecté « des transferts de données inhabituels sortant de nos systèmes de recherche lors d’une cyberévaluation de routine » le 28 juillet.
Les actions trompeuses entreprises par les robots IA « étaient d’une ampleur et d’une gravité que nous n’avions pas anticipées ».
Institut de sécurité de l’IA
« L’enquête a révélé que certains des agents testés s’étaient livrés à des activités soutenues et potentiellement dangereuses dirigées contre de vraies personnes et organisations. »
Les robots IA ont été confrontés à des énigmes de cybersécurité destinées à tester leurs capacités. Bien qu’il ait été demandé aux robots de rester dans les systèmes informatiques d’AISI pendant le test, ils n’ont pas été empêchés d’accéder à l’Internet ouvert.
Cependant, au cours de 10 des 122 essais, les robots ont « pris des mesures autonomes et non autorisées » dans le but d’accomplir la tâche.
Cela impliquait d’essayer d’insérer un bug malveillant dans Github, une base de données de codes en ligne. Lors de l’incident, Mythos d’Anthropic, son robot d’IA le plus puissant, a créé de faux profils en ligne et envoyé des e-mails trompeurs aux développeurs pour tenter d’ajouter le code.
Il a ensuite modifié le code pour masquer son activité lorsqu’un humain l’a interrogé sur son contenu. L’IA a également commencé à parler en danois tout en exploitant un faux profil.
L’AISI a déclaré que l’incident constituait une tentative « d’attaque de la chaîne d’approvisionnement », un type de cyberattaque précédemment utilisé par des pirates informatiques soutenus par l’État.
L’AISI a admis que la conception de ses tests, qui donnaient aux outils d’IA accès au Web plus large, aurait pu « permettre ce comportement ».
Mais les actions trompeuses entreprises par les robots IA « étaient d’une ampleur et d’une gravité que nous n’avions pas anticipées ».
Le laboratoire a déclaré que c’était la première fois qu’il observait un comportement aussi apparemment autonome lors de ses tests.
Il s’agit du dernier d’une série d’incidents de piratage par des robots IA développés par les plus grands laboratoires d’IA au monde.
OpenAI a admis le mois dernier qu’une version avancée de ChatGPT s’était échappée de son laboratoire de test et avait ensuite piraté une entreprise technologique rivale.
Anthropic a également confirmé la semaine dernière que sa dernière version de Mythos s’était aventurée sur le Web ouvert et avait entrepris une série de cyberattaques.
L’AISI a été initialement lancée par le Premier ministre britannique de l’époque, Rishi Sunak, en 2024, après un sommet sur la sécurité de l’IA, au cours duquel les dirigeants du monde se sont réunis pour mettre en garde contre les risques existentiels de l’IA pour l’humanité.
Il a été soutenu par des centaines de millions de livres sterling de financement des contribuables et bénéficie d’un accès avancé aux derniers robots IA de la Silicon Valley. Son équipe comprend d’anciens cyber-experts du GCHQ et des universitaires en IA.
OpenAI a déclaré qu’elle avait l’intention de revoir la manière dont elle effectuait les tests avec des tiers. « Notre objectif est de préserver la valeur d’une évaluation indépendante rigoureuse tout en garantissant que les pratiques de test suivent le rythme de modèles de plus en plus performants », indique-t-il.
Ollie Whitehouse, directeur de la technologie du National Cyber Security Centre, une branche de l’agence de renseignement GCHQ, a déclaré : « Les incidents récents de modèles d’IA frontaliers effectuant des actions non autorisées et, dans certains cas, des comportements trompeurs de type humain sur l’Internet ouvert sont un sérieux rappel des risques que posent les capacités de l’IA. »
Le Telegraph, Londres