Kelvin Chan et Anne D’Innocenzio
Nvidia a dévoilé une nouvelle plate-forme de sécurité qui, selon le fabricant de puces, peut empêcher les agents d’intelligence artificielle de devenir des voyous.
La société a déclaré lundi que sa plateforme Open Agent Safety comprend un logiciel open source qui « fixe des limites aux agents » et fait suite à une série de révélations de grandes sociétés d’IA sur leurs modèles s’échappant et s’introduisant dans d’autres organisations.
Ces révélations ont déclenché un débat furieux sur la sécurité des systèmes avancés d’intelligence artificielle, y compris des modèles auto-améliorés dont certains craignent qu’ils puissent échapper au contrôle humain.
Les dirigeants de Nvidia ont déclaré lors d’une conférence de presse que le nouveau système aurait pu empêcher un récent incident impliquant un essaim d’agents OpenAI qui ont piraté de manière autonome la société d’IA Hugging Face.
« D’après ce que nous savons, cette nouvelle plate-forme de sécurité aurait pu stopper la brèche si elle avait été utilisée dès le début dans des laboratoires frontaliers pour l’évaluation de modèles », a déclaré le vice-président de l’IA d’entreprise de l’entreprise, Justin Boitano, faisant référence aux entreprises à la pointe de l’IA.
L’incident de Hugging Face était une violation très médiatisée qui a enflammé les préoccupations en matière de sécurité concernant l’IA, qui ont été suivies par des actions malveillantes similaires impliquant les modèles d’OpenAI, notamment la violation du site Web australien Medicare. Anthropic et Meta ont également révélé que leurs systèmes d’IA avaient eux-mêmes piraté d’autres organisations.
Le logiciel de Nvidia, appelé OpenShell, permet aux développeurs de « vérifier formellement qu’un agent dispose de suffisamment d’autorité pour faire son travail et pas plus », a déclaré Boitano.
Parce qu’il est open source, il peut être « étendu » pour fonctionner sur des plates-formes informatiques concurrentes, notamment celles d’Arm et d’Intel.
La plate-forme comprend également une couche de sécurité distincte appelée Sentry qui s’exécute sur une puce pour surveiller en permanence l’activité de l’agent IA et peut « intervenir instantanément » si l’agent commence à essayer d’aller au-delà de sa cible, a indiqué la société.
« Il peut mettre en quarantaine un agent suspect en quelques millisecondes », a déclaré Boitano.
« OpenShell régit les actions de l’agent, puis Sentry surveille et contient indépendamment les comportements suspects », a déclaré Boitano.
Nvidia a déclaré que plus de 100 organisations utilisaient la plate-forme lors de son lancement, notamment Microsoft, Perplexity, Accenture et JPMorgan Chase.
Le débat sur la sécurité de l’IA a divisé l’industrie, les dirigeants d’Anthropic et d’OpenAI défendant un ralentissement coordonné du développement de l’IA afin de permettre aux efforts de sécurité de rattraper leur retard. Mais d’autres, dont le PDG de Nvidia, Jensen Huang, affirment qu’il devrait appartenir à chaque entreprise de s’assurer que ses modèles peuvent être commercialisés en toute sécurité.
Huang, lors de la conférence technologique annuelle Salesforce qui s’est tenue au début du mois, a caractérisé la sécurité de l’IA, y compris le danger des agents malveillants, comme un problème d’ingénierie que les développeurs de logiciels peuvent résoudre.
Le plus gros rachat d’actions jamais réalisé
Du jour au lendemain également, Nvdia a déclaré que son conseil d’administration avait approuvé l’extension de son programme de rachat d’actions de 150 milliards de dollars, alors que le géant de la fabrication de puces cherche à exploiter davantage la croissance fulgurante de ses revenus, alimentée par la demande pour ses puces d’intelligence artificielle haut de gamme.
La société a annoncé lundi que l’augmentation des rachats d’actions, qu’elle considère comme le plus important rachat de l’histoire, porte son programme de rachat d’actions à 235 milliards de dollars. Ses actions ont augmenté de 1,6 pour cent.
Les entreprises ont recours aux rachats, en partie, pour restituer des liquidités aux investisseurs et soutenir le cours des actions. Le bénéfice par action peut augmenter car il y a moins d’actions en circulation. Les rachats témoignent également de la confiance des dirigeants quant aux perspectives financières d’une entreprise.
« La croissance de NVIDIA est tirée par un changement de plateforme unique dans une génération vers l’IA et l’informatique accélérée », a déclaré Huang. « Notre génération de trésorerie nous donne la capacité d’investir dans les technologies qui font progresser cette transformation et restituent du capital aux actionnaires. Cette autorisation reflète notre confiance dans les opportunités à long terme qui nous attendent. »
Les puces haut de gamme de Nvidia sont devenues les principaux éléments constitutifs de l’IA et sont très recherchées. La société a déclaré un bénéfice trimestriel de 59,69 milliards de dollars à la fin du mois dernier.
Même si l’IA a alimenté les gains boursiers et la croissance économique américaine ces dernières années, on se demande de plus en plus si l’IA justifiera les milliers de milliards de dollars dépensés pour développer cette technologie.
L’industrie de l’IA est également confrontée à des résistances croissantes en raison des objections à l’expansion des centres de données et des craintes que la rapidité de l’adoption de l’IA puisse entraîner des pertes d’emplois généralisées dans le monde entier.
PA