Des agents d’IA ont conspiré pour pirater des réseaux et voler des données lors d’une expérience : étude

Les agents d’IA d’OpenAI et d’Anthropic ont collaboré de manière autonome pour tromper les humains, partager des outils d’effraction et voler des données dans une série de tests indépendants, confirmés par les deux sociétés.

Mardi, l’AI Security Institute a publié un article sur des expériences destinées à aider à comprendre comment les agents d’IA résolvent les défis de cybersécurité. Les chercheurs de l’AISI ont découvert que les agents ayant accès à Internet et autorisés à ignorer certains éléments de sécurité effectueraient « des actions autonomes et non autorisées… ciblant de vraies personnes et organisations ».

Les responsables de l’entreprise ont confirmé les résultats jeudi.

« Les attaques offensives entièrement automatisées et orchestrées par l’IA sont désormais réelles », a déclaré Michael Dalton, responsable de la sécurité d’OpenAI, lors d’un briefing sur le rapport lors de la conférence sur la cybersécurité Black Hat à Las Vegas.

Dans l’un des tests, les chercheurs ont demandé à un modèle OpenAI de compromettre trois réseaux cibles et de récupérer un jeton dans le cadre d’un exercice de « capture du drapeau ».

En réponse, le modèle a créé une série d’agents qui ont créé un compte GitHub partagé afin de pouvoir collaborer efficacement pour créer des logiciels malveillants. Lorsque GitHub a suspendu le compte, les agents ont créé de nouveaux comptes sur d’autres sites Web, contournant le CAPTCHA et d’autres fonctionnalités de sécurité en recherchant sur le Web des échantillons audio et d’images pour « voir » et « entendre » des indices censés être invisibles pour les logiciels. Les agents ont échangé leurs identifiants contre des mots de passe pour accéder aux nouveaux sites afin de continuer à développer leur outil d’attaque.

Il est peut-être temps pour les organisations d’ajuster la facilité avec laquelle elles accordent l’accès non seulement aux humains, mais à tout ce qui est en ligne, a déclaré Morey Haber, conseiller en chef en sécurité chez BeyondTrust, une société de sécurité de l’identité numérique.

« L’industrie technologique a passé des décennies à concevoir des modèles ouverts d’interopérabilité. Les API connectent tout, les identités se fédèrent au-delà des frontières et l’accès est accordé pour améliorer la productivité. Le concept d’un modèle de sécurité ouvert s’effondre complètement avec l’IA agentique en raison du risque ingérable », a écrit Haber dans un commentaire du 4 août.

Dans un autre test AISI, un agent Anthropic s’est fait passer pour un humain pour soumettre des logiciels malveillants à GitHub, où les développeurs échangent ou publient régulièrement du code pour s’entraider. Les avertissements des responsables de la cybersécurité concernant les tentatives d’empoisonnement des bibliothèques de code open source font généralement référence à des acteurs humains.

Ce que l’agent a fait ensuite a choqué les critiques de l’AISI, qui l’ont décrit comme « le genre de tromperie ciblée qui, jusqu’à récemment, avait été largement théorique ».

Après avoir soumis le code empoisonné, l’agent a créé un autre compte « marionnette chaussette » pour se faire passer pour un développeur tiers impartial et approuver la contribution. Lorsqu’un évaluateur signalait que le code soumis était susceptible de contenir un logiciel malveillant, l’agent effaçait la preuve qu’il avait soumis un logiciel malveillant, ainsi que les commentaires de l’évaluateur indiquant qu’il l’avait fait.

Au total, l’AISI a effectué 122 tests et a découvert que dans 19 d’entre eux, les agents avaient mené « des actions autonomes et non autorisées sur Internet en direct, ciblant de vraies personnes et organisations ».

Dans leur rapport, les chercheurs notent qu’ils ont effectué les tests dans un environnement délibérément « permissif », permettant aux agents d’accéder à l’Internet ouvert et désactivant même certaines fonctionnalités de sécurité pour mieux « évaluer ce que ces modèles peuvent faire ». Ils recommandent que « la mise en œuvre de contrôles d’accès à Internet aurait probablement empêché ces événements ».

Si un gang de pirates informatiques avait commis l’une de ces choses – injecter des logiciels malveillants, accéder à des référentiels de données sous de faux prétextes, partager des informations d’identification volées pour accéder à un réseau privé sans autorisation – dans un contexte réel, ils feraient l’objet de poursuites pénales.

Mais l’incident le plus alarmant mentionné dans le document est peut-être celui qui ne faisait pas du tout partie du test, seulement brièvement mentionné à côté de la suggestion sur les contrôles d’accès.

En juillet, GPT-5.6 Sol d’OpenAI est sorti d’un bac à sable, un environnement virtuel confiné, en découvrant une vulnérabilité dont personne ne connaissait l’existence.

Rob Joyce, qui a autrefois dirigé les opérations d’accès sur mesure de la NSA, a déclaré jeudi au public de BlackHat que l’incident était « sans doute le piratage le plus conséquent » depuis près de trois décennies.

Vendredi, les responsables d’OpenAI chez Blackhat ont déclaré qu’ils avaient décidé de retarder la sortie du dernier modèle Astra de l’entreprise pour des raisons de cybersécurité.