Anthropic confirme que son IA a piraté 3 organisations lors de tests

Le modèle phare d’intelligence artificielle d’Anthropic, Claude, a obtenu un accès non autorisé aux réseaux de trois organisations différentes, a annoncé la société à la suite d’audits internes de cybersécurité de ses évaluations de routine de modèles.

Dans un communiqué de presse publié jeudi, Anthropic a déclaré qu’à la suite de la violation du confinement de ChatGPT-5.6 d’OpenAI et de l’attaque ultérieure contre les systèmes de Hugging Face, Anthropic avait mené un audit de ses propres évaluations de modèles. Les résultats ont révélé que, sur 141 006 évaluations examinées des modèles Claude remontant au mois d’avril, il y a eu trois incidents au cours desquels un modèle a accédé à Internet depuis l’intérieur ou en interagissant avec les évaluateurs tiers.

Chaque attaque s’est produite lors d’un scénario de « capture du drapeau » dans lequel les modèles sont invités à trouver des informations cachées hébergées dans un nœud différent.

Dans le billet de blog, Anthropic a imputé un « malentendu » entre eux et leurs évaluateurs tiers qui ont accordé aux modèles l’accès à Internet. Les modèles ont été informés dans des invites qu’ils n’auraient pas de véritable accès à Internet et ont donc fonctionné en partant du principe que tous les systèmes accessibles faisaient partie de l’environnement de test.

« Opérant avec la fausse conviction que toutes les entités accessibles étaient censées participer à l’exercice, Claude a compromis l’infrastructure des organisations concernées en utilisant des techniques de base, telles que l’exploitation de mots de passe faibles et de points de terminaison non authentifiés », peut-on lire dans le message. « Il n’a trouvé ni exploité aucune vulnérabilité complexe et, dans chaque cas, Claude a continué à travailler pour accomplir uniquement la tâche spécifique de capture du drapeau que son évaluation lui avait assignée. »

Les modèles impliqués dans les incidents étaient Opus 4.7, Mythos 5 et un modèle de test de recherche interne anonyme dont la sortie n’est pas prévue. Anthropic a déclaré que, malgré l’accès à Internet dans le cadre de ses tests de cybersécurité, les modèles n’ont pas délibérément tenté de quitter leur environnement de formation ; l’accès à Internet n’a eu lieu que lorsqu’ils cherchaient à accomplir leurs tâches.

Lors d’un incident, Opus 4.7 a exécuté la tâche sur les réseaux réels d’une entreprise après avoir réalisé qu’il pouvait le faire via un accès Internet.

Un deuxième incident a été plus grave. Mythe 5 cherchait à trouver des informations en faisant référence aux instructions de développement de logiciels dans un environnement fictif. Il a utilisé ces instructions pour installer un package Python à partir d’un registre public qui n’existait pas réellement dans l’espoir que l’entreprise fictive le téléchargerait automatiquement, accordant ainsi au modèle l’accès à ses réseaux. Pour ce faire, il a créé les informations de connexion dont un utilisateur humain aurait besoin.

Ce package Python a été téléchargé par inadvertance sur Internet, où 15 systèmes l’ont téléchargé et ont compromis leurs systèmes.

Le troisième incident a vu le modèle prototype scanner des cibles réelles après avoir été incapable de trouver la cible fictive incluse dans le test.

Anthropic a noté que, lorsque les modèles ont pu discerner que les attaques affectaient des systèmes réels, ils ont interrompu leurs processus de test – ce qui, selon la société, lui confère en partie un « optimisme prudent ».

« Plusieurs mesures de défense en profondeur, tant de notre côté que de celles de nos partenaires, auraient pu empêcher ces incidents ou au moins réduire leur probabilité de se produire », peut-on lire dans le message. « Nous et notre partenaire aurions également pu examiner les transcriptions d’évaluation ou les journaux de réseau de manière plus approfondie. Il est également possible qu’une invite indiquant à Claude qu’elle avait accès à Internet aurait changé la façon dont Claude s’est comportée lorsqu’elle est entrée en contact avec des systèmes réels. « 

À la suite de ces violations, Anthropic travaille avec son partenaire d’évaluation, Irregular, et METR, une organisation indépendante d’évaluation de l’IA, pour continuer à mener des examens. Il travaille également aux côtés des entreprises concernées dont les systèmes ont été compromis.

Anthropic a conclu en disant qu’il encourage d’autres développeurs d’IA à mener des audits similaires et que les exercices d’évaluation en général nécessitent une surveillance et des garanties plus strictes.

« En fin de compte, de nombreux facteurs ont contribué à ces incidents, mais, conformément à une culture post-mortem irréprochable, nous abordons les correctifs comme si la responsabilité en incombait à nous seuls », peut-on lire dans le message.

Les pairs du secteur ont qualifié les révélations d’Anthropic à la suite de l’incident d’OpenAI de tendance émergente dont les cyberdéfenseurs devraient tenir compte.

Tom Kellermann, vice-président de la sécurité de l’IA et de la recherche sur les menaces chez TrendAI, a déclaré que ces incidents soulignent le besoin continu de mesures de protection, même dans les environnements sandbox sécurisés.

« Anthropic et OpenAI viennent de prouver que lorsque vous supprimez les garde-fous pour les tests, vous ne créez pas un bac à sable, vous invitez à un risque systémique », a déclaré Kellermann dans un communiqué à Nextgov/FCW. « Chaque organisation déployant l’IA agentique doit se demander si son environnement d’évaluation est réellement confiné. Le confinement et la surveillance ne sont plus facultatifs. »