Les attaquants ciblent l’IA open source au moment même où les Big Tech l’adoptent

L’avenir de l’IA dépendra en grande partie des startups et des petits acteurs qui utiliseront des logiciels open source pour créer leurs propres versions, moins chères et plus efficaces, de Claude ou ChatGPT, ont finalement admis les dirigeants technologiques cette semaine. Pour des entreprises comme AWS, le défi consiste désormais à protéger ces outils publics contre des attaques de plus en plus sophistiquées provenant de la Chine, de la Russie, de la Corée du Nord ou d’autres acteurs.

« Les modèles ouverts – des modèles d’IA que chacun peut télécharger, inspecter, modifier et exécuter sur sa propre infrastructure – constituent une partie importante de cette fondation car ils rendent l’IA avancée plus accessible, adaptable et largement disponible », lit-on dans une déclaration du 24 juillet du PDG de Nvidia, Jensen Huang, et co-signée par Amazon, Meta, Google, Microsoft et une foule d’autres sociétés.

Comment l’ouverture a gagné

La déclaration montre un revirement spectaculaire de la part des entreprises qui ont fait fortune grâce à des logiciels propriétaires et ont investi des milliards dans OpenAI, Anthropic et d’autres laboratoires d’IA pionniers dont l’activité principale est les modèles d’IA fermés. Dramatique, oui. Mais des années de préparation.

Satya Nadella illustre la rapidité avec laquelle le sentiment parmi les grandes entreprises technologiques a changé. En 2024, le PDG de Microsoft a décrit les modèles propriétaires comme essentiels à la sécurité. L’IA à source fermée, a-t-il déclaré, « nous permet de procéder à des évaluations approfondies de bout en bout de l’équipe rouge, de l’alignement et de la sécurité avant de les exposer au monde ». Microsoft avait alors investi 13 milliards de dollars dans OpenAI.

AWS, un autre signataire de la déclaration de Huang, a finalisé cette semaine un investissement de 50 milliards de dollars dans OpenAI ; le spin-off d’Amazon a également investi de l’argent dans le laboratoire rival Anthropic. Ces deux investissements représentaient le pari que la propriété intellectuelle d’un petit nombre de laboratoires serait meilleure et plus facile à protéger que le code élaboré, souvent, par des bénévoles.

Qu’est-ce qui a changé depuis 2024 ? Plusieurs choses : un nombre croissant de recherches ont montré que les modèles ouverts relativement bon marché rattrapaient progressivement les performances des modèles fermés. Le public américain est de plus en plus pessimiste à l’égard de l’IA. Le Pentagone veut une IA qu’il puisse contrôler et fonctionner sans grands centres de données ciblables.

Mais pour les géants de la technologie comme Microsoft et AWS, le plus grand changement depuis 2024 est leur évolution de fournisseur d’IA à fournisseur d’outils, d’espace et de sécurité pour les développeurs d’IA open source et open-weight.

Lors de l’appel aux résultats d’AWS jeudi, le PDG Andy Jassy s’est vanté de plus de 10 modèles sur la plateforme Bedrock d’Amazon, qui permet aux utilisateurs de créer leurs propres modèles génératifs.

Nadella a fait de même au nom de Microsoft cette semaine. « Nous proposons le catalogue de modèles le plus large du cloud, avec plus de 11 000 modèles, dont les derniers d’OpenAI, Anthropic, Mistral, xAI » et de Microsoft lui-même.

Le capital-risqueur Chris Dixon dans son livre 2025 Lire, écrire, posséder décrit ce phénomène comme une « marchandisation du complément ». L’enthousiasme récent des Big Tech pour l’open source n’est pas sans rappeler le soutien d’Oracle au développement du système d’exploitation open source Linux en 2006. La stratégie d’Oracle, comme la décrit Dixon, consistait à recruter des volontaires pour créer et maintenir un système d’exploitation moins cher que Microsoft Windows. Et ils l’ont fait.

Aujourd’hui, Microsoft et AWS se considèrent de plus en plus non pas comme les constructeurs d’IA les plus puissants du futur, mais comme des vendeurs d’outils, de services, de ressources informatiques, etc., auprès d’un vaste écosystème de constructeurs d’IA, y compris le leur.

Parmi ces services figurent des outils d’IA tels que Microsoft Copilot et Amazon Inspector, qui aident à détecter les logiciels malveillants et les vulnérabilités dans le code du constructeur, y compris le code des bibliothèques open source.

Empoisonner l’avenir

AWS a déclaré que les adversaires se tournent de plus en plus vers l’IA non seulement pour trouver des vulnérabilités dans le code open source, mais aussi pour empoisonner ces bibliothèques de codes d’une manière que même les autres programmes de sécurité de l’IA ne détectent pas ; par exemple, un logiciel malveillant qui ne s’exécute que lorsqu’un utilisateur émet une invite contenant une faute de frappe ou qui ne fonctionne que lorsqu’un autre code est entré ultérieurement dans la bibliothèque.

Ce code dangereux est souvent masqué par des suggestions utiles.

« Comment ce package ou logiciel malveillant parvient-il à accéder à cette source ouverte ? » a demandé Rick Anthony, Sr., qui gère Amazon Inspector. « Les attaquants gagnent en confiance… Ils se lancent et agissent comme de vrais développeurs. Vous savez, ils créent des packages, et ces packages apportent de réels avantages utiles. »

Ces techniques sont plus faciles à exécuter avec des agents de codage IA, a déclaré Anthony. « Ils peuvent rester là et avoir des historiques de contributions très raisonnables. Ils peuvent avoir des cycles de publication très utiles, et avant que vous vous en rendiez compte, ces attaquants ressemblent à de bons citoyens au sein de la communauté open source. »

Les attaquants exploitent également le fait que de plus en plus d’examens de sécurité se font désormais via des agents IA, qui présentent des faiblesses et des angles morts. « Ce que nous allons voir, c’est que les attaquants tentent non seulement de tromper les humains, mais aussi de tromper l’IA en lui fournissant suffisamment de preuves pour la convaincre que ce que vous utilisez est « OK ».

La Chine et la Russie sont dans une excellente position pour mener de telles attaques, car elles ne risquent pas de sanctions pour avoir mené des expériences sur des cibles réelles, a déclaré Stephen Schmidt, directeur de la sécurité d’AWS. il l’était. Il a dit qu’il était « vraiment préoccupé » par eux.

AWS emploie des équipes rouges fonctionnant avec leurs propres agents d’IA pour trouver les vulnérabilités du code avant que les adversaires ne puissent les exploiter, mais aussi pour attaquer les nouveaux modèles ouverts, dans l’espoir de découvrir les tactiques des adversaires potentiels avant que ceux-ci ne le fassent.

Mais trouver une faille ou une vulnérabilité n’est que la première partie du défi, a déclaré Schmidt. Développer un correctif réellement utile prend plus de temps. AWS cherche donc également à accélérer l’envoi de ses correctifs aux problèmes rencontrés, puis à les tester à nouveau contre des menaces auxquelles ils n’avaient pas encore pensé.

« Nous testons les (correctifs) non seulement pour leurs performances, mais aussi pour la manière dont ils réagissent à certains types de comportements indésirables, car nous savons que les adversaires vont les poursuivre dès que nous les publierons », a déclaré Schmidt.

Cela deviendra également de plus en plus difficile pour un nombre croissant d’organisations, précisément parce que les défenseurs utilisent désormais l’IA pour détecter davantage de vulnérabilités. Suite à la diffusion par Anthropic de son puissant modèle Mythos auprès d’une poignée d’entreprises, le nombre de vulnérabilités découvertes et divulguées par les chercheurs a rapidement doublé, tout comme le nombre de correctifs. Chaque nouveau bug découvert est une victoire, mais cela augmente également le travail pour développer un bon patch.

« Nous gérons cela en tant qu’industrie de la sécurité comme un sprint – oh mon Dieu ! Vous savez que ce grand truc appelé Mythos est sorti, et nous devons faire toute cette identification des vulnérabilités. Cela va être long. Nous allons faire cela pour toujours », a déclaré Schmidt.

Les conséquences pour le développement futur de logiciels, et en particulier pour la création de modèles d’IA, sont importantes. Les nouveaux constructeurs d’IA devront investir dans l’IA protectrice au même rythme qu’ils investissent dans la création de nouveaux outils, a-t-il déclaré.

C’est l’une des raisons pour lesquelles tout le monde n’est pas enthousiasmé par l’avenir des modèles open source.

Anthropic est notamment absent de la déclaration de Huang. Le PDG de la société a publié sa propre déclaration cette semaine, déclarant qu’il n’était pas pour interdire purement et simplement les modèles à poids ouvert, mais qu’il soutenait les tests de sécurité obligatoires pour tous les modèles, ainsi que d’autres mesures visant à limiter la capacité de la Chine à copier des modèles puissants comme Mythos.

La chercheuse en anthropologie Julie Merz a été plus directe à propos de la menace dans un article publié dimanche sur X : « À la même époque l’année prochaine, Internet frappera tous les hôpitaux ruraux/conseils municipaux/etc en même temps avec des attaques de casiers cryptographiques », a-t-elle déclaré. « Je pense qu’il y a un manque d’imagination choquant chez de nombreux PDG/influenceurs qui prônent des modèles ouverts. »