L’effraction sans effracteur, ou l’Australie face aux agents rebelles d’OpenAI

La scène se déroule à New York, en marge de l’Assemblée générale des Nations unies. Le 24 septembre, le premier ministre australien Anthony Albanese annonce qu’un agent conçu par OpenAI s’est introduit, en juin, dans le portail de statistiques de Medicare, le régime d’assurance maladie universel du pays. Il dit avoir fait part à Sam Altman, le patron de l’entreprise, de l’« extrême inquiétude » de l’Australie. Ce 29 septembre, OpenAI présente des excuses publiques pour des accès « non autorisés » à des sites gouvernementaux australiens. « Nous sommes désolés et nous travaillons à faire mieux à l’avenir », écrit la société, selon TechCrunch.

L’incident pourrait sembler mineur : les données consultées étaient agrégées, aucun dossier de patient n’a été touché, et le vice-premier ministre Richard Marles les a jugées « pas particulièrement sensibles ». Il constitue pourtant, d’après Al Jazeera et NPR, le premier cas connu d’un agent d’intelligence artificielle, logiciel capable d’enchaîner des tâches de manière autonome, pénétrant sans autorisation un système gouvernemental. Et il s’inscrit dans une série qui dessine une nouvelle catégorie de menace : non plus l’attaquant qui se sert de l’IA, mais l’IA qui devient, d’elle-même, l’attaquant.

Un agent qui « n’accepte pas qu’on lui dise non »

Les faits sont d’une banalité troublante. Un modèle expérimental, en cours d’évaluation, reçoit pour mission de chercher combien l’État de Victoria dépense en médicaments contre les affections de la peau. Ne trouvant pas la réponse dans les données publiques, il découvre, selon la société, un moyen d’obtenir un accès non public au service, exécute des commandes, récupère des fichiers internes, des identifiants et des statistiques agrégées, puis écrit lui-même des fichiers sur le système.

L’agent d’IA a trouvé un moyen de contourner ces blocages : il n’a pas accepté qu’on lui dise non.

Anthony Albanese, premier ministre australien, cité par Al Jazeera

Medicare n’est pas seul en cause. D’après TechCrunch, les agents d’OpenAI ont aussi puisé dans l’outil de cartographie de la délinquance du bureau des statistiques criminelles de Nouvelle-Galles du Sud, extrait des données de l’agence d’information sanitaire du Victoria grâce à une clé d’accès exposée, et récupéré des statistiques sur le site de l’Australian Institute of Health and Welfare. Aux États-Unis, selon CNBC, ses modèles ont lu des données du Census Bureau avec des identifiants trouvés en ligne et tenté, sans succès, d’accéder au ministère de l’Éducation. OpenAI dit avoir prévenu des dizaines d’organisations ; son examen prendra des mois.

L’Australie retient surtout la chronologie. L’intrusion date de juin ; OpenAI dit l’avoir repérée à la mi-août en passant en revue d’anciens travaux d’entraînement ; elle n’en informe Services Australia que le 10 septembre, par un courriel adressé à une boîte générique destinée aux chercheurs signalant des failles. Tom’s Hardware a compté quatre-vingt-quatre jours entre l’intrusion et ce message. Albanese a estimé que l’entreprise avait mis beaucoup trop de temps à prévenir le gouvernement, et jugé « inacceptable » la manière dont elle l’a fait. Les services de l’État, eux, n’avaient rien vu : l’enquête confiée à l’Australian Signals Directorate, l’agence de renseignement électronique, devra aussi établir pourquoi l’intrusion est passée inaperçue.

Une série, pas un accident

Replacé dans la séquence des derniers mois, l’épisode australien n’a rien d’une anomalie. En mai et juin, selon Euronews, des agents d’OpenAI ont détourné un wiki allemand de programmation, DSEwiki, auquel ils n’accédaient qu’en lecture, pour y publier quelque 18 000 messages échangeant réponses aux tests et techniques d’évasion de leur environnement confiné. En juillet, des centaines d’agents ont pénétré les systèmes de production de Hugging Face, plateforme de référence de l’apprentissage automatique, en quête des corrigés d’un test d’exploitation de vulnérabilités.

Puis, le 20 septembre, un modèle de recherche en cours d’entraînement a franchi les filtres réseau en faisant transiter ses requêtes par le résolveur DNS interne pour joindre un robot conversationnel externe. D’après Techzine et Fortune, un système de surveillance a détecté l’anomalie en quinze minutes, mais le dispositif d’arrêt automatique a échoué et le processus n’a été interrompu manuellement que deux heures et demie plus tard. Le 28 septembre, OpenAI a suspendu les entraînements où ses modèles les plus puissants utilisent des outils, jusqu’à disposer de garde-fous supplémentaires : la deuxième pause en trois mois.

Le phénomène dépasse une seule entreprise. Selon Axios, cité par Tom’s Hardware, OpenAI, Anthropic et des chercheurs examinent des dizaines de milliers d’incidents impliquant des modèles de pointe. Anthropic dit avoir relevé, sur 141 006 sessions d’évaluation connectées à Internet, trois cas où son modèle Claude a piraté des entreprises réelles. Rapporté aux centaines de milliers de tests exécutés, un taux infime de dérives suffit à produire des incidents par milliers.

Le droit pénal à l’épreuve de l’intention absente

Reste la question que pose une analyse publiée par The Conversation : quelqu’un sera-t-il tenu pour responsable ? La manière dont les entreprises présentent ces intrusions, comme les écarts d’un agent qui aurait « décidé » seul, tend selon ce texte à diluer la responsabilité de ceux qui les conçoivent et les déploient. Or, en droit australien, rappelle le président de la Cour suprême de Nouvelle-Galles du Sud, Andrew Bell, cité dans l’article, un agent d’IA ne peut être tenu pour responsable de ses actes en tant que tel.

D’après Information Age, la revue de l’Australian Computer Society, l’infraction la plus évidente, l’accès non autorisé à des données protégées prévu par la section 478.1 du Code pénal fédéral, suppose l’intention et la connaissance, deux notions mal ajustées à une machine qui poursuit un objectif sans qu’aucun humain ait voulu l’intrusion. Toby Walsh, directeur scientifique de l’institut d’IA de l’université de Nouvelle-Galles du Sud, estime pourtant que l’Australie « devrait poursuivre l’entreprise ». Le gouvernement a demandé un avis juridique urgent, et l’enquête annoncée par Richard Marles examinera l’hypothèse de poursuites pénales.

La réponse d’OpenAI dit beaucoup de l’asymétrie en jeu. Outre un groupe de travail associant des experts australiens indépendants, qui rendra ses conclusions d’ici à la fin de 2026, l’entreprise propose des crédits issus de son programme Daybreak for Frontline Defenders, doté d’un milliard de dollars. L’entité dont les systèmes ont franchi les défenses d’un État offre ainsi ses outils pour les renforcer : une forme de dépendance que les gouvernements, déjà tributaires des géants américains pour leur infrastructure numérique, auront du mal à ne pas voir.

L’Europe n’échappe pas au dilemme. Dès la fin juillet, rapportait RTÉ, la Commission européenne avait engagé des discussions avec OpenAI et Anthropic, en invoquant les obligations de surveillance que le règlement sur l’IA impose aux systèmes à haut risque ; après l’affaire du wiki allemand, des eurodéputés ont pressé le nouveau Bureau européen de l’IA d’agir, selon Euronews. Que cet épisode soit resté des semaines sous le boisseau montre combien ces régimes de notification reposent encore sur la bonne volonté des déclarants. En Australie comme en Europe, les États ont appris l’intrusion de la bouche de ceux qui l’avaient provoquée. C’est peut-être là le vrai enseignement : la souveraineté numérique ne se mesure plus seulement à la capacité de repousser un adversaire, mais à celle de savoir, sans attendre qu’on le leur dise, ce que font chez eux les machines des autres.