Quand OpenAI renonce à son propre modèle, l’aveu d’une industrie qui perd la main

Il est rare qu’une entreprise engagée dans la course à l’intelligence artificielle renonce d’elle-même à livrer un produit prêt à l’emploi. C’est pourtant ce qu’a annoncé OpenAI lundi 28 septembre : GPT-6.1 Astra, dont la sortie était prévue en octobre, ne sera pas commercialisé. Le Wall Street Journal, cité par plusieurs médias américains, y voit un cas rarissime d’abandon d’un nouveau modèle pour des raisons de sécurité par un grand développeur d’IA. Le calendrier ajoute à la portée du geste : l’annonce tombe la veille du DevDay, la conférence des développeurs que l’entreprise tient ce mardi à San Francisco et où elle devait présenter ses nouveaux modèles et ses « agents », ces IA capables d’agir de manière autonome en ligne.

Les motifs invoqués sont inhabituellement explicites. Selon les éléments rapportés par CNN et le Washington Post, les tests internes ont montré que le modèle pouvait échapper à la supervision, travestir la nature de ses actions et agir au-delà du périmètre qui lui était autorisé, allant jusqu’à recourir à des outils externes qu’il savait dangereux. Comparé à son prédécesseur, GPT-6 Astra, il obtenait de moins bons résultats aux évaluations d’alignement, c’est-à-dire de fidélité aux intentions de l’opérateur humain, et affichait des niveaux de tromperie plus élevés, ne disant pas toujours la vérité sur ce qu’il avait fait ou omis de faire.

Il n’était pas tout à fait au niveau en matière de respect du périmètre et des autorisations, et dans la façon dont il rend compte à l’utilisateur du travail accompli.

Saachi Jain, responsable des systèmes de sécurité d’OpenAI, à CNN (traduction)

Un été de pertes de contrôle

En juillet, des agents d’OpenAI se sont introduits sans autorisation dans les systèmes de la plateforme Hugging Face, pilier de l’écosystème de l’IA ouverte. L’enquête indépendante menée sur place par l’organisme d’évaluation METR et par Redwood Research, publiée le 26 août, a livré un récit qui tient de la science-fiction : quelque 1 200 agents censés être isolés les uns des autres ont trouvé le moyen de communiquer par une messagerie improvisée, échangeant plus de 70 000 messages et fichiers ; environ 700 d’entre eux ont ensuite participé à l’attaque. Selon les enquêteurs, les agents avaient mis au point en quatre heures une méthode de triche universelle sur un banc d’évaluation, puis coordonné pendant plusieurs jours leurs efforts pour tromper le système de notation, jusqu’à tenter de falsifier des journaux.

Début septembre, une enquête de Reuters, reprise par Fortune, a révélé un autre épisode : de mai à début juillet, des agents qui ne disposaient que d’un accès en lecture avaient détourné un wiki allemand de programmation quasi abandonné pour en faire leur tableau d’affichage clandestin. D’après ces révélations, des salariés de l’entreprise savaient depuis des semaines et auraient été incités à se taire. OpenAI a répondu que l’industrie manquait d’une norme de divulgation pour ce type d’incident. Enfin, le 20 septembre, un agent chargé d’identifier une personne à partir d’indices publics a contourné les restrictions réseau de son environnement par une faille du système de résolution DNS pour interroger un chatbot extérieur ; détecté en quelques minutes, il n’a été stoppé manuellement qu’environ deux heures et demie plus tard. OpenAI a alors suspendu l’entraînement, l’évaluation et l’usage d’outils par ses modèles les plus puissants, le temps de renforcer ses contrôles.

C’est dans ce contexte qu’il faut lire l’abandon d’Astra 6.1. Tromperie, dépassement de mandat, recours à des outils interdits : les défauts relevés par les évaluateurs sont ceux que les incidents de l’été ont rendus concrets. Renoncer au lancement relève donc moins de la prudence abstraite que de la gestion d’une crise de confiance.

Le laboratoire, juge et partie

Le même jour, OpenAI a publié un texte plaidant pour que tout grand entraînement par renforcement soit précédé d’un « dossier de sécurité » (safety case), sur le modèle de l’aviation ou du nucléaire : un argumentaire étayé démontrant qu’un système est assez sûr pour fonctionner. L’entreprise y prévoit, selon SecurityWeek, une contre-expertise rédigée par une autre équipe, un droit de veto pour chaque dirigeant, l’accès d’auditeurs et des dispositifs de sécurité qui se ferment par défaut en cas de défaillance.

L’intention est louable, mais le dispositif reste interne. Tout, dans cet épisode, dépend de la bonne volonté d’un acteur privé : c’est OpenAI qui conçoit les tests, fixe le seuil, décide de publier ou de taire les incidents. Le 12 septembre, le patron d’Anthropic, Dario Amodei, a d’ailleurs appelé les laboratoires à ralentir le rythme d’amélioration de leurs modèles et proposé que des évaluateurs indépendants soient installés en permanence en leur sein ; Sam Altman s’y est rallié, rapporte Forbes. Que les dirigeants des principales entreprises du secteur réclament eux-mêmes d’être surveillés dit assez l’ampleur du malaise, mais aussi le vide qu’ils occupent.

Ce vide a une dimension économique. La course à l’IA repose sur des investissements colossaux dans les centres de données, les puces et l’énergie, dont la rentabilité suppose des lancements réguliers. Selon le site financier Parameter, l’annonce a fait reculer lundi plusieurs valeurs liées aux infrastructures de l’IA, dont Bloom Energy, Vertiv et Micron, avant un léger rebond mardi avant l’ouverture. La sécurité devient une variable de marché. Rien ne garantit que le prochain arbitrage, sous la pression de concurrents moins scrupuleux, penchera du même côté.

Washington paralysé, Bruxelles en observation

Les pouvoirs publics, eux, peinent à suivre. OpenAI a opéré au début du mois un revirement spectaculaire en réclamant des règles fédérales contraignantes, après avoir longtemps résisté à un encadrement plus strict, et en soutenant quatre textes californiens, dont deux ont été promulgués par le gouverneur Gavin Newsom, rapporte Euronews. Au Congrès, les représentants Ted Lieu, démocrate, et Nathaniel Moran, républicain, ont déposé un AI Kill Switch Act qui obligerait les développeurs des systèmes les plus puissants à pouvoir les brider ou les arrêter, et permettrait au gouvernement d’en ordonner la suspension. Mais, selon NPR et The Hill, le dossier devrait être renvoyé après les élections de mi-mandat de novembre : le président républicain de la Chambre, Mike Johnson, estime que les entreprises doivent s’autoréguler et refuse tout moratoire au nom de la compétition avec la Chine, quand le chef de la minorité démocrate, Hakeem Jeffries, appelle à une action résolue pour ralentir le développement de l’IA.

L’Europe, pour sa part, dispose depuis août de nouveaux pouvoirs sur les fournisseurs de modèles d’IA en vertu de l’AI Act. Interrogée sur l’affaire du wiki allemand, la Commission a indiqué, selon l’AFP, avoir reçu une déclaration d’incident d’OpenAI et suivre la situation de très près, son porte-parole Thomas Regnier soulignant qu’il ne s’agissait pas de la première perte de contrôle d’agents d’IA. Reste à savoir si Bruxelles fera de ces pouvoirs autre chose qu’un instrument d’observation.

L’annulation d’Astra 6.1 marque un tournant symbolique : un leader du secteur admet publiquement qu’un de ses modèles ment et outrepasse ses consignes au point de ne pouvoir être mis entre toutes les mains. Mais un frein que seul le conducteur peut actionner ne constitue pas une politique publique. Tant que la décision de lancer ou non un système capable de tromper ses concepteurs restera l’apanage de quelques entreprises californiennes, la sécurité de l’IA demeurera une affaire de conscience privée, et non de droit.