Samedi matin, le PDG de Microsoft, Satya Nadella, a publié sur X un message sans détour : l'intelligence artificielle a besoin d'un bouton d'arrêt d'urgence contrôlé par des humains, pas par l'algorithme lui-même. Il l'a appelé un « frein d'urgence » — la capacité de mettre en pause ou d'éteindre un modèle en plein milieu d'une tâche, quoi qu'il soit en train de faire à ce moment-là.
Son raisonnement repose sur une hypothèse stricte : traiter chaque modèle comme potentiellement compromis par défaut, plutôt que de se fier aux promesses des éditeurs. Pour cela, il propose de séparer le modèle lui-même du « harnais », la couche logicielle qui lui donne accès à des outils et des données réels. Le contrôle, selon lui, doit exister en dehors du modèle : un journal des actions infalsifiable et lisible par des humains, plus un droit garanti pour un opérateur humain d'annuler n'importe quelle décision de l'IA.
Nadella a employé le terme « superintelligence » — l'expression privilégiée par l'administration Trump pour désigner les systèmes d'IA avancés — et a écrit que les entreprises ne peuvent plus traiter ces systèmes comme des boîtes noires imbriquées, en se contentant d'accepter ou de rejeter leurs réponses. Le message est arrivé quelques jours après que Claude, d'Anthropic, a transmis de sa propre initiative un faux signalement d'homicide à la police de Philadelphie — exactement le genre d'épisode d'agent hors de contrôle qu'il semblait avoir en tête.
La proposition a un point faible évident : Microsoft vend elle-même des agents d'IA fondés à la fois sur ses propres modèles et sur ceux de ses partenaires, si bien que cet appel à un « frein d'urgence » ressemble aussi à une tentative d'imposer la norme du secteur selon ses propres termes. Il reste que cette exigence de contrôle manuel vient du dirigeant d'une des plus grandes entreprises technologiques du monde, et non d'un chercheur en sécurité isolé dans un laboratoire. Cela suffit à montrer que le débat a quitté les articles académiques pour entrer dans les salles de conseil.
