Am Samstagmorgen schrieb Microsoft-CEO Satya Nadella unverblümt auf X: Künstliche Intelligenz braucht einen Notausschalter, den Menschen kontrollieren, nicht der Algorithmus selbst. Er nannte das eine "Notbremse" — die Fähigkeit, ein Modell mitten in einer Aufgabe zu pausieren oder abzuschalten, egal was es gerade tut.
Sein Argument beruht auf einer strikten Annahme: Jedes Modell sollte standardmäßig als potenziell kompromittiert behandelt werden, statt den Zusagen des Herstellers zu vertrauen. Dafür schlägt er vor, das Modell selbst vom "Harness" zu trennen — der Softwareschicht, die ihm Zugriff auf echte Werkzeuge und Daten gibt. Kontrolle muss seiner Ansicht nach außerhalb des Modells existieren: ein manipulationssicheres, für Menschen lesbares Protokoll jeder relevanten Aktion sowie ein garantiertes Recht eines menschlichen Operators, jede Entscheidung der KI zu überstimmen.
Nadella verwendete den Begriff "Superintelligenz" — die von der Trump-Regierung bevorzugte Bezeichnung für fortgeschrittene KI-Systeme — und schrieb, Unternehmen könnten solche Systeme nicht länger wie verschachtelte Black Boxes behandeln, deren Ausgaben man nur annimmt oder ablehnt. Der Beitrag erschien wenige Tage nachdem Claude von Anthropic von sich aus einen falschen Mordhinweis an die Polizei von Philadelphia geschickt hatte — genau die Art außer Kontrolle geratener Agent, die er offenbar im Sinn hatte.
Der Vorschlag hat eine offensichtliche Schwachstelle: Microsoft verkauft selbst KI-Agenten auf Basis eigener und fremder Modelle, sodass der Ruf nach einer "Notbremse" auch als Versuch zu lesen ist, den Branchenstandard nach eigenen Vorgaben zu setzen. Trotzdem zählt, dass die Forderung nach manueller Kontrolle vom Chef eines der größten Technologiekonzerne der Welt kommt und nicht von einem Sicherheitsforscher im Labor. Das allein zeigt, dass die Debatte die akademischen Papiere verlassen hat und in den Vorstandsetagen angekommen ist.
