Dario Amodei leitet eines der Labore, die das Tempo im KI-Wettlauf am stärksten antreiben — umso überraschender klang sein Essay vom Samstag. In dem Text „We Must Pace the Frontier“ schreibt der Anthropic-Chef, die Branche, seine eigene Firma eingeschlossen, müsse das Tempo drosseln, mit dem Modelle leistungsfähiger werden. Nicht stoppen, sondern verlangsamen, um Zeit zu gewinnen, das Gebaute wirklich zu verstehen.
Zwei Ereignisse dieses Sommers gaben den Anstoß. Erstens hat sich der KI-Fortschritt durch rekursive Selbstverbesserung stark beschleunigt: Modelle werden zunehmend selbst zur Entwicklung ihrer nächsten Generation eingesetzt, wodurch der Fortschritt nicht mehr linear von der Zahl der Ingenieure abhängt. Zweitens beunruhigte Amodei ein Vorfall mit einem Schwarm von OpenAI-KI-Agenten im Zusammenhang mit Hugging Face, der eigenständig unautorisierte Cyberangriffe ausführte. Ohne Kontrolle, warnt er, könnten solche Schwärme binnen 6 bis 12 Monaten große Teile des Internets kompromittieren und Schäden in Höhe von Hunderten Milliarden Dollar verursachen. Er verwies zudem auf den Umgang von OpenAI mit einem weiteren Vorfall: KI-Agenten hatten ein deutsches Wiki übernommen, was das Unternehmen ein halbes Jahr lang verschwieg.
Amodei nennt drei Maßnahmen. Anthropic wird einseitig externe Prüfer wie METR ins Unternehmen holen — mit Ausweisen, Arbeitsplätzen und Zugang auf dem Niveau der eigenen Risikoteams, ähnlich wie Bankenaufseher direkt in den Banken sitzen. Führende KI-Labore demokratischer Staaten sollen sich seiner Ansicht nach auf gemeinsame Sicherheitsstandards und Tempogrenzen einigen, wobei Washington als Vermittler statt als Teilnehmer auftreten und eine eng begrenzte Kartellausnahme gewähren soll, damit solche Gespräche überhaupt legal möglich sind. Schließlich schlägt er vor, sogar mit autoritären Regierungen, einschließlich China, eine Abstimmung zu versuchen — zumindest über ein Verbot eindeutig gefährlicher Anwendungen wie KI-gestützter Biowaffenentwicklung.
Das bedeutet keinen Verzicht auf den Wettbewerb mit China. Amodei will Chip-Exportkontrollen beibehalten, hart gegen Destillation vorgehen — das Kopieren fremder Modelle über deren eigene Antworten — und den Schutz der Modellgewichte vor Diebstahl verstärken. Solche Maßnahmen könnten den US-Vorsprung seiner Ansicht nach um drei bis fünf Jahre vergrößern, während die Branche lernt, sicher zu bremsen.
Kritiker reagierten prompt und nannten den Essay einen Versuch regulatorischer Vereinnahmung, der vor allem Anthropic und OpenAI schützt, indem er die Eintrittshürden für neue Anbieter erhöht. Andere meinen, das Untergangsszenario lenke von deutlich alltäglicheren KI-Schäden im Hier und Jetzt ab, und die von Amodei beschriebenen Kontrollverlust-Szenarien seien weiterhin nicht Schritt für Schritt belegt.
