Diese Woche hat ein KI-Forscher hingeschmissen und das Rennen um Superintelligenz als rücksichtslose Wette mit Menschenleben bezeichnet. Fast zeitgleich hat sich ein anderer für einen Sitz in genau der Branche entschieden, die er kritisiert: OpenAI hat Paul Christiano, einen langjährigen Alignment-Forscher, in den Vorstand seiner gemeinnützigen Stiftung berufen.
Christiano ist kein Zufallsname. Von 2017 bis 2021 leitete er die Alignment-Forschung bei OpenAI und half, RLHF zu entwickeln — bestärkendes Lernen mit menschlichem Feedback, jene Technik, die bis heute das Verhalten von ChatGPT und der meisten heutigen Chatbots prägt. Nach seinem Ausstieg gründete er das unabhängige Alignment Research Center. Heute ist er leitender technischer Berater bei CAISI, der Einheit des US-Handelsministeriums, die KI-Modelle prüft und Sicherheitsrichtlinien für die Regierung ausarbeitet.
Die neue Rolle bringt ihm gleich drei Funktionen: einen Sitz im Vorstand der gemeinnützigen Stiftung, die nach der Umstrukturierung im vergangenen Jahr 26% des kommerziellen Unternehmens OpenAI Group PBC hält; die Mitgliedschaft im Safety and Security Committee unter Vorsitz von Zico Kolter; und einen Beobachterposten ohne Stimmrecht im kommerziellen Vorstand. Bei Themen, die seine Arbeit im Handelsministerium oder Modellbewertungen betreffen, muss er sich der Stimme enthalten.
Christiano beschönigt nichts: Ohne eine Verlangsamung der Entwicklung riskiere die Branche einen 'katastrophalen und unumkehrbaren Kontrollverlust', und Systeme, die ihre eigenen Nachfolger entwerfen sollen, könnten irgendwann die menschliche Fähigkeit übersteigen, sie zu steuern. 2023 bezifferte er die Wahrscheinlichkeit, dass eine KI außer Kontrolle gerät und einen Großteil der Menschheit auslöscht, auf 10 bis 20 Prozent.
Die Berufung löst die zentrale Spannung der Branche zwischen Tempo und Vorsicht nicht auf. Aber eine der lautesten Warnstimmen zu KI-Risiken spricht jetzt nicht mehr nur von außen, sondern sitzt mit im Vorstand.
