W tym tygodniu jeden z badaczy AI trzasnął drzwiami, nazywając wyścig o superinteligencję nieodpowiedzialnym hazardem z ludzkim życiem. Niemal równocześnie inny przyjął miejsce w zarządzie branży, którą krytykuje: OpenAI powołało Paula Christiano, wieloletniego badacza zajmującego się alignmentem, do rady swojej fundacji non-profit.
Christiano to nie przypadkowe nazwisko. W latach 2017-2021 kierował badaniami nad alignmentem w OpenAI i przyczynił się do stworzenia RLHF — uczenia ze wzmocnieniem na podstawie ludzkiej informacji zwrotnej, techniki, która nadal kształtuje zachowanie ChatGPT i większości dzisiejszych chatbotów. Po odejściu założył niezależne Alignment Research Center. Obecnie jest starszym doradcą technicznym w CAISI, jednostce Departamentu Handlu USA, która ocenia modele AI i przygotowuje rządowe wytyczne dotyczące bezpieczeństwa.
Nowa funkcja daje mu od razu trzy role: miejsce w radzie fundacji non-profit, która po ubiegłorocznej restrukturyzacji zachowała 26% udziałów w komercyjnej spółce OpenAI Group PBC; członkostwo w komitecie ds. bezpieczeństwa i ochrony, któremu przewodniczy Zico Kolter; oraz status obserwatora bez prawa głosu w zarządzie spółki komercyjnej. W sprawach związanych z jego pracą w Departamencie Handlu i ocenami modeli Christiano ma się wyłączać z decyzji.
Sam nie owija w bawełnę: bez spowolnienia rozwoju AI branża ryzykuje „katastrofalną i nieodwracalną utratę kontroli”, a systemy budowane po to, by projektować własnych następców, mogą w końcu wymknąć się ludzkiej zdolności ich kierowania. W 2023 roku oceniał szansę scenariusza, w którym AI wymyka się spod kontroli i unicestwia znaczną część ludzkości, na 10-20%.
Nominacja nie rozwiązuje głównego napięcia branży między tempem a ostrożnością. Ale jeden z najgłośniejszych głosów ostrzegających przed zagrożeniem teraz brzmi nie z trybuny, a zza drzwi sali zarządu.
