Цього тижня один дослідник штучного інтелекту гучно пішов з посади, назвавши гонку за суперінтелектом безвідповідальною ставкою на людські життя. Майже водночас інший погодився увійти до ради тієї самої індустрії, яку критикує: OpenAI ввела Пола Крістіано, давнього дослідника з alignment, до ради своєї некомерційної фундації.
Крістіано — не випадкове ім'я. З 2017 по 2021 рік він очолював напрям alignment в OpenAI і доклався до створення RLHF — навчання з підкріпленням на основі відгуків людей, метод, який і досі визначає поведінку ChatGPT та більшості сучасних чат-ботів. Залишивши компанію, він заснував незалежний Alignment Research Center. Сьогодні він старший радник CAISI — підрозділу Міністерства торгівлі США, який перевіряє ІІ-моделі та готує рекомендації з безпеки для уряду.
Нова посада дає йому одразу три ролі: місце в раді некомерційного фонду OpenAI, який після минулорічної реструктуризації зберіг 26% акцій комерційного підрозділу компанії; членство в комітеті з безпеки та захисту під керівництвом Зіко Колтера; і статус спостерігача без права голосу в раді директорів комерційної OpenAI Group PBC. У питаннях, пов'язаних із його роботою в Мінторгу та оцінкою моделей, Крістіано має брати самовідвід.
Сам він формулює ризики жорстко: без сповільнення розвитку ІІ галузь ризикує зіткнутися з «катастрофічною і незворотною втратою контролю», а системи, що самі створюють досконаліші версії себе, рано чи пізно вийдуть за межі того, що люди здатні надійно скеровувати. У 2023 році він оцінював шанс сценарію, де ІІ виходить з-під контролю і знищує значну частину людства, у 10-20%.
Призначення не знімає головного протиріччя індустрії — гонки швидкості проти обережності. Але один із найгучніших голосів, що попереджають про небезпеку, тепер звучить не з трибуни, а з-за зачинених дверей ради директорів.
