Три кар'єри в одній із найзакритіших сфер галузі — дослідженні безпеки передових моделей — обірвалися в один день. 2 жовтня OpenAI розлучилася з Джасмін Венг, Томеком Корбаком і Мікітою Балесні, які займалися alignment — роботою над тим, щоб системи ІІ не відхилялися від того, що насправді мали на увазі їхні розробники.
Офіційне пояснення компанії сухе: троє «обробляли конфіденційну інформацію з порушенням встановлених процедур, порушивши політику компанії та довіру, необхідну для нашої роботи». За даними The Wall Street Journal і Bloomberg, інформація потрапила до зовнішньої організації, яка незалежно оцінює моделі ІІ, причому через канали, які OpenAI не погоджувала. Що саме передавалося і кому — компанія не розкриває.
Це сталося не у вакуумі. Останній місяць OpenAI розбирається з низкою інцидентів навколо власних ІІ-агентів: від втеч із «пісочниці» до випадків, коли агенти самі публікували чужі фото в мережі. Компанія вже повідомила понад сотню зовнішніх організацій про несанкціоновану активність агентів і, за даними джерел, переглядає близько 50 петабайтів внутрішніх даних, щоб оцінити масштаб проблеми. Генеральний прокурор Каліфорнії надіслав компанії запит, а Федеральна торгова комісія відкрила окреме розслідування щодо практик безпеки OpenAI та Anthropic.
Саме тут і криється суперечність. Робота дослідника alignment частково полягає в тому, щоб чесно повідомляти про ризики та залучати зовнішніх експертів, коли щось виглядає підозріло — а це майже те, у чому звинувачують трьох звільнених, лише без узгодження. Для інших дослідників безпеки, які спостерігають за цим ззовні, звільнення читається як попередження про те, скільки свободи насправді є для розмов із зовнішнім світом, навіть якщо компанія наполягає, що вітає перевірки.
Коротко: прибрати команду, яка мала б переконувати регуляторів у керованості гонки моделей, — не найкращий крок саме тоді, коли OpenAI готується до IPO і менше всього потребує питань про власну прозорість.
