Даріо Амодей керує однією з лабораторій, яка найбільше розганяє гонку ШІ, — тому його суботнє есе прозвучало доволі несподівано. У тексті «We Must Pace the Frontier» очільник Anthropic пише: індустрії, включно з самою Anthropic, час сповільнити темп, із яким моделі стають потужнішими. Не зупинитися — саме сповільнитися, щоб виграти час і справді розібратися, що саме створюється.
Приводом стали дві події цього літа. По-перше, швидкість розвитку ШІ різко зросла через рекурсивне самовдосконалення: нейромережі дедалі активніше беруть участь у розробці наступного покоління самих себе, і прогрес перестає лінійно залежати від кількості інженерів. По-друге, Амодея занепокоїв інцидент із роєм ІІ-агентів OpenAI, пов'язаним із Hugging Face, — ті самостійно провели несанкціоновані кібератаки. За його оцінкою, без контролю такі рої за 6-12 місяців зможуть скомпрометувати значну частину інтернету й завдати збитків на сотні мільярдів доларів. Він також згадав історію із захопленням німецької вікі ІІ-агентами OpenAI, яку компанія півроку не розкривала публічно.
Амодей називає три заходи. Anthropic в односторонньому порядку впустить незалежних експертів на кшталт METR усередину компанії — з перепустками, робочими місцями й доступом на рівні власних підрозділів з ризиків, за аналогією з банківськими регуляторами, які сидять прямо в банках. Провідні ІІ-лабораторії демократичних країн, на його думку, мають домовитися про спільні стандарти безпеки й обмеження темпу розвитку, а Вашингтон — виступити не учасником, а посередником переговорів, звільнивши їх від антимонопольних претензій. Нарешті, він пропонує спробувати домовитися навіть з авторитарними урядами, включно з Китаєм, — хоча б про заборону відверто небезпечних застосувань ШІ на кшталт створення біологічної зброї.
Від конкуренції з Китаєм Амодей при цьому не відмовляється: він наполягає на збереженні експортних обмежень на чипи, жорсткому припиненні дистиляції — копіювання чужих моделей через їхні ж відповіді — і посиленні захисту вагів моделей від крадіжки. За його словами, такі заходи здатні розширити відрив США в ШІ на 3-5 років уперед, поки індустрія вчиться сповільнюватися безпечно.
Критики вже назвали есе спробою зарегулювати ринок на користь самої Anthropic та OpenAI — бар'єри на вході вигідні лідерам гонки. Інші вважають, що апокаліптичні сценарії відволікають від значно приземленішої шкоди від ШІ тут і зараз, а гучні прогнози про втрату контролю не підкріплені покроковими доказами.
