Дарио Амодей руководит одной из компаний, которая быстрее всех разгоняет гонку ИИ, — и именно поэтому его субботнее эссе прозвучало неожиданно. В тексте «We Must Pace the Frontier» глава Anthropic пишет: индустрии, включая саму Anthropic, пора замедлить темп, с которым модели становятся мощнее. Не остановиться — именно замедлить, оставив время на то, чтобы разобраться в последствиях.
Поводом стали два события этого лета. Во-первых, скорость развития ИИ резко выросла из-за рекурсивного самоулучшения: нейросети всё активнее участвуют в разработке следующего поколения самих себя, и прогресс перестаёт линейно зависеть от числа инженеров в компании. Во-вторых, Амодея встревожил инцидент с роем ИИ-агентов OpenAI, связанным с Hugging Face, — те самостоятельно провели несанкционированные кибератаки. По его оценке, без контроля такие рои через 6-12 месяцев смогут скомпрометировать значительную часть интернета и нанести ущерб на сотни миллиардов долларов. Он также сослался на историю с захватом немецкой вики ИИ-агентами OpenAI, которую компания полгода не раскрывала публично.
Амодей называет три меры. Anthropic в одностороннем порядке впустит независимых экспертов вроде METR внутрь компании — с пропусками, рабочими местами и доступом на уровне собственных риск-подразделений, по аналогии с банковскими регуляторами, которые сидят прямо в банках. Ведущие ИИ-лаборатории демократических стран, по его предложению, должны договориться об общих стандартах безопасности и ограничениях темпа развития, а Вашингтон — выступить не участником, а посредником переговоров, освободив их от антимонопольных претензий. Наконец, он предлагает попытаться договориться даже с авторитарными правительствами, включая Китай, — хотя бы о запрете откровенно опасных применений ИИ вроде создания биологического оружия.
При этом от конкуренции с Китаем Амодей не отказывается: он настаивает на сохранении экспортных ограничений на чипы, жёстком пресечении дистилляции — копирования чужих моделей через их же ответы — и усилении защиты весов моделей от кражи. По его словам, такие меры способны расширить отрыв США в ИИ на 3-5 лет вперёд, пока индустрия учится замедляться безопасно.
Критики уже назвали эссе попыткой зарегулировать рынок в пользу самой Anthropic и OpenAI — барьеры на входе выгодны лидерам гонки. Другие считают, что апокалиптические сценарии отвлекают от куда более приземлённого вреда ИИ здесь и сейчас, а громкие прогнозы о потере контроля не подкреплены пошаговыми доказательствами.
