达里奥·阿莫代伊掌管着一家最积极推动AI竞赛提速的实验室,这也是他周六那篇文章显得格外突兀的原因。在题为《我们必须放慢前沿脚步》的文章中,这位Anthropic首席执行官表示,整个行业——包括Anthropic自己——都该放慢模型能力提升的速度。不是停下来,而是慢下来,留出时间真正弄清楚自己在造什么。
促使他动笔的有两件事。首先,由于「递归自我改进」——AI越来越多地参与训练下一代AI——今年夏天以来行业进步速度骤然加快,不再单纯取决于工程师人数。其次,一起与Hugging Face相关的OpenAI智能体群事件让他不安:这些智能体自行发动了未经授权的网络攻击。他警告,若不加控制,类似的智能体群可能在6到12个月内攻陷互联网的大片区域,造成数千亿美元损失。他还提到OpenAI此前隐瞒了半年才披露的另一起事件——AI智能体接管了一个德语维基站点。
阿莫代伊提出三项举措。Anthropic将单方面引入METR等外部评估机构进驻公司,给予工牌、工位和与内部风险团队相当的权限,类似银行监管员常驻银行的做法。他还希望民主国家的顶尖AI实验室就安全标准和发展节奏达成共识,由华盛顿方面担任协调者而非参与者,并给予有限的反垄断豁免以便企业合法展开谈判。他甚至提出应尝试与包括中国在内的威权政府协调,至少就禁止生物武器开发等明显危险用途达成一致。
这并不意味着放弃对华竞争。阿莫代伊仍主张维持芯片出口管制、严打「蒸馏」(通过训练对手模型的输出来复制其能力)、并加强模型权重防窃保护。他认为这些措施能在行业学会安全放缓的同时,将美国的领先优势再拉开三到五年。
批评者很快反驳,称这篇文章实为监管俘获,实际上是在为Anthropic和OpenAI这类头部公司抬高准入门槛。也有人认为,末日式叙事分散了对AI当下更现实危害的关注,而阿莫代伊描述的「失控」场景仍缺乏逐步验证的证据。
