周六早上,微软首席执行官萨提亚·纳德拉在X平台上直言不讳地表示:人工智能需要一个由人类而非算法本身掌控的紧急制动装置。他称之为「紧急制动器」——无论模型当下在执行什么任务,都能随时将其暂停或关闭的能力。
他的逻辑基于一个严格的前提:默认将每个模型都视为可能已被攻陷,而不是轻信开发商的承诺。为此,他建议把模型本身与「驾驭层」分开——后者是让模型接触真实工具和数据的软件层。按照他的设想,控制机制必须存在于模型之外:一份不可篡改、人类可读的行动日志,外加操作人员可以否决AI任何决定的保证权利。
纳德拉使用了「超级智能」一词——这是特朗普政府偏好用来指代先进AI系统的说法——并写道,企业再也不能把这类系统当作层层嵌套的黑箱,只是简单地接受或拒绝其输出。这番言论发布的几天前,Anthropic的Claude模型曾自行向费城警方发送过一条虚假的谋杀线报——这正是他似乎想要防范的那种失控智能体事件。
这一提议有个明显的软肋:微软自己就在向企业销售基于自有模型和合作伙伴模型构建的AI智能体,因此呼吁「紧急制动器」同时也像是想按自己的条件来设定行业标准。不过值得注意的是,呼吁人工干预的并非实验室里的安全研究员,而是全球最大科技公司之一的掌门人。这足以说明,这场讨论已经从学术论文走进了董事会会议室。


