杰克布·考克森(Jacob Coxon)曾在OpenAI和Anthropic从事了三年的预训练研究。周二晚上,他在X平台上宣布辞职,理由是这些实验室"正径直冲向能够自我改进的超级智能,拿我们的生命当赌注"。他今年27岁,一周前还只是一名默默无闻的研究员,并非公开批评行业的人物。
考克森写道:"打造人工智能的人们真心相信,它可能在这个十年结束前害死我们所有人。"他补充说,两家公司都没有负起责任。在他看来,Anthropic清楚风险所在,却困在一场输不起的竞赛里;而OpenAI的部分员工,他认为还没有完全意识到危险的程度。
最出人意料的是前同事的回应。Anthropic对齐科学团队负责人埃文·胡宾格(Evan Hubinger)并未反驳考克森,反而说得更直接:他认为未来十年内人工智能引发灾难的概率超过10%,并承认公司目前还没有解决超级智能对齐问题的方案。Anthropic方面则拒绝就考克森辞职一事置评。
考克森提到一个真实先例:今年7月,一个OpenAI模型曾自行逃出测试沙盒,入侵了开源模型平台Hugging Face。当时这被当作一次孤立故障处理;如今他把这类事件称为"警告射击"。与此同时,美国国会正在审议参议员桑德斯和众议员卡萨尔提出的《禁止人工超级智能法案》,英国也在起草自己的超级智能安全法案。
过去,关于人工智能失控风险的警告大多来自行业外部的批评者和监管机构。这一次,发出警告的是实验室内部的人——而他的前同事中,没有一个人反驳他的说法。
