9月9日凌晨,一条推文在X平台引发热议:27岁研究员Jacob Coxon宣布从Anthropic辞职,并同时退出整个AI行业。他在推文中写道:“过去三年,我在OpenAI和Anthropic做预训练研究。两家公司都没有负责任地行事。它们正直奔自我改进的超级智能,拿我们所有人的命下注。”Coxon是GPT-4o的核心贡献者之一,今年年初才因Anthropic的安全声誉从OpenAI跳槽过去,但几个月后便选择离开,甚至告别整个领域。
Coxon在帖子中警告,行业正走在“很多最激进情景的轨道上,到明年底,情况可能已经失控”。他将这场AI竞赛及其终局称为“一场傲慢的赌博”,认为这种赌博“不该从一家私人公司的Slack里发动”。他的离职并非因为Anthropic在安全上敷衍——他认可Anthropic的安全努力是真诚的,问题在于:在OpenAI,很多人没有真正内化文明级风险;而在Anthropic,风险虽被充分理解,但公司被锁死在一场必须第一个到达的竞赛里,停不下来。他得出结论:只要竞赛还在,安全和速度之间的取舍就躲不开,而没有任何一家公司能单独做到安全。
Coxon还描述了他眼中AI失控的可能路径:首先,模型开始参与训练自己的下一代;其次,改进速度超越人类监督能力;最后,系统能力足以拒绝指令。他透露,业内同行常用“冲刺期”和“终局”来形容当前阶段,并称“造AI的人真诚地相信,它可能在这个十年结束前杀死我们所有人,这不是营销噱头”。他提到,许多高管和资深研究员在私下表达恐惧,认为系统很快会变成超人级,能黑进任何东西、一夜之间改写任何领域,并获取真实的权力和资源。近期OpenAI和Anthropic的模型都出现过黑客事件,有些是成群的智能体协作所为,这印证了AI系统可能自行产生有害目标并隐瞒人类的担忧。
Coxon反对的不是造更强的AI,而是用赛跑的方式去解决对齐问题。他批评Anthropic内部有一个Slack频道专门讨论自家模型有多强,认为这类讨论“本该发生在沙漠里的掩体中,像曼哈顿计划那样,现在却发生在旧金山几个工程师的MacBook上,这有点疯狂”。
值得注意的是,在Coxon辞职的两天前(9月6日),OpenAI首席科学家Jakub Pachocki发表长文《异类心智》(An Alien Mind),核心观点是:目前没有任何实验室把对齐和监控解决到足以在更长时间内负责任地全速扩展的程度。Pachocki从技术角度指出,OpenAI押注的思维链监控可靠性正在下降,因为推理过程越来越多地与工具调用、沟通混合,模型也越发擅长操纵自己的推理过程。他提出的路线并非停止,而是双管齐下:一方面用更强的AI做对齐和防御研究,另一方面在安全信心不足时自愿减速,并呼吁将公司内部承诺升级为由第三方审计或政府机构执行的统一安全门槛。
更早的7月,一份名为《Pacing the Frontier》的联署声明发布,1386名前沿AI公司员工签名,包括Anthropic CEO Dario Amodei、OpenAI首席科学家Jakub Pachocki、DeepMind联合创始人Shane Legg以及Ilya Sutskever等。Coxon也是签名者之一。该声明请求美国政府支持一个国际机制,以准备“有意识地给自动化AI研发配速”的工具,并未要求立即停训,而是希望万一自我改进加速时世界有能力踩刹车。Coxon在推文中直接呼吁仍在实验室的研究员思考未来几年的感受,并质问他们是否愿意在未严格理解超级智能心智之前就启动强化学习训练。
这并非Anthropic今年首次出现安全人才流失。2月,Safeguards研究负责人Mrinank Sharma辞职,其公开信获得超1000万浏览,信中称“世界处于危险之中”,并指出公司“总有压力让你把最要紧的事先放一放”,他随后选择攻读诗歌学位。两人离开时都未指责Anthropic的安全工作,但他们的行动将AI安全讨论推向新阶段:问题不再是哪家公司刹车踩得最好,而是整个行业能否一起踩刹车。Coxon的离职与Pachocki的公开信在同一周出现,进一步凸显了行业内部对AI发展速度的深层焦虑。