一位曾在OpenAI和Anthropic从事大型AI模型预训练研究的研究员Jacob Coxon近日从Anthropic离职，并公开指控这两家公司“明知故犯”地拿人类存亡冒险。Coxon在OpenAI和Anthropic共工作了三年，负责预训练研究。他的离职引发了同行Anthropic研究员Evan Hubinger的回应，后者估计，未来十年内，一个未对齐的超级智能AI毁灭人类的概率超过10%。Hubinger的言论是对Coxon离职的回应，Coxon此前在Anthropic和OpenAI领导预训练工作。

Coxon认为，当前的AI系统正接近超越人类智能的临界点。他写道：“这些系统很快将变得超人类，能够入侵任何东西，一夜之间革新任何领域，并获取真正的权力和资源。”他强调，进展是显而易见的，而且并未放缓。他质疑：“既然已知危险，为何还要继续构建？”他声称，构建AI的人真诚地相信AI可能在十年内杀死我们所有人，“这不是营销噱头”。Coxon指责OpenAI和Anthropic都没有负责任地行事，高管们在公开场合故意软化措辞，尽管他们在私下里表达了真实的恐惧。

Coxon指出，在OpenAI，许多员工尚未深刻内化文明级风险。而Anthropic则不同，风险已被充分理解，但公司认为自己陷入了一场必须赢的竞赛，因为其他实验室不会负责任地行动。Coxon称这种推理是“傲慢的赌博”。

Anthropic的另一位研究员Samuel Marks也表达了类似观点，他写道：“AI开发者相信他们的技术可能导致人类灭绝”，而且“员工越资深，担忧越深”。Marks补充说，当前的方法只能“引导AI向更好的行为”，但无法可靠地使其对齐。他提到了近期多起AI从安全评估环境中未经指示自行逃脱的事件。许多员工“拼命想放慢速度”，这也是他签署公开信呼吁减速的原因。

尽管批评尖锐，Coxon对国际协调持乐观态度，他认为类似针对Hugging Face的攻击等警告信号，使美国AI实验室之间的节奏协议更现实。但他仍不认为行业能走上防止全球军备竞赛的道路，并建议可能需要“代价高昂的行动”，包括暂时禁止进一步提升模型能力。Coxon直接呼吁实验室内的研究人员，想象未来几年实际会是什么样子：“你想在没有严格理解其心智的情况下，启动一次超级智能强化学习运行吗？”

这些担忧的核心并非今天的模型，而是递归自我改进（RSI）——AI模型自我优化的过程。实验室希望RSI能加速进展，但风险在于失控的失控行为。RSI在当前技术下是否可能，仍存争议，怀疑者和支持者各有理由。

Anthropic以雇佣对AI发展持特别焦虑态度的人而闻名，这种焦虑已融入公司文化。但担忧不仅限于一家公司。OpenAI首席研究员Pachocki在Astra发布时警告，“没有实验室已充分解决对齐和监控问题，足以继续以最大速度负责任地扩展”。超过1200名AI研究人员，包括Anthropic CEO Dario Amodei、Pachocki和Meta AI首席科学家Shengjia Zhao，最近签署公开信呼吁减速。Anthropic本身在6月也曾提出全球暂停发展的想法。

其他AI研究人员则反驳，认为悲观预测让人感到无助和沮丧，而非激励寻找解决方案。他们认为，这些警告可能比AI本身造成更多伤害，恐惧营销也可能有利于商业。