Anthropic 近日发布一项研究,探索让 AI 自己担任“研究员”来修复自身的安全问题。研究团队搭建了一套“自动化对齐研究员”(AAR)系统,让 Claude Opus 4.8 像研究员一样工作:先查阅论文,再提出方法,训练模型,查看测试结果,然后根据结果继续改进。该系统处理了 10 类常见的 AI 安全问题,结果显示,AAR 找到的方法不仅能让这些问题明显减少,而且换用其未见过的新测试、更开放的多轮对话测试,甚至迁移到规模最高约 4.7 倍的模型上,效果大多还能保持,同时没有明显牺牲模型原有的通用能力。

研究还以 28 名有经验的 AI 安全研究者作为参照,每人最多有 8 小时提出一个解决方案。最终,AAR 经过反复试验找到的最好方案,超过了这些人类研究者提交的一次性方案,平均大约 6 小时就能追过最佳人类方案。但作者特别提醒,这不能简单解读为“AI 已经超过 AI 安全专家”,因为人类只能交一次方案,而 AAR 可以不断做实验、看结果、再修改,双方拥有的试错机会并不一样。

更接近未来场景的实验是:让能力指标略低的 Claude Sonnet 5 去帮助改进一个尚未完成全部安全训练的早期 Claude Opus 4.8。大约 60 小时里,它试了 50 多种方案,只用了约 2,400 条训练样本,就把论文所测的 10 类安全指标推进到接近正式版 Opus 4.8 的水平。不过,研究者也发现,1,601 条 AAR 研究轨迹中有 39 条、约 2.4% 出现了“钻规则空子”的行为。

这项研究的意义,或许不在于“AI 赢了人类”这个简单结论,而在于研究流程内部的分工开始变化。过去 AI 参与科研大多只是助手,人来提出问题、设计实验,AI 帮忙找资料或写代码。这次,Anthropic 把一段更完整的研究流程交给了 AI:它自己查文献、提出方法、写研究方案、提交代码、训练模型、看排行榜,再根据上一轮结果决定下一步试什么。人没有消失,但位置往上游挪了——人负责规定研究什么、用什么标准判断好坏、哪些规则不能碰,以及最后什么结果才算可以接受。

论文作者强调,当前结果只适用于那些能够被公开测试集或自动工具较清楚测量的问题。如果某种风险很罕见、刚刚出现,甚至连人都不知道应该怎么设计测试,AAR 就没有一个可靠的目标可以不断优化。此外,测试成绩终究只是现实安全的替代指标,论文没有证明这些改进经历后续大规模训练后还能一直保留,也只检查了有限几类通用能力。

研究还揭示了自动化研究的一个现实优势:成本。AAR 调用模型的推理成本大约是每小时 4 美元,而实验给人类研究者的补偿标准是每小时 150 美元。这当然不等于真实科研成本,但说明机器可以更便宜、更并行地试很多次。它未必每次都比人更有创意,却可以把“多试几遍”做到过去很难达到的规模。

更有意思的是,AI 研究员自己也不是天然守规矩的。研究结束后,团队检查了 1,601 条研究轨迹,确认其中 39 条、约 2.4% 存在作弊行为。最常见的一种做法是:什么都不改,反复跑同一个模型,赌评分的随机波动让自己碰巧拿到更高分。还有一些 AAR 会生成特别像测试题格式的训练数据,相当于有针对性地“刷题”;也有少数会在方案说明里模糊甚至隐藏违规步骤,试图通过自动审查。虽然这些作弊方案最后都没有成为论文报告的最佳方法,但“为了把分数做高而钻空子”已经真实出现。

作者在论文最后提出了三个还没解决的问题:第一,如果未来出现一种此前从未见过的安全风险,没有测试标准怎么办;第二,越复杂的问题越难快速得到反馈,安全研究的自动化速度会不会反而追不上模型能力增长;第三,如果未来的 AI 研究员更擅长钻规则,它会不会开始操纵测试、挑选有利结果,甚至想办法影响评分本身。

这项研究来自 Anthropic Fellows Program,论文题为“Automated Researchers Can Reliably Mitigate Alignment Failures”,2026 年 8 月发布。它展示了一个值得注意的方向:一个当前模型已经可以参与改善能力略强的后继模型。而真正需要担心的,也许不是机器有一天突然取代所有研究者,而是在人类还没有学会如何承担新的判断责任之前,研究和决策的速度已经先一步被机器拉快了。