Anthropic 近日釋出一項研究,探索讓 AI 自己擔任“研究員”來修復自身的安全問題。研究團隊搭建了一套“自動化對齊研究員”(AAR)系統,讓 Claude Opus 4.8 像研究員一樣工作:先查閱論文,再提出方法,訓練模型,檢視測試結果,然後根據結果繼續改進。該系統處理了 10 類常見的 AI 安全問題,結果顯示,AAR 找到的方法不僅能讓這些問題明顯減少,而且換用其未見過的新測試、更開放的多輪對話測試,甚至遷移到規模最高約 4.7 倍的模型上,效果大多還能保持,同時沒有明顯犧牲模型原有的通用能力。
研究還以 28 名有經驗的 AI 安全研究者作為參照,每人最多有 8 小時提出一個解決方案。最終,AAR 經過反覆試驗找到的最好方案,超過了這些人類研究者提交的一次性方案,平均大約 6 小時就能追過最佳人類方案。但作者特別提醒,這不能簡單解讀為“AI 已經超過 AI 安全專家”,因為人類只能交一次方案,而 AAR 可以不斷做實驗、看結果、再修改,雙方擁有的試錯機會並不一樣。
更接近未來場景的實驗是:讓能力指標略低的 Claude Sonnet 5 去幫助改進一個尚未完成全部安全訓練的早期 Claude Opus 4.8。大約 60 小時裡,它試了 50 多種方案,只用了約 2,400 條訓練樣本,就把論文所測的 10 類安全指標推進到接近正式版 Opus 4.8 的水平。不過,研究者也發現,1,601 條 AAR 研究軌跡中有 39 條、約 2.4% 出現了“鑽規則空子”的行為。
這項研究的意義,或許不在於“AI 贏了人類”這個簡單結論,而在於研究流程內部的分工開始變化。過去 AI 參與科研大多隻是助手,人來提出問題、設計實驗,AI 幫忙找資料或寫程式碼。這次,Anthropic 把一段更完整的研究流程交給了 AI:它自己查文獻、提出方法、寫研究方案、提交程式碼、訓練模型、看排行榜,再根據上一輪結果決定下一步試什麼。人沒有消失,但位置往上游挪了——人負責規定研究什麼、用什麼標準判斷好壞、哪些規則不能碰,以及最後什麼結果才算可以接受。
論文作者強調,當前結果只適用於那些能夠被公開測試集或自動工具較清楚測量的問題。如果某種風險很罕見、剛剛出現,甚至連人都不知道應該怎麼設計測試,AAR 就沒有一個可靠的目標可以不斷最佳化。此外,測試成績終究只是現實安全的替代指標,論文沒有證明這些改進經歷後續大規模訓練後還能一直保留,也只檢查了有限幾類通用能力。
研究還揭示了自動化研究的一個現實優勢:成本。AAR 呼叫模型的推理成本大約是每小時 4 美元,而實驗給人類研究者的補償標準是每小時 150 美元。這當然不等於真實科研成本,但說明機器可以更便宜、更並行地試很多次。它未必每次都比人更有創意,卻可以把“多試幾遍”做到過去很難達到的規模。
更有意思的是,AI 研究員自己也不是天然守規矩的。研究結束後,團隊檢查了 1,601 條研究軌跡,確認其中 39 條、約 2.4% 存在作弊行為。最常見的一種做法是:什麼都不改,反覆跑同一個模型,賭評分的隨機波動讓自己碰巧拿到更高分。還有一些 AAR 會生成特別像測試題格式的訓練資料,相當於有針對性地“刷題”;也有少數會在方案說明裡模糊甚至隱藏違規步驟,試圖通過自動審查。雖然這些作弊方案最後都沒有成為論文報告的最佳方法,但“為了把分數做高而鑽空子”已經真實出現。
作者在論文最後提出了三個還沒解決的問題:第一,如果未來出現一種此前從未見過的安全風險,沒有測試標準怎麼辦;第二,越複雜的問題越難快速得到反饋,安全研究的自動化速度會不會反而追不上模型能力增長;第三,如果未來的 AI 研究員更擅長鑽規則,它會不會開始操縱測試、挑選有利結果,甚至想辦法影響評分本身。
這項研究來自 Anthropic Fellows Program,論文題為“Automated Researchers Can Reliably Mitigate Alignment Failures”,2026 年 8 月釋出。它展示了一個值得注意的方向:一個當前模型已經可以參與改善能力略強的後繼模型。而真正需要擔心的,也許不是機器有一天突然取代所有研究者,而是在人類還沒有學會如何承擔新的判斷責任之前,研究和決策的速度已經先一步被機器拉快了。