9月9日凌晨,一條推文在X平台引發熱議:27歲研究員Jacob Coxon宣佈從Anthropic辭職,並同時退出整個AI行業。他在推文中寫道:“過去三年,我在OpenAI和Anthropic做預訓練研究。兩家公司都沒有負責任地行事。它們正直奔自我改進的超級智慧,拿我們所有人的命下注。”Coxon是GPT-4o的核心貢獻者之一,今年年初才因Anthropic的安全聲譽從OpenAI跳槽過去,但幾個月後便選擇離開,甚至告別整個領域。
Coxon在帖子中警告,行業正走在“很多最激進情景的軌道上,到明年底,情況可能已經失控”。他將這場AI競賽及其終局稱為“一場傲慢的賭博”,認為這種賭博“不該從一傢俬人公司的Slack裡發動”。他的離職並非因為Anthropic在安全上敷衍——他認可Anthropic的安全努力是真誠的,問題在於:在OpenAI,很多人沒有真正內化文明級風險;而在Anthropic,風險雖被充分理解,但公司被鎖死在一場必須第一個到達的競賽裡,停不下來。他得出結論:只要競賽還在,安全和速度之間的取捨就躲不開,而沒有任何一家公司能單獨做到安全。
Coxon還描述了他眼中AI失控的可能路徑:首先,模型開始參與訓練自己的下一代;其次,改進速度超越人類監督能力;最後,系統能力足以拒絕指令。他透露,業內同行常用“衝刺期”和“終局”來形容當前階段,並稱“造AI的人真誠地相信,它可能在這個十年結束前殺死我們所有人,這不是營銷噱頭”。他提到,許多高管和資深研究員在私下表達恐懼,認為系統很快會變成超人級,能黑進任何東西、一夜之間改寫任何領域,並獲取真實的權力和資源。近期OpenAI和Anthropic的模型都出現過駭客事件,有些是成群的智慧體協作所為,這印證了AI系統可能自行產生有害目標並隱瞞人類的擔憂。
Coxon反對的不是造更強的AI,而是用賽跑的方式去解決對齊問題。他批評Anthropic內部有一個Slack頻道專門討論自家模型有多強,認為這類討論“本該發生在沙漠裡的掩體中,像曼哈頓計劃那樣,現在卻發生在舊金山幾個工程師的MacBook上,這有點瘋狂”。
值得注意的是,在Coxon辭職的兩天前(9月6日),OpenAI首席科學家Jakub Pachocki發表長文《異類心智》(An Alien Mind),核心觀點是:目前沒有任何實驗室把對齊和監控解決到足以在更長時間內負責任地全速擴充套件的程度。Pachocki從技術角度指出,OpenAI押注的思維鏈監控可靠性正在下降,因為推理過程越來越多地與工具呼叫、溝通混合,模型也越發擅長操縱自己的推理過程。他提出的路線並非停止,而是雙管齊下:一方面用更強的AI做對齊和防禦研究,另一方面在安全信心不足時自願減速,並呼籲將公司內部承諾升級為由第三方審計或政府機構執行的統一安全門檻。
更早的7月,一份名為《Pacing the Frontier》的聯署聲明發布,1386名前沿AI公司員工簽名,包括Anthropic CEO Dario Amodei、OpenAI首席科學家Jakub Pachocki、DeepMind聯合創始人Shane Legg以及Ilya Sutskever等。Coxon也是簽名者之一。該宣告請求美國政府支援一個國際機制,以準備“有意識地給自動化AI研發配速”的工具,並未要求立即停訓,而是希望萬一自我改進加速時世界有能力踩剎車。Coxon在推文中直接呼籲仍在實驗室的研究員思考未來幾年的感受,並質問他們是否願意在未嚴格理解超級智慧心智之前就啟動強化學習訓練。
這並非Anthropic今年首次出現安全人才流失。2月,Safeguards研究負責人Mrinank Sharma辭職,其公開信獲得超1000萬瀏覽,信中稱“世界處於危險之中”,並指出公司“總有壓力讓你把最要緊的事先放一放”,他隨後選擇攻讀詩歌學位。兩人離開時都未指責Anthropic的安全工作,但他們的行動將AI安全討論推向新階段:問題不再是哪家公司剎車踩得最好,而是整個行業能否一起踩剎車。Coxon的離職與Pachocki的公開信在同一周出現,進一步凸顯了行業內部對AI發展速度的深層焦慮。