2026年9月，美國參議員伯尼·桑德斯與眾議員格雷格·卡薩爾公佈了一項名為《禁止人工超級智慧法案》的立法計劃。該提案旨在永久禁止人工超級智慧的開發與部署，並在聯邦層面建立相應安全規則之前，暫停部分先進人工智慧的進一步開發。需要明確的是，這目前仍是一份宣佈中的立法主張，尚未成為生效法律。

提案一齣，爭議隨之而來。反對者不僅來自產業界，一些長期呼籲強化AI安全監管的研究者也認為，直接宣佈永久禁止過於激進，等於用法律封存一個科學界尚未穩定定義的物件。支持者則強調，若人類真造出無法控制的系統，屆時再討論治理可能為時已晚。

拋開政治立場，該提案真正值得關注之處，或許在於它無意間暴露的治理空缺。當AI從“回答問題”走向“完成任務”，從生成文本到呼叫介面、改變現實狀態，一個核心問題浮出水面：我們究竟應控制“智慧”，還是控制“執行”？

過去十年，AI安全討論多聚焦於模型本身——偏見、幻覺、隱私、越獄、對齊等，風險被視為源於“機器如何思考”，治理也圍繞“腦”展開，如訓練資料、引數規模、能力評估等。“禁止超級智慧”正是這一思路的延續：若系統強大到無法保證可控，最穩妥的辦法就是不讓其出現。然而，這或許只觸及風險的一半——真正將風險帶入現實的，是智慧獲得執行能力。一個系統“想錯”與“做成”，中間隔著長期被忽視的“執行”環節。

設想兩個AI：一個極其聰明，能分析市場並生成建議，但無任何賬戶許可權，無法下單或轉賬，即使判斷失誤，風險鏈上仍有人為決策的斷點；另一個能力平平，卻可直接登入交易系統、呼叫支付介面、修改資料庫。後者的危險不再取決於“多聰明”，而在於“能讓什麼發生”。風險結構更接近：風險=智慧能力×執行許可權×自主程度×作用規模×作用速度。一次錯誤從“資訊”變為“事故”，關鍵在於執行。能力平平的模型，在生產環境執行一次錯誤刪除命令，就可能造成不可逆損失。因此，危險程度並不與智慧水平完全同構，遠低於“超級智慧”門檻的系統，完全可能擁有更高的執行風險。

這引出一個反直覺的結論：治理若只盯著能力天花板，會漏掉當下大多數事故。當系統可能失控，人們本能反應是“別讓它太聰明”，於是限制能力、訓練、算力、引數。但現實世界存在另一條路：即使系統聰明，也不應擁有無限執行權。人類社會對此並不陌生——不會因員工聰明就允許其獨自調走銀行全部資金，不會因工程師技術出色就允許其無邊界改寫生產系統。現代組織治理的成熟之處，恰在於能力與權力分離。然而AI工程實踐正將兩者重新混合：一邊訓練強大智慧，一邊將API Key、資料庫許可權、雲控制權限等不斷交出，再通過提示詞或對齊訓練要求其“正確使用”。這隱含危險假設：智慧足夠可靠，執行即可被信任。而人類制度設計恰恰相反——無論主體多優秀，都不應擁有不受約束的最終執行權。

工程世界對此有樸素表述：可靠系統從不建立在“元件永不失敗”的假設上。飛機有冗餘，資料中心有備份，金融機構有審計，核電站有異常處理。成熟工程邏輯是：失敗必然發生，問題在於失敗時如何阻止其演變為災難。AI Agent在數百步任務中，某一步出錯幾乎必然，若第39步呼叫真實介面，就可能改變現實。因此，需在模型判斷之外設立獨立邊界，否則邊界與錯誤共享同一源頭，等於沒有關口。

未來AI治理或需重心遷移：從“模型有無危險能力”轉向“即使有能力，能否轉化為現實動作”。模型能規劃支付不等於能完成支付，能生成刪除命令不等於資料庫真被刪除。意圖不等於執行，授權也不等於執行。現實安全最終收斂於“錢被轉走、伺服器被關閉”的瞬間。由此可得一套安全哲學：不必先證明機器永不想錯，但必須保證想錯的東西不能自動變成現實。前者是可能無終點的認知戰爭，後者是可通過工程實現的關口。

“超級智慧”治理難題之一在於定義：何時算AGI、ASI？超過人類平均水平還是最優秀專家？部分領域還是全部？現有基準能否穩定衡量？反對者據此質疑法律邊界難以執行。而執行邊界天然具體：支付限額、可接收賬戶、可修改的生產環境、裝置啟動條件、需第二主體確認的動作、超時失效的命令等。這些問題無需回答AI有無意識、是否超級智慧，只需回答“這個動作此刻能否發生”。執行邊界將抽象哲學問題轉化為可工程化、可審計、可驗證的問題。

治理顆粒度上，針對“模型”的措施往往巨大笨重——禁止訓練、關閉系統、限制算力，非此即彼。而針對“執行”，控制可細化到每個動作。成熟治理或非一個總開關，而是無數極小的執行閘門：AI可分析、規劃、建議，但觸及高風險執行點時，系統須重新驗證主體、動作、目標、狀態、證據、邊界及意圖一致性。文明極少通過“全面禁止一種能力”獲得長期安全，更多是“允許能力存在，但把權力關進結構”，如電力、金融、航空等皆如此。

這涉及電腦保安的“零信任”覺醒：不再將“主體可信”當作安全機制，信任可作判斷，但不能是防線。未來AI安全成熟標誌，或許不是造出永遠正確、服從的系統，而是能容納現實假設——AI會犯錯、被攻擊，策略會寫錯，管理員會失誤，甚至機器聰明到無法理解。即便如此，錯誤也不能自動獲得改變現實的最終權力。邊界保護的不是對機器的懷疑，而是判斷失效後重來的餘地。從“可信的人”走向“可信的結構”，是成熟制度的共同路徑。

《禁止人工超級智慧法案》最終走向尚無答案，爭論必將繼續。有人認為這是面對潛在文明級風險的預防原則，有人認為會扼殺創新並試圖定義未明物件。但或許更值得討論的是：若暫無法決定智慧終點，至少應開始決定執行邊界。超級智慧可能在未來，Agent執行卻已發生在今天——AI正接觸程式碼倉庫、賬戶、雲平台、支付系統及現實基礎設施。我們不能等到系統被定義為“超級智慧”後才追問其權力。真正決定危險程度的，是系統最終能讓什麼發生。人類文明用幾百年學會不將無限權力交給任何主體，無論國王、政府、企業還是未來更聰明的機器。AI時代真正重要的安全問題，或許不是能否造出永不犯錯的智慧，而是當智慧犯錯時，現實能否拒絕它。