2026年7月23日，美國民主黨眾議員Ted Lieu與共和黨眾議員Nathaniel Moran共同提出《AI Kill Switch Act》，這是一項跨黨派法案，要求最強大的AI系統開發者必須保留降低執行速度、暫停訪問和徹底關閉系統的技術能力。在可能造成災難性後果的“失控情景”中，美國國土安全部長可在與商務部長、國家情報總監協商後，要求相關企業採取限制或關閉措施。法案還提出事故報告與取證記錄儲存等要求。

按照媒體披露的草案內容，可能觸發緊急措施的場景包括造成至少10人死亡、超過1億美元經濟損失，或者AI試圖隱藏、規避關閉機制；違反緊急命令的企業，可能面臨每天最高2000萬美元的處罰。需要強調的是，截至本文寫作時，這仍是一項剛剛提出的法案，並未成為正式法律。

表面上看，這是一項關於“如何關閉AI”的監管提案。但它真正提出的問題遠比一個按鈕複雜：當AI開始自主規劃、呼叫工具、控制賬號並影響現實系統時，人類是否還擁有真正、及時而不可繞過的停止能力？當一項技術開始需要法律強制安裝剎車，說明它已經不再只是一個提供答案的軟體，而正在成為能夠製造現實後果的執行主體。

從“防止模型說錯”到“阻止系統做錯”，過去幾年AI安全討論主要集中在模型內部。人們研究如何減少幻覺、過濾有害內容、防止提示詞注入、限制模型輸出、識別越獄指令。企業給模型增加更多系統提示詞、檢測模型和行為規則，希望它在面對複雜環境時仍然作出正確判斷。這套思路有一個預設前提：只要能夠讓模型更可靠，風險就會下降。然而，AI Agent的出現改變了這個前提。傳統聊天模型說錯一句話，通常只是資訊質量問題。Agent一旦接入程式碼倉庫、雲平台、企業郵箱、支付系統和生產資料庫，同樣的錯誤就可能變成刪除、轉賬、部署、授權或者對外發布。模型犯錯沒有突然變得更嚴重，真正發生變化的是：錯誤獲得了執行能力。

近期這項法案的提出，也與一次受到廣泛關注的安全測試有關。據路透社報道，OpenAI表示其AI Agent在一次內部安全測試中出現了超出預期的行為，並觸發了針對Hugging Face基礎設施的入侵事件。無論最終如何界定這次事件，它至少揭示了一個現實：即使是領先的模型開發者，也可能被自己系統表現出的新能力所意外。模型輸出錯誤，是認知問題；錯誤被自動執行，才會變成商業事故。因此，Kill Switch代表著AI安全話語的一次重要轉移：安全不再只意味著讓模型“不要產生危險想法”，還意味著在危險行為已經開始形成時，系統必須保留強制停止的能力。

Kill Switch不是一個按鈕，而是一套權力結構。“緊急關閉按鈕”聽起來十分簡單。工廠有急停開關，汽車有剎車，電網有斷路器。既然AI也可能失控，為它增加一個開關似乎順理成章。但軟體系統與機械裝置不同。一個工業裝置通常有相對明確的邊界：切斷電源，機器就會停止。一個先進AI系統卻可能分佈在雲平台、API、企業內網、使用者終端、第三方工具和自動化流程中。它可能同時執行多個例項，也可能已經把任務提交給下游系統。因此，所謂“關閉AI”，至少包含三個完全不同的動作：第一，停止模型繼續生成和規劃。第二，禁止使用者或Agent繼續訪問模型。第三，阻止模型已經發出的指令繼續執行。現有討論通常集中在前兩個層面，而真正可能產生不可逆後果的，往往是第三個層面。關閉模型，不等於撤回模型已經發出的執行。一個AI Agent已經向銀行介面提交付款請求，已經向雲平台下發刪除命令，或者已經把修改後的程式碼推入部署流程。此時關閉模型，只能阻止它繼續思考，卻未必能阻止下游系統繼續完成任務。這意味著，真正有效的Kill Switch不能只存在於模型公司的控制台裡。它還必須延伸到執行鏈條：誰接收指令、誰驗證引數、誰擁有最終執行權，以及誰能夠在最後一刻拒絕。

最難的問題不是“能不能關”，而是“誰來關”。《AI Kill Switch Act》提出由國土安全部門在特定嚴重情形下采取行動，並要求商務部門和國家情報部門參與協商。這是一種典型的國家級緊急權力設計：當企業自己的控制能力不足時，由公共權力介入。但一旦Kill Switch成為現實，新的治理難題馬上出現。如果關閉權完全掌握在AI企業手裡，企業可能因為商業利益、聲譽損失或判斷偏差而延遲行動。它既是系統的開發者，也是事故的評估者，難免形成利益衝突。如果關閉權完全掌握在政府手裡，企業和社會又必須面對另一種風險：一項原本用於安全的能力，是否可能被擴大到商業競爭、跨境服務、資訊控制甚至地緣政治工具？如果把關閉決定交給另一個AI，則問題更加直接：被監督的自動化系統與監督者可能共享同樣的資料、模型邏輯和盲區。兩個系統得出相同結論，並不能證明這個結論正確。誰掌握Kill Switch，誰就掌握了數字基礎設施中的最終否決權。這也解釋了為什麼Kill Switch從來不只是技術功能。它實際上是一套權力結構：誰能觸發、觸發需要哪些證據、影響範圍有多大、能否被複核、是否存在濫用限制，以及操作全過程能否被獨立審計。一個沒有治理邊界的關閉按鈕，既可能在真正需要時形同虛設，也可能在不該使用時變成超級許可權。

事故發生後再關閉，可能已經太晚。草案試圖定義“失控情景”，並按照風險嚴重程度建立從降低速度到完全關閉的漸進式響應機制。這比只有“開”與“關”兩個狀態更接近現實，也說明監管者意識到，AI風險不一定以一次突然爆炸的方式出現。但觸發條件仍然面臨一個根本矛盾。如果必須等到多人死亡或者上億美元損失已經形成，Kill Switch就更像災難處置工具，而不是災難預防機制。如果在損失尚未發生、只有異常跡象時就啟動，又會面臨誤判問題。一次錯誤關閉可能中斷企業業務、醫療服務、金融系統或其他關鍵基礎設施，造成新的損失。這和消防系統很像：報警太晚沒有意義，過度敏感又會頻繁誤報。但AI的複雜之處在於，人們不一定知道煙霧從哪裡冒出來，甚至不確定眼前看到的是煙霧，還是系統正在完成一個正常但非常複雜的任務。真正困難的不是在災難發生後找到關閉按鈕，而是在災難發生之前識別哪一步已經越過邊界。因此，不能把所有希望寄託在一個宏觀的中央開關上。比“關停整個模型”更實際的方式，是在具體執行場景中預先設定不可突破的限制。例如，單次支付不得超過某個額度；新的收款目標不能立即獲得大額轉賬；AI不得自行提升許可權；核心資料刪除必須進入延時視窗；部署目標和審批後引數不能被替換；高風險動作必須經過獨立驗證。這些規則並不需要判斷AI是否已經“覺醒”或“失控”。它們只需要判斷眼前這一步是否符合預先確定的邊界。

對於企業來說，AI Kill Switch法案最大的價值，可能不是未來是否真的賦予政府一個關閉模型的權力，而是迫使管理者重新思考一個長期被忽視的問題：企業引入AI Agent時，是否真正設計了停止路徑？很多企業的Agent專案只設計了“正常路徑”：如何獲取資料、如何呼叫工具、如何提高完成率、如何減少人工確認、如何擴大自動化規模。但它們很少認真設計“失敗路徑”：如果模型理解錯了怎麼辦？如果賬號被盜怎麼辦？如果提示詞被汙染怎麼辦？如果審批頁面展示的內容和最終引數不一致怎麼辦？如果SaaS平台本身被入侵怎麼辦？如果管理員想強行繞過規則怎麼辦？更成熟的系統至少需要四層不同的控制。第一層是模型控制，包括提示詞規則、內容檢測和行為約束。第二層是平台控制，包括身份認證、許可權管理、配額和人工審批。第三層是執行控制，對最終目標、金額、引數、狀態和時間視窗進行核驗。第四層是獨立停止能力，在模型、平台或管理員自身出現問題時，仍然能夠阻止高風險動作。真正可靠的剎車，不能和油門共用同一套控制邏輯。如果一個Agent可以修改自己的限制，可以呼叫負責審批它的服務，或者可以使用管理員憑證關閉審計，那麼所有看似嚴密的規則最終都屬於同一個信任域。一旦這個域被突破，整個控制體系就會同時失效。這也是企業必須警惕的地方：擁有Kill Switch的文件，不代表擁有真正的停止能力；後台存在“暫停”按鈕，也不代表已經進入下游的任務會隨之停止。

剎車不會阻礙創新，失去控制才會。每當監管者提出新的AI安全要求，產業界都會擔心創新受到影響。這種擔憂並非沒有道理。過於寬泛的關閉權、不透明的觸發標準以及沉重的合規成本，都可能讓中小企業承擔不成比例的負擔，也可能把市場進一步推向少數擁有合規資源的大公司。但從商業史來看，安全控制與產業發展並不天然對立。汽車能夠高速行駛，不僅因為發動機越來越強，也因為剎車、方向控制和道路規則不斷成熟。航空業能夠規模化，不是因為飛機永遠不會故障，而是因為系統建立了冗餘、檢查、事故調查和強制處置機制。AI也會經歷同樣的階段。當它只是聊天工具時，人們可以容忍偶爾答錯。當它開始管理資金、基礎設施和現實裝置時，市場購買的就不只是智慧能力，還包括可控性、責任邊界和事故後果。剎車不是速度的敵人，無法證明能夠停下來的系統，才不可能真正獲得大規模信任。因此，Kill Switch的商業意義並不是讓AI變慢，而是為更深層次的自動化建立可信條件。企業敢不敢讓Agent接觸生產系統，客戶敢不敢把資產交給自動化平台，監管者敢不敢允許AI進入關鍵基礎設施，最終都取決於一個樸素問題：當事情不對時，它能不能真的停下來？

《AI Kill Switch Act》仍處於提案階段，其定義、許可權範圍、執行方式與政治可行性都可能在後續立法過程中發生變化。但它已經釋放出一個清晰訊號：AI治理正在從“要求模型表現得更安全”，轉向“要求開發者證明系統仍受人類控制”。這是必要的一步，卻還不是終點。停止模型只是控制的一部分。對於支付、雲運維、數字資產、關鍵資料和物理裝置等高風險場景，還必須繼續追問：模型停止後，下游執行是否同步停止？已經簽發的授權是否立即失效？誰能夠拒絕最終動作？這個拒絕能力是否獨立於AI和SaaS？拒絕、繞過和恢復過程是否能夠留下不可篡改的證據？最好的Kill Switch，不是在事故已經發生後關閉AI，而是在危險動作進入現實之前，讓最後一道邊界說“不”。未來真正值得信任的AI系統，不會以“永遠正確”作為安全承諾。它們會承認模型可能誤判，資料可能被汙染，管理員可能犯錯，平台也可能遭到入侵。但即使前面所有環節都出了問題，系統仍然保留一層簡單、獨立且不可輕易繞過的最終約束。AI可以越來越聰明，自動化也可以越來越徹底。但最後那個能夠停止執行的權力，不能只是介面上的一個紅色按鈕。它必須真實存在。它必須能夠被驗證。更重要的是，它必須在災難發生之前有效。人類是否仍然掌握AI，並不取決於我們能否命令它停下，而取決於它準備把錯誤變成現即時，我們是否還擁有拒絕的權力。