2026年9月，美国参议员伯尼·桑德斯与众议员格雷格·卡萨尔公布了一项名为《禁止人工超级智能法案》的立法计划。该提案旨在永久禁止人工超级智能的开发与部署，并在联邦层面建立相应安全规则之前，暂停部分先进人工智能的进一步开发。需要明确的是，这目前仍是一份宣布中的立法主张，尚未成为生效法律。

提案一出，争议随之而来。反对者不仅来自产业界，一些长期呼吁强化AI安全监管的研究者也认为，直接宣布永久禁止过于激进，等于用法律封存一个科学界尚未稳定定义的对象。支持者则强调，若人类真造出无法控制的系统，届时再讨论治理可能为时已晚。

抛开政治立场，该提案真正值得关注之处，或许在于它无意间暴露的治理空缺。当AI从“回答问题”走向“完成任务”，从生成文本到调用接口、改变现实状态，一个核心问题浮出水面：我们究竟应控制“智能”，还是控制“执行”？

过去十年，AI安全讨论多聚焦于模型本身——偏见、幻觉、隐私、越狱、对齐等，风险被视为源于“机器如何思考”，治理也围绕“脑”展开，如训练数据、参数规模、能力评估等。“禁止超级智能”正是这一思路的延续：若系统强大到无法保证可控，最稳妥的办法就是不让其出现。然而，这或许只触及风险的一半——真正将风险带入现实的，是智能获得执行能力。一个系统“想错”与“做成”，中间隔着长期被忽视的“执行”环节。

设想两个AI：一个极其聪明，能分析市场并生成建议，但无任何账户权限，无法下单或转账，即使判断失误，风险链上仍有人为决策的断点；另一个能力平平，却可直接登录交易系统、调用支付接口、修改数据库。后者的危险不再取决于“多聪明”，而在于“能让什么发生”。风险结构更接近：风险=智能能力×执行权限×自主程度×作用规模×作用速度。一次错误从“信息”变为“事故”，关键在于执行。能力平平的模型，在生产环境执行一次错误删除命令，就可能造成不可逆损失。因此，危险程度并不与智能水平完全同构，远低于“超级智能”门槛的系统，完全可能拥有更高的执行风险。

这引出一个反直觉的结论：治理若只盯着能力天花板，会漏掉当下大多数事故。当系统可能失控，人们本能反应是“别让它太聪明”，于是限制能力、训练、算力、参数。但现实世界存在另一条路：即使系统聪明，也不应拥有无限执行权。人类社会对此并不陌生——不会因员工聪明就允许其独自调走银行全部资金，不会因工程师技术出色就允许其无边界改写生产系统。现代组织治理的成熟之处，恰在于能力与权力分离。然而AI工程实践正将两者重新混合：一边训练强大智能，一边将API Key、数据库权限、云控制权限等不断交出，再通过提示词或对齐训练要求其“正确使用”。这隐含危险假设：智能足够可靠，执行即可被信任。而人类制度设计恰恰相反——无论主体多优秀，都不应拥有不受约束的最终执行权。

工程世界对此有朴素表述：可靠系统从不建立在“组件永不失败”的假设上。飞机有冗余，数据中心有备份，金融机构有审计，核电站有异常处理。成熟工程逻辑是：失败必然发生，问题在于失败时如何阻止其演变为灾难。AI Agent在数百步任务中，某一步出错几乎必然，若第39步调用真实接口，就可能改变现实。因此，需在模型判断之外设立独立边界，否则边界与错误共享同一源头，等于没有关口。

未来AI治理或需重心迁移：从“模型有无危险能力”转向“即使有能力，能否转化为现实动作”。模型能规划支付不等于能完成支付，能生成删除命令不等于数据库真被删除。意图不等于执行，授权也不等于执行。现实安全最终收敛于“钱被转走、服务器被关闭”的瞬间。由此可得一套安全哲学：不必先证明机器永不想错，但必须保证想错的东西不能自动变成现实。前者是可能无终点的认知战争，后者是可通过工程实现的关口。

“超级智能”治理难题之一在于定义：何时算AGI、ASI？超过人类平均水平还是最优秀专家？部分领域还是全部？现有基准能否稳定衡量？反对者据此质疑法律边界难以执行。而执行边界天然具体：支付限额、可接收账户、可修改的生产环境、设备启动条件、需第二主体确认的动作、超时失效的命令等。这些问题无需回答AI有无意识、是否超级智能，只需回答“这个动作此刻能否发生”。执行边界将抽象哲学问题转化为可工程化、可审计、可验证的问题。

治理颗粒度上，针对“模型”的措施往往巨大笨重——禁止训练、关闭系统、限制算力，非此即彼。而针对“执行”，控制可细化到每个动作。成熟治理或非一个总开关，而是无数极小的执行闸门：AI可分析、规划、建议，但触及高风险执行点时，系统须重新验证主体、动作、目标、状态、证据、边界及意图一致性。文明极少通过“全面禁止一种能力”获得长期安全，更多是“允许能力存在，但把权力关进结构”，如电力、金融、航空等皆如此。

这涉及计算机安全的“零信任”觉醒：不再将“主体可信”当作安全机制，信任可作判断，但不能是防线。未来AI安全成熟标志，或许不是造出永远正确、服从的系统，而是能容纳现实假设——AI会犯错、被攻击，策略会写错，管理员会失误，甚至机器聪明到无法理解。即便如此，错误也不能自动获得改变现实的最终权力。边界保护的不是对机器的怀疑，而是判断失效后重来的余地。从“可信的人”走向“可信的结构”，是成熟制度的共同路径。

《禁止人工超级智能法案》最终走向尚无答案，争论必将继续。有人认为这是面对潜在文明级风险的预防原则，有人认为会扼杀创新并试图定义未明对象。但或许更值得讨论的是：若暂无法决定智能终点，至少应开始决定执行边界。超级智能可能在未来，Agent执行却已发生在今天——AI正接触代码仓库、账户、云平台、支付系统及现实基础设施。我们不能等到系统被定义为“超级智能”后才追问其权力。真正决定危险程度的，是系统最终能让什么发生。人类文明用几百年学会不将无限权力交给任何主体，无论国王、政府、企业还是未来更聪明的机器。AI时代真正重要的安全问题，或许不是能否造出永不犯错的智能，而是当智能犯错时，现实能否拒绝它。