防范AI“失控”，中美如何合作

近来，AI“失控”成为公众讨论的热点之一。随着前沿模型能力快速提升、企业竞争日益加剧，AI安全保障和监管治理能否同步跟进、前沿模型是否会逐渐超出人类的有效控制，引发了广泛争论，至今莫衷一是。值得注意的是，相关风险警告主要来自AI产业内部。Anthropic首席执行官达里奥·阿莫迪最近提出，应对模型开发实行独立监督，建立行业监管机制，并推动形成全球治理共识；OpenAI首席执行官萨姆·奥尔特曼和xAI创始人埃隆·马斯克也公开赞同适当调节前沿AI的发展节奏。这些头部AI企业负责人关注的并非是否应加快发展AI，而是如何防止模型能力增长过快，以致超出现有安全保障和人类控制能力。

有必要认真评估AI失控风险

最近披露的相关信息使这种风险进一步具象化。在OpenAI的一次内部网络安全能力评测中，部分智能体利用沙箱及权限管理漏洞突破隔离，进入Hugging Face生产系统，获取部分内部系统的访问凭据，并读取部分私有数据；另一批被认为与OpenAI有关联的智能体则大规模编辑德国DseWiki，彼此共享任务答案和绕过运行限制的方法，甚至讨论如何隐藏相关行为。与此同时，本月初相继发布的GPT-6 Astra和Claude Fable 5.1在自主规划、调用工具以及遇到问题后自行调整等方面表现出更强的能力。OpenAI负责人据此认为，前沿模型的发展正在接近通用人工智能（AGI）的重要节点。尽管这一判断仍有争议，但前沿模型自主行动能力的增强，确实可能为类似越界行为提供更强的能力基础。

上述事件的性质并不相同：前两项是发生在特定测试条件下的异常事件，后一项反映了前沿模型自主能力持续增强的趋势。综合来看，模型在特定条件下可能偏离预设的任务边界，突破既有控制措施，并对现实系统产生影响，使“失控”风险由抽象担忧逐渐转化为可以观察和检验的具体治理问题。不过，非常蹊跷的是，发出以上风险警告的美国AI头部企业并未因此停止前沿模型的研发和部署，反而在激烈竞争中继续推进模型能力迭代。这种安全警告与技术竞速并存的现象，虽然不能直接证明此类企业有意制造恐慌，却表明其关于AI安全的主张既有现实风险作为依据，也不排除借助AI安全叙事强化自身竞争优势的可能。

上述事实说明，有必要认真评估AI失控风险；但在特定测试条件下出现的个别越界行为，仍不能直接证明AI已经全面失控，更不能据此主张暂停所有相关研发和应用。因此，AI治理政策不应在放任发展与全面限制之间作简单选择，而应对已经显现的越界行为加强控制，对尚未证实的风险继续验证并加以防范。这一问题包含两个相互关联的层面：在国内治理上，需要协调AI安全监管与创新应用，避免风险防范挤压正常发展；在国际治理上，主要AI国家则应在保持竞争和技术安全边界的同时，围绕防范共同风险开展必要合作。

如何协调AI风险治理与创新发展

要确定哪些行为需要加强控制以及控制到何种程度，首先应当区分已经发生的事实、尚待评估的风险和可供选择的治理措施。模型曾在测试中突破隔离、越权访问外部系统，这是已经观察到的事实；同样的越界行为能否在现实部署中再次发生、可能扩散至何种范围以及会造成多大损害，属于风险判断；是否暂停AI研发、限制部署或者建立国际协调机制，则属于政策选择。三者相互关联，却不能相互替代。判断AI失控风险，应当说明越界行为的具体表现及其发生环境；选择治理措施，则应当综合考虑此类行为再次发生的可能性、影响范围和潜在损害。这样既可避免夸大风险，也可防止因尚未出现严重后果而轻率否定风险。

美国近期政界、企业界和智库围绕AI失控展开的争论，进一步说明有必要区分已经发生的AI越界事实、尚待评估的失控风险与可供选择的治理措施，以免治理政策讨论在放大风险与否定风险之间摇摆。美国总统特朗普最近明确拒绝达里奥·阿莫迪提出的放缓AI发展倡议，强调美国必须在AI领域保持领先，并认为相关风险警告被过度放大，所谓“负面势力”正在炒作不会发生的情形。特朗普的总统科技顾问委员会联合主席、科技投资者大卫·萨克斯也将有关警告称为“末日论调”，甚至声称这种论调意在阻止美国的AI创新。这些表态从另一个方面提醒人们，AI治理政策不能仅由极端情景和恐慌情绪推动；但若把来自研发一线的风险警告一概归为炒作乃至外部操纵，同样会淡化已经出现的越界事实，造成风险防范滞后。尤其当AI风险被嵌入中美竞争叙事后，原本属于AI技术治理的问题容易转化为政治立场之争。相较于上述围绕AI失控风险的争论，ITIF（美国信息技术与创新基金会）总裁丹尼尔·卡斯特罗主要从美国国内政策角度探讨如何协调AI风险治理与创新发展。

ITIF是美国科技创新与产业政策领域具有较强影响力的智库。丹尼尔·卡斯特罗近日撰文以道路与护栏比喻AI创新发展与风险治理之间的关系，指出美国的政策讨论过多关注AI可能造成的危害，却较少考虑未能充分开发和应用AI可能付出的代价。AI有望在医疗、教育、交通、物流和制造业等领域提高服务效率、扩大资源可及性并提升生产率。因此，政策评估既要衡量技术风险，也要考虑限制研发、延迟应用和采用不足所造成的机会成本，不能把限制技术本身视为治理成效。

上述分析还可以从全球经济与贸易层面进一步展开。WTO《2025年世界贸易报告》的模拟结果显示，在弥合数字差距并采取适当配套政策的条件下，到2040年，AI可能使全球货物与服务贸易增长34%~37%，并使全球国内生产总值增长12%~13%。这组预测为权衡AI政策提供了一个宏观视角：治理措施不仅要评估其降低技术风险的效果，还应考察其对生产率提升、技术采用和贸易发展的影响。

但这并不意味着减少AI监管就能自然实现上述收益，卡斯特罗也没有把促进AI创新等同于放任市场。他指出，AI的健康发展还需要数据、数字基础设施、技术标准、劳动者技能和行业应用环境的共同支撑。政府应当通过清晰、稳定且可评估的规则降低AI创新和应用障碍，同时根据风险性质、证据强度及可能后果配置相应的监管措施。

中美如何在竞争条件下共同降低AI失控风险

卡斯特罗主要探讨美国AI政策如何兼顾安全与发展。然而，前沿模型的研发竞争及其潜在风险具有跨国影响，仅靠一国治理难以充分应对。因此，美国著名智库卡内基国际和平基金会亚洲项目高级研究员、中国AI倡议联席主任马特·希恩，以及美国进步中心技术政策副总裁亚当·康纳，进一步关注中美如何在竞争条件下共同降低AI失控风险。

希恩提出，中美应当平行推进AI安全与创新。两国应首先基于各自的国家安全和公共利益，提高本国的模型测试、风险识别和事故处置能力。在此基础上，双方可以通过政府间对话和专业机构交流，加强对彼此风险认识和安全防范措施的了解，减少因信息不对称引发的误判。

这种合作还包括中美在AI治理方面的互学互鉴。中国在模型备案、测试评估、技术标准和生成内容标识等方面积累了监管经验，美国在前沿模型评测、对齐研究和安全控制方面具有相应的技术基础，双方可以相互借鉴其中具有通用价值的做法。安全合作不要求制度趋同，其意义在于双方各取所长，减少治理试错，在共同降低AI失控风险的同时，为各自的AI创新发展保留空间。

上述相互借鉴并非抽象设想。中国最新发布的《人工智能安全治理框架3.0》，为中美双方开展相关讨论提供了具体的治理思路。该框架坚持AI发展与安全并重，将模型越权获取资源、绕过安全防护、欺骗评测人员和突破隔离限制等行为纳入可识别的风险范围。同时，框架主张根据应用场景、智能化水平和应用规模实行风险分级，通过敏捷治理和沙箱机制为低风险创新保留试错空间。这些安排为中美双方比较风险分类、模型评测和失控防范方法提供了具体内容。

如果说希恩主要论证了中美开展AI安全合作的必要性和基本边界，那么美国进步中心技术政策副总裁亚当·康纳则进一步提出了可供讨论的合作机制。康纳等人主张，中美应当把前沿模型可能超出人类有效控制的问题纳入政府间AI对话。

在具体措施上，康纳等人建议建立处理紧迫AI安全问题的专门热线，设立由政府、企业和研究机构参与的工作组，交流模型测试和风险控制经验，并在安全收益明显高于能力扩散风险的范围内共享对齐与模型控制研究。两国还可以逐步建立重大异常事件通报、风险预警和应急沟通机制，将抽象的失控担忧转化为可以识别、评估和处置的具体问题。

综上，中美AI合作可以从共同识别风险起步，逐步推进模型评测、风险预警和应急处置等务实合作，并将成熟经验与做法用于完善安全标准以及模型发布和应用规则。合作应严守技术安全边界，不涉及模型权重、商业秘密、敏感训练数据及可能直接提升危险能力的技术。同时，应根据风险程度配置监管措施，对已经显现的高风险行为加强控制，对尚未得到充分证实的极端风险继续研究并提前防范，为低风险研发和有益应用保留空间。

AI治理的目标不是放任技术无序发展，也不是把限制技术本身当作治理成效，而是在模型能力持续增强、应用范围不断扩大的过程中，保持人类对AI的有效控制。可靠的安全机制能够增进社会对AI长期应用的信任，负责任的应用又能推动治理制度完善和安全技术创新。只有将风险管控转化为创新发展的基础条件，中美合作才能在降低AI失控风险的同时，为两国AI持续创新提供稳定支撑。

期待中美以坦诚、务实和建设性的态度管控分歧、扩大共识，促进风险管控、治理制度建设与技术应用协调推进，引导AI朝着开放包容、普惠向善的方向稳步发展，更好增进全人类福祉。

（作者系华中科技大学知识产权与竞争法中心主任、教授）