智源大会热议AI安全，图灵奖得主建议接受概率性风险

6月12日，第八届北京智源大会现场，智源研究院院长王仲远披露，截至目前，智源开源模型超200个，全球总下载量累计超过10亿次。

此外，AI安全仍是开幕式重要议题，行业密切关注AI如何稳定、持续、安全地与现实环境交互，并真正参与工作流与社会系统运行。

采访中，王仲远对第一财经记者表示，行业在前两年更多担忧超级人工智能的远期风险。如今，随着AI智能体、大模型自进化能力发展，已出现大量现实可复现的安全威胁。相关工具可绕过现有筛查机制，合成有害蛋白、突破网络漏洞，生物安全与网络安全风险正变得具象化。

Anthropic是目前全球范围内最为积极强调AI安全的模型厂商，CEO Dario Amodei（达里奥·阿莫迪）认为AI系统正在逼近递归自我改进的临界点，建议行业暂停前沿AI开发，并发表《人工智能指数政策》，强调再持续发展一两年，世界很可能会迎来他所定义的强人工智能。

对此，王仲远对记者表示，大模型递归自进化能力的确进一步放大了AI安全隐患，近期行业也在讨论头部模型对网络安全的影响，包括生物与管理安全，这些都已迫在眉睫。同时他认为，这不是一家科研机构能够单独解决的，需要行业共同努力，包括产业链升级、跨领域专家联合、政策法规制定等，最终实现更加平滑地过渡。

现场，2015年图灵奖得主Whitfield Diffie（惠特菲尔德・迪菲）也谈及AI安全问题，他称，目前行业主流的安全运维模式可以归为控制论思路：程序出现漏洞后再修复，发现问题再调整，如同反复转动船舵修正航向。但当前AI智能体的安全防护仍存在明显短板：程序、子进程的权限管控机制不完善，无法严格限定行为边界，程序往往可以突破预设范围执行操作，这一问题和人类用工法律中的部分困境相似。

整体来看，Diffie认为人机交互将成为21世纪核心议题，重要性远超国际关系、核战争、全球变暖等。最终AI会否接管世界？Diffie认为答案是肯定的，但人机之间不会发生战争，未来机器将持续为人类分担工作、提供便利，人类也乐于接受。

至于面向AI安全的态度，相较Anthropic所强调的AI恐慌，不追求绝对“零风险”的务实思维逐渐在行业形成共识。Diffie表示，安全本身并非绝对的确定性事件，人类出行这种事都存在概率性风险，AI安全同样如此。密码学追求绝对的规则约束，但AI安全需要接受概率特征。