
{{aisd}}
AI生成 免责声明
6月5日,一篇来自Anthropic的长文在AI圈刷屏。这家手握前沿模型Claude、估值正一路狂奔的明星公司,突然向行业抛出一个提议:放缓或暂时暂停前沿AI开发。
理由是:AI系统正在逼近一个“递归自我改进”的临界点,届时,AI将能在没有人类监管的情况下自行迭代,造出更强的下一代AI。临界点一旦达成,很可能引发失控和社会动荡。因此,需要暂缓AI演进速度,以使社会结构和价值观对齐研究能够跟上技术进步的步伐。
文章一经发出就引发许多争议。鉴于Anthropic即将上市,且刚刚完成巨额融资,这一文章被解读为战略炒作和营销,有人调侃Anthropic这一呼吁像是“期末考试前呼吁大家暂停复习一周”。
多位行业人士对第一财经提到,AI安全风险确实存在,未来会是“核武器级别”的工具,极度扩散会带来威胁。但Anthropic的这一文章并非严格的技术报告,更像是为了达成企业自身目的而渲染的安全焦虑,并无实操价值。
“一场战略营销”
信息安全研究员关傲男(Aonan Guan)对第一财经记者表示,Anthropic这一发声更多是为了向资本市场证明其研发新模型的边际成本,以及AI未来将在各行业新业务场景持续渗透的趋势。文中提到的“彻底改变知识工作和政府服务”部分就是对其商业想象力的描述。
对于文章内容本身,关傲男称,这并非严格的技术报告,更倾向于是Anthropic Institute部门(AI风险与社会影响专项研究院)的公关游说与政策倡导目的的宣传文章。文章的主要作者Jack Clark(杰克·克拉克)曾是科技媒体记者,现任Anthropic政策高管,另一位Marina Favaro(玛丽娜·法瓦罗)也是专注安全战略与军控的政策研究员,并非来自技术团队。
Anthropic这一文章的核心内容在于,提出了AI后续演化的三种可能。
第一种概率最低,风险也最小,即AI能力停滞在当前水平,但现有技术普及仍将重塑各行各业。文章提到,Anthropic代码库中的代码已经有超过80%都由Claude生成。
第二种是企业人均生产力成倍暴涨,百人团队可完成过往万人甚至十万人的工作量,知识产业、政务服务迎来颠覆性变革,但该技术同样可被滥用。人类大概率正迈向这一情景。
第三种情景是,若技术趋势持续,AI将掌握人类创造性研发的全部能力,独立自主设计迭代新版本,人类重心转向AI监管、成果核验,AI能力会外溢至全领域科研,加速医药、化工、基础科学突破。该情景最无法预判的变量是价值观对齐问题能否被解决,人类有概率彻底失去管控。
关傲男认为,虽然文中关于AI提升工程通量等技术说法,以及对自动化趋势的展望均合理,但其对于未来的展望场景缺乏严谨的量化推演,更像是为了达成企业自身目的而渲染的安全焦虑。
“这就好比一家造车新势力,其超级工厂里的机械臂组装汽车速度比过去快了10倍,完全替代流水线上的装配工人已经没有任何问题,但这并不代表它就能独立完成一款全新汽车的完整设计与研发。”关傲男举例表示,如果车企宣称,因为机器组装得足够快,所以马上就能凭空发明出下一代颠覆性的全新车型,市场显然不会买账。
因此,他认为,Anthropic所谓的“自主研究”也是这一逻辑,在现阶段渲染这部分能力,显然是为了拉高估值而强调企业个体的叙事。
这种怀疑并非孤例。前华尔街分析师Tae Kim今日发文提到,Anthropic持续基于恐惧的营销策略以吸引关注,这种策略显然旨在为即将到来的IPO抢占监管先机,“令人厌倦,它将对整个美国AI行业产生适得其反的效果。”
此外,从实际操作来看,Anthropic提出的放缓或暂停前沿AI开发也很难践行。文章也提到,这需要多国多家头部算力实验室在统一规则下达成停止研发共识,同时配套可互相核验的落地机制。
“要在全球范围内强制暂停人工智能研发几乎不可能,因为无论是经济利益还是国家安全,人工智能发展的利害关系都过于重大,任何超级大国都不可能甘愿在此刻主动刹车。”美国独立科技分析师罗布·恩德勒(Rob Enderle)也认为。
他认为,Anthropic的文章更像是一场战略营销。公司所宣称的生产力提升很可能确有其事,但宣传其在实现递归自我改进方面的进展,则更像是一步经过精心算计的策略。它正向投资者大肆吹捧自身实力,以期将自己塑造成该领域的绝对前沿领导者。
也有行业人士猜测,Anthropic这番行为也像是一个免责声明,毕竟这家公司一直标榜自己以AI安全为研究底线,但现在,公司似乎在暗示,团队仍然关心安全和对齐,但市场正在踩油门,未来Anthropic别无选择。
人人手握“核武器”的未来
尽管Anthropic的焦虑叙事里掺着营销水分,但大模型行业近期频繁出现的安全事故,以及AI自进化能力的苗头,确实不容忽视。
关傲男持续关注网络安全领域,他多次发现Anthropic旗下Claude Code存在网络沙箱绕过漏洞,以及Claude安全扫描产品能被劫持并泄露用户密钥等问题,且Anthropic并未妥善处理。
关傲男称,这也说明,即便Anthropic是一家自我宣传极其注重安全的公司,他们自身也不能很好地处理模型高速发展与安全防护之间的冲突。且这类问题会持续发生,即便AI辅助开发能将代码漏洞产出概率降至原先的30%,但倘若AI开发使用规模同步暴涨至原有4倍及以上,整体暴露的安全漏洞总量仍会持续攀升。
因此,在模型高速生成代码的当下,关傲男认为行业暴露的安全问题非常高频,连大厂自身也不能很好地解决,不过,这并不意味着需要全行业停止对人工智能的研发投入。
复旦大学计算与智能创新学院教授肖仰华对第一财经记者表示,今天的AI能力确实已经到了自进化、自改进的全新阶段,这种能力在一些前沿实验室包括他所在的团队都已经看到了。他认为,头部人工智能公司因为能较早地看到AI的这些潜力,所以发出了这些声音,部分是可以理解的。
今日腾讯高级执行副总裁汤道生在接受第一财经等媒体采访时,也谈及AI自我进化的观点。他认为今天的模型研发已经有很大程度上有AI的贡献,随着这个趋势继续,承担下一代大模型研发的比重、比例肯定是不断增加的。
肖仰华预测,AI会在很多传统行业掀起巨浪,挑战巨大。这种冲击已经在网络安全、软件等行业发生了,此前美国软件SaaS产业经历了一场大跌,而这仅仅是AI代码能力所带来的连锁反应,未来AI将具备的能力矩阵会越来越多元,对人类社会传统形态的影响只会更加重大。
以此前爆火的智能体“龙虾”(OpenClaw)为例,肖仰华认为,未来其实人人都可以拿到一个“核武器级别”的工具。
“大部分人因为对AI的理解和使用能力有限,这个核武器级别的工具还没有发挥出它的作用,但是随着越来越多的人的了解和认知进步,每人电脑里面都装一个‘核武器’,随时可以对其他人发起攻击或进行破坏。”肖仰华警示,这相当于是一种超级能力的极度扩散,会对整个人类社会带来威胁。
在AI这场安全与速度的拉扯中,每一家大模型公司都既是运动员、又是安全哨兵,商业野心与安全叙事交织,外界很难看清这些发声是否属于资本的游戏,但抛开厂商的争议,AI模型的安全确实是整个行业必须直面的问题。