北京时间3月18日凌晨,马斯克旗下xAI公司宣布正式开源Grok-1大模型及该模型的权重和网络架构。官网介绍称,Grok-1是3140亿参数的混合专家模型,是“迄今为止全球参数量最大的开源大语言模型。”
xAI曾在2023年11月推出第一代大语言模型Grok,最初版本Grok-0拥有330亿参数,紧接着推出经过数次改进的Grok-1,为X上的Grok聊天机器人提供支持。
xAI称,此次开源版本为Grok-1在2023年10月完成预训练阶段时的基础模型数据,未针对任何具体任务进行微调。去年10月,xAI团队利用定制的训练技术栈,在JAX和Rust的基础上,从零开始构建了此模型。
xAI已将Grok-1的权重和架构在软件托管平台GitHub上开源,根据Apache 2.0许可协议,用户可以自由使用、修改和分发软件,无论是个人还是商业用途。
当天,马斯克不忘在社交平台再次嘲讽OpenAI一番,他发文称,“我们想了解更多OpenAI的开放部分。”
马斯克正式开源Grok-1!3140亿参数成迄今最大开源大模型。点击视频,一看究竟!