马斯克正式开源Grok-1！3140亿参数成迄今最大开源大模型

北京时间3月18日凌晨，马斯克旗下xAI公司宣布正式开源Grok-1大模型及该模型的权重和网络架构。官网介绍称，Grok-1是3140亿参数的混合专家模型，是“迄今为止全球参数量最大的开源大语言模型。”

xAI曾在2023年11月推出第一代大语言模型Grok，最初版本Grok-0拥有330亿参数，紧接着推出经过数次改进的Grok-1，为X上的Grok聊天机器人提供支持。

xAI称，此次开源版本为Grok-1在2023年10月完成预训练阶段时的基础模型数据，未针对任何具体任务进行微调。去年10月，xAI团队利用定制的训练技术栈，在JAX和Rust的基础上，从零开始构建了此模型。

xAI已将Grok-1的权重和架构在软件托管平台GitHub上开源，根据Apache 2.0许可协议，用户可以自由使用、修改和分发软件，无论是个人还是商业用途。

当天，马斯克不忘在社交平台再次嘲讽OpenAI一番，他发文称，“我们想了解更多OpenAI的开放部分。”

马斯克正式开源Grok-1！3140亿参数成迄今最大开源大模型。点击视频，一看究竟！