11月5日,腾讯发布Hunyuan-large。据官方数字,该模型是业界参数规模最大的开源MoE(专家)大语言模型,总参数389B,上下文长度256K,模型层数64层,用到了合成数据。腾讯机器学习平台总监康战辉表示,今天业内用的更多还是自然数据,但自然数据增长跟不上模型的需求。(第一财经记者 郑栩彤)
AI进化速递丨OpenAI的开源语言模型即将发布
华为诺亚方舟实验室在官方平台发布最新声明,表示盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型,并非基于其他厂商模型增量训练而来。
涵盖47B、3B激活参数的混合专家(MoE)模型,与0.3B参数的稠密型模型等10款模型。
盘古7B相关模型权重与推理代码将于近期上线开源平台。
腾讯混元首款开源混合推理MoE模型 「Hunyuan-A13B」发布。