11月5日,腾讯发布Hunyuan-large。据官方数字,该模型是业界参数规模最大的开源MoE(专家)大语言模型,总参数389B,上下文长度256K,模型层数64层,用到了合成数据。腾讯机器学习平台总监康战辉表示,今天业内用的更多还是自然数据,但自然数据增长跟不上模型的需求。(第一财经记者 郑栩彤)
黄仁勋谈中国AI创新:以令人难以置信的速度前进
Perplexity CEO表示或将利用Kimi K2进行后训练
AI进化速递丨OpenAI的开源语言模型即将发布
华为诺亚方舟实验室在官方平台发布最新声明,表示盘古Pro MoE开源模型是基于昇腾硬件平台开发、训练的基础大模型,并非基于其他厂商模型增量训练而来。
涵盖47B、3B激活参数的混合专家(MoE)模型,与0.3B参数的稠密型模型等10款模型。