分享到微信

打开微信，点击底部的“发现”，
使用“扫一扫”即可将网页分享至朋友圈。

腾讯发布MoE大语言模型

第一财经 2024-11-05 15:42:01

责编：高明妍

腾讯发布MoE大语言模型

11月5日，腾讯发布Hunyuan-large。据官方数字，该模型是业界参数规模最大的开源MoE（专家）大语言模型，总参数389B，上下文长度256K，模型层数64层，用到了合成数据。腾讯机器学习平台总监康战辉表示，今天业内用的更多还是自然数据，但自然数据增长跟不上模型的需求。（第一财经记者郑栩彤）

第一财经广告合作，请点击这里

此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。