蚂蚁、中国人民大学发布行业首个原生MoE扩散语言模型

外滩大会上，蚂蚁集团和中国人民大学联合研发原生MoE架构扩散语言模型（dLLM) LLaDA-MoE，在约20T数据上完成了从零训练MoE架构的扩散语言模型，验证了工业级大规模训练的扩展性和稳定性。该模型将在近期完全开源。