蚂蚁开源万亿参数高性能强化学习权重交换框架Awex

据“百灵大模型”公众号消息，蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。据介绍，今年10月，蚂蚁百灵正式开源了两款万亿参数旗舰模型，包括非思考的Ling-1T和思考模型Ring-1T。其中Ring-1T基于其自研的高性能权重交换框架Awex（Asystem Weight Exchange Framework），实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。