端侧多模态无损部署，RockAI推出Yan1.3大模型

作为“新质生产力”的典型代表，人工智能正与千行百业深度融合，成为社会及经济结构革新的关键支柱。

以chatGPT为代表的大型语言模型革命性突破，让人们看到人工智能的巨大潜力和价值。然而，Transformer大模型对算力的高需求使得端侧设备难以承担，尤其是在移动设备和物联网设备上；在云端部署又面临网络延迟、数据安全、持续联网等挑战。

以无人机产业为例，目前大多无人机的控制中心都部署在云端，对于收集到的数据往往需要传回云端处理判定再发回设备端执行，智能水平和反应速度均无法满足智慧城市建设等日益增长的需求。

如何解决端侧大模型的部署成为人工智能应用落地的关键。岩山科技（002195.SZ）控股子公司岩芯数智RockAI提出了一个全新的解决方案。

近日，RockAI推出升级的Yan1.3群体智能单元大模型。此前在今年1月，RockAI发布了国内首个非Transformer架构的通用自然语言大模型Yan1.0模型。相较于Yan1.0，Yan1.3具备了多模态能力，可高效处理图文及语音等多模态信息。

Yan模型基于“同步学习”概念，允许模型在推理过程中进行训练学习，实时更新知识，这种学习方式类似于人类大脑的工作机制，能够快速适应新的环境和需求。此次发布的Yan1.3进一步优化了底层神经网络架构，并以基于仿生神经元驱动的选择算法达成模态分区激活，实现了模型在更广泛设备端上的离线无损部署，哪怕在只有苹果M2算力1/6的CPU上也能够流畅运行。

RockAI CEO刘凡平表示：“我们认为，群体智能才是通往通用人工智能的关键路径。因此，RockAI以Yan架构打造群体智能单元大模型，不单是为了提升某个设备的能力，更是为机器注入一种新的、本质性的智能基因，使其拥有超强的环境适应力和自主学习能力。届时，每个部署了Yan模型的设备都将成为一个智能单元，通过它们的不断协同、交互，最终激发群体智能的涌现。”

现场，RockAI团队展示了一款部署了Yan1.3大模型的“飞龙”无人机，它能对突发状况做出即时判断和处理，无需传回云端，在复杂环境中的适应性和自主性大大提升。除了无人机，Yan1.3大模型已经在机器人、PC、手机等各类终端设备上实现离线无损部署。

据悉，经过对不同硬件的研究和大量调试，目前RockAI已经适配了英伟达、高通、联发科、英特尔、瑞芯微等平台，商业化进程也在不断加速。

同时，Yan1.3模型的收费模式也有别于transformer架构大模型。RockAI方面表示，与transformer架构大模型按调用次数收费不同，Yan1.3模型是按照设备数量收费，在应用到端侧的时候，使用成本比transformer架构大模型要低，而且能够在端上很流畅地跑。