首页 > 新闻 > A股

分享到微信

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

端侧AI应用加速落地,NPU起量降本在路上

第一财经 2024-07-18 18:00:05 听新闻

作者:冯丽君    责编:黄宇

NPU被认为是更适合边缘侧、端侧的处理器,与GPU、CPU共同构成当前的AI计算底座。

AI手机、AIPC……随着端侧AI应用逐步落地,AI正成为后续高端消费电子产品的必备功能。市场调查机构Counterpoint Research预测,2023-2027年,全球高级AIPC销量复合增速为115%,AI手机销量复合增速为65%。

而随着端侧AI产品的快速增长,应用于端侧、边缘侧的AI算力芯片NPU(神经网络处理单元)或将逐步起量。NPU能够更高效率、更低能耗地处理人工神经网络、随机森林等机器学习算法和深度学习模型,被认为是更适合边缘侧、端侧的处理器,与GPU、CPU共同构成当前的AI计算底座。

端侧AI应用加速落地

2023年,云端大模型开始在行业层面展开应用,但智能终端如手机、PC、汽车等AIoT设备,无疑是通用人工智能更广泛的应用载体和场景。

国内AI算力公司爱芯元智创始人、董事长仇肖莘近日在2024世界人工智能大会“芯领未来丨智能芯片及多模态大模型论坛”上表示,“大模型要想真正落地,一定是落到云边端三级结合的方式,一定要真正落到与日常生活息息相关的硬件设备里。”

此前,商汤(00020.HK)曾在2023年年报中表示,2024年将是端侧大模型应用的爆发之年。商汤联合创始人、首席科学家王晓刚解释称,成本、数据传输延迟、数据安全与隐私等几个重要问题,都可以通过端侧AI或云端结合来解决。

“凭借在成本、隐私、延时性、可靠性等方面的优势,端侧AI发展会成为全球趋势,这也意味着大模型正式进入了轻量化时代。”大模型厂商北京面壁智能科技有限责任公司(简称面壁智能)副总裁贾超也在上述论坛上表示。

事实上,在2024年上半年,端侧AI应用已加速落地。苹果在2024年WWDC发布会聚焦Apple Intelligence,公布了其应用在端侧AI的系列产品,端侧+隐私的技术处理方式获得市场认同;安卓系列手机应用AI化也在持续推进,模型侧各厂商均推出自主研发的边缘端模型产品,如VIVO蓝心大模型、OPPO安第斯大模型等。

根据Counterpoint Research,2024年一季度,全球具备GenAI功能的手机市占率提升至6%,较上季度1.3%大幅提升,AI功能手机渗透率持续提升。

“在中国做产业往往需要规模化,这就需要对于成本和应用的全流程进行充分考量。目前国内智能设备有几十亿(台),比如智能手机、智能眼镜、智能音箱、智能电视、智能车舱等,如果都接上大模型,就能实现应用边际成本的大幅降低。”商汤COO骆静日前在接受第一财经专访时表示,中国市场的先天优势在于大众对于人工智能的认知和接受度较高,容易接受AI产品,而产品一旦落地就会快速推开。“预计端侧AI产品明年上半年就会开始快速推广。”

NPU更适合端侧、边缘侧部署

“大模型部署到端侧时,对芯片的算力、存储、数据传输都有明确要求,要求这些芯片能更好地支持Transformer、Diffusion等架构。”王晓刚表示。

相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer的最大挑战来自于功耗。因此在端侧和边缘侧,GPU并非最合适的架构。

“找到适合的端侧芯片和模型来服务端侧、边缘侧场景将是未来一个重要的方向。”骆静告诉第一财经。

贾超在上述论坛上表示,企业开发端侧大模型需要算法侧和芯片侧的“双向奔赴”,端侧模型用端侧芯片,在用户场景上高效落地,才能给用户带来最极致的体验。

“Transformer是现在所有大模型的基础,它本身的基础架构也是固定的,在这种基础最原子层架构固定的情况下,DSA架构是比GPU更优的架构。对于AI推理芯片,尤其是在边缘侧、端侧部署的推理芯片来说,DSA架构芯片的运算效率、能量消耗优于GPU。”仇肖莘表示。

NPU就是基于DSA领域专用架构技术的处理器,它采用“数据驱动并行计算”的架构,在电路层模拟人类神经元和突触,特别擅长处理视频、图像类的海量多媒体数据。

区别于CPU、GPU所遵循的冯诺依曼架构,NPU能够通过突触权重实现存储计算一体化,提高运行效率,因此比GPU更擅长推理,且NPU芯片设计逻辑更为简单,在处理推理工作负载时具有显著的能耗节约优势,因此NPU可以作为在AI计算效率和功耗之间的平衡方案。

“NPU跟CPU、GPU一样,都是整个计算架构的一部分,是计算架构里边异构的处理器,用以实现不同的功能。GPU原来是专门为图形渲染做的,更像是张量计算使用的一个处理器,而NPU更像是一个原生的AI计算处理器,CPU则是另外一个处理器,这三个处理器加起来构成了AI的一个计算底座。”仇肖莘在接受第一财经专访时表示,“实际上,NPU在GPU的基础上更近了一步,它的灵活性不如GPU,但它的好处是能效比非常高,更适合边缘侧、端侧。”

NPU渗透率提升,成本是关键

NPU适合广泛部署在端侧、边缘侧的重要原因,也在于端侧与边缘侧需要性价比,需要在成本可控的前提下提供AI能力。仇肖莘认为,如何以低成本的NPU去实现AI的价值,是实现AI普惠的关键。

“现在自动驾驶很火热,但一个显而易见的问题是,到底有多少车能够用得起这个功能?如果一套解决方案花费在1万元人民币,可能10万元以下的车就用不起;如果能够把它的整个成本降到5000元以下,或者3000元,占整车成本的比例就会低很多,普及也会更快一些。”仇肖莘称,现在有一些高端手机和新出的AIPC已经搭载了NPU,但价格确实比较贵,要把NPU的成本降下来,需要达成规模效应,现在量没有起来确实很难降价。

仇肖莘认为,从今年开始,NPU的需求,或者说端侧AI芯片的需求会是一个快速上涨的趋势。“从我们自己客户的需求来看,他们的预测都会比原来更高。”

举报
第一财经广告合作,请点击这里
此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。

文章作者

一财最热
点击关闭