首页 > 视听 > 此刻

分享到微信

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

自研芯片速度碾压英伟达10倍 初创公司Groq一夜爆火

第一财经2024-02-21 13:51:15

作者:视点    责编:陈东达

一夜之间,初创公司Groq爆火,其在同名模型启动器上运行的大模型,能够每秒输出近500个token,输出速度比Gemini快10倍,比GPT-4快18倍。

Groq并没有研发新模型,主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。其神速的响应源于自研的语言处理单元LPU。根据Groq官网的介绍,LPU是一种专为AI推理所设计的芯片。

Groq官网的测试资料显示,由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称,在大语言模型任务上,LPU比英伟达的GPU性能快10倍,但价格和耗电量都仅为后者的十分之一。单卡仅有230MB内存,2万美元一张。

自研芯片速度碾压英伟达10倍 初创公司Groq一夜爆火。点击视频,一看究竟!


 

举报

文章作者

相关视频
13'03''

全球“股王”易主!英伟达市值遭苹果反超 重金押注AI或成最大隐忧?| 夜话

12762 07-28 22:55
00'30''

专访瑞银亚洲股票策略主管:中国AI被市场低估,内存厂商机会来了

瑞银新兴市场及亚洲股票策略主管 Sunil Tirumalai 发布报告指出,中国AI模型正以显著的成本优势快速崛起,中美大模型在使用成本上的差距已达数倍,但中国AI尚未被市场充分认知和定价。Sunil Tirumalai在接受第一财经专访时进一步指出,随着AI变得便宜高效,上游算力需求不会减弱反而将持续强劲。他还表示,全球内存产能吃紧,传统内存领域正为中国厂商打开机遇窗口。

6 22496 07-24 18:46
04'39''

陆家嘴金融沙龙:人工智能时代私募证券行业的发展

3555 07-21 22:09
03'37''

WAIC碎碎念:我充给AI的钱到底花哪儿去了︱未来・♾️

在AI上花的钱越来越多是种什么体验?带着自己的“词元账单”,第一财经记者在2026世界人工智能大会现场,找大模型公司、芯片厂商、算力厂商挨个“对质”后了解到:用户们为AI充值的钱,花在了持续迭代的模型上,花在了上千颗芯片互联的超级算力上,也花在了国产GPU“投资明天”的耐心上。现场有位神秘嘉宾说得好:未来算力会像水电煤一样,流进每个人的生活。那一天来之前——大模型会员,还得续费。

5446 07-20 21:32
00'36''

芯片能堆叠 模型也能?国产模型不靠“单打独斗” 靠“抱团”打出极致性价比︱未来・♾️

在2026世界人工智能大会现场,独立AI云服务商PPIO带来的自研模型混合平台,引起大量关注。公司创始人兼CEO‌姚欣向第一财经记者表示,尽管当前海外模型在性能上仍有领先优势,但通过模型堆叠这一创新方案,国产模型的能力已超越海外顶尖模型。该方案也为国产大模型落地,提供了一条高性价比路径。

3152 07-19 18:48
一财最热
点击关闭