分享到微信

打开微信，点击底部的“发现”，
使用“扫一扫”即可将网页分享至朋友圈。

自研芯片速度碾压英伟达10倍初创公司Groq一夜爆火

第一财经2024-02-21 13:51:15

作者：视点责编：陈东达

一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。

Groq并没有研发新模型，主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。其神速的响应源于自研的语言处理单元LPU。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。

Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一。单卡仅有230MB内存，2万美元一张。

自研芯片速度碾压英伟达10倍初创公司Groq一夜爆火。点击视频，一看究竟！

文章作者

视点

专访复星医药王兴利：用数字模型为患者“试药”？AI有望让这一设想变成现实

8 527 2025-12-25 17:21

01'07''

一财主播说丨媒体：英伟达放风！春节前向中国客户交付H200芯片

5 70 2025-12-24 13:42

01'23''

不到10%价格做到接近国际领先模型 “AI六小虎”抢跑港股IPO 记者对话MiniMax、智谱高管谈技术路线 | 一探

近期，中国人工智能赛道迎来重要资本节点。稀宇科技（MiniMax）与智谱同日通过港交所上市聆讯，两家被外界称为“AI 六小虎”的代表性企业，正式迈入资本市场关键阶段。在资本市场之外，更受关注的是两家公司在大模型技术与商业化路径上的选择。第一财经记者独家对话MiniMax与智谱高管，从模型架构、算力效率到实际应用场景，拆解中国大模型企业在现实约束下的技术取舍与发展逻辑。更现场、更财经，一探究竟。

5 95 2025-12-23 19:47