分享到微信

打开微信，点击底部的“发现”，
使用“扫一扫”即可将网页分享至朋友圈。

自研芯片速度碾压英伟达10倍初创公司Groq一夜爆火

第一财经2024-02-21 13:51:15

作者：视点责编：陈东达

一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。

Groq并没有研发新模型，主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。其神速的响应源于自研的语言处理单元LPU。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。

Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一。单卡仅有230MB内存，2万美元一张。

自研芯片速度碾压英伟达10倍初创公司Groq一夜爆火。点击视频，一看究竟！

文章作者

视点

从“工具”到“基础设施”法律AI服务迈入发展快车道

1503 04-13 23:04

03'31''

记者观察：有国产模型近一个月调用量超7.5万亿tokens “Token经济” 引爆全球AI对决海外开发者为何“用脚投票”？︱一探

Token经济的兴起，正在从根本上重塑全球AI产业的竞争格局。本周的英伟达GTC大会上，黄仁勋面向全球开发者抛出了“Token工厂经济学”的全新概念。阿里巴巴也重磅官宣Token Hub，以“创造Token、输送Token、应用Token”为核心目标。就在全球科技巨头纷纷下注时，第一财经记者注意到，近期国产大模型的海外调用量呈现指数级狂飙，“中国Token出海”这一话题已成为行业热议焦点。在与AI创业企业、模型厂商、云算力服务商等行业各方交流中记者发现，“Token出海”并非单纯的算力或Token消耗出海，而是在全球AI竞赛的背景下，中国从“资源输出”向“高阶智力服务输出”的一次集体跃迁。

1038 03-22 18:44