分享到：
- 微信
- 微博
分享到微信打开微信，点击底部的“发现”， |
自研芯片速度碾压英伟达10倍 初创公司Groq一夜爆火
第一财经2024-02-21 13:51:15
作者：视点 责编：陈东达
{{aisd}}
AI生成 免责声明
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。
Groq并没有研发新模型，主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。其神速的响应源于自研的语言处理单元LPU。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一。单卡仅有230MB内存，2万美元一张。
自研芯片速度碾压英伟达10倍 初创公司Groq一夜爆火。点击视频，一看究竟！
文章作者
转发并提醒家中老年人！“黑帽GEO”卧底自述：尽可能不要在AI大模型上购买保健品
尽量不要直接购买AI大模型平台推荐的保健品。
“向AI提问但答案让我踩坑，我能起诉大模型平台吗？”律师：很难
大模型平台只是根据算法进行推荐，并没有主观恶意。
黄伟：中国AI亟需唤醒沉睡的数据 | 外滩大会·见解论坛
国内领先的大模型公司云知声创始人、首席执行官黄伟在论坛中指出：中国供应链品类齐全、专业场景丰富，但大量高价值数据仍割裂沉淀在企业内部，亟需有效的新机制将其唤醒，转化为AI的“燃料”。
紧跟沐曦 壁仞 天数智芯 做AI芯片的燧原也敲钟了 研发难 量产难 融资难 这些“上海芯”靠什么破圈？｜一探
9月11日，上海AI芯片企业燧原科技正式登陆科创板。至此，沐曦、壁仞、天数智芯、燧原——上海这些GPU领域的硬科技企业，在不到一年时间里先后登陆资本市场。这股浪潮的背后，是一批扎根上海的硬科技企业，从单点技术突破，走向规模化商用的关键跨越。在上海，这些硬科技企业共享同一片成长土壤：成熟的集成电路产业链、密集的高精尖人才以及精准托举的科创资本。
