首页 > 视听 > 此刻

分享到微信

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

“吞”水、“吃”电,耗芯又耗人——揭秘大模型背后的惊人数字

第一财经2024-03-17 12:36:09

作者:视点    责编:陈东达

一颗英伟达H100芯片最大功耗达到700W,以利用率61%计算,每颗芯片每年将消耗约3740度电。

近日有报道称,OpenAI的热门聊天机器人ChatGPT每天要消耗超过50万度电,马斯克也曾预测,2025年全球电力将陷入短缺。而除了电力,大模型也十分“耗水”。本期视频,一起来揭秘大模型背后的惊人数字。

大模型之所以“大”,在于其参数巨大,谷歌LaMDA模型参数高达1370亿,GPT-3模型参数高达1750亿,GPT-4更是被曝包含了1.8万亿参数,而规模越大,对算力的需求便越多,如训练GPT3.5 需要用到约3万颗英伟达A100芯片。 

算力的运行和生产往往离不开电力。一颗英伟达H100芯片最大功耗达到700W,以利用率61%计算,每颗芯片每年将消耗约3740度电。到2024年底,全球范围内将有350万个H100 GPU投入使用,电力总耗令人震惊。

服务器芯片在运行过程中会产生大量的热量,如果热量控制不当,会对数据中心的稳定运行造成影响,因此,科技巨头们需要耗费大量水资源来为数据中心降温。到2027年,全球AI所需的水资源可能会达到惊人的66亿立方米。

而AI发展,不仅耗水、耗电、耗芯片,还特别耗人。不仅是科学家,还包括AI训练中的数据标注师。大模型依赖数据训练,但要先做好数据采集、筛选、标注和质检。著名科学家李飞飞曾为了训练AI,通过亚马逊的在线众包平台在全世界167个国家雇佣了5万人,标注了1500万张图片。而直到今天AI训练依然需要大量的数据标注师。

“吞”水、“吃”电,耗芯又耗人——揭秘大模型背后的惊人数字。点击视频,一看究竟!
 

举报

文章作者

相关视频
01'35''

香港股票分析师协会副主席潘铁珊:恒指25000点获支撑 维持千点内震荡丨港股收市

7 2098 09-04 16:07
02'32''

OpenAI发布GPT-6 并宣告“欢迎来到AGI时代”

1416 09-04 10:39
01'14''

DeepSeek API正式涨价 开发者实测成本涨了3倍多 压力或转嫁至终端用户 专家:大模型价格短期不会降|一探

DeepSeek API落地史上最大单次涨价。第一财经记者走访了多位使用DeepSeek的AI软件开发者,据开发者估算,涨价后月成本将从3000元直接涨至1万元,涨幅约3至4倍。若开发者难以平衡成本,最终可能将压力转嫁给终端用户。对于涨价原因,另一位创业者认为核心原因在于大模型厂商算力吃紧,难以同时维持训练下一代模型及服务C端、B端用户。专家认为,此番涨价是整个行业价格战降温的信号,在短期内,国产大模型价格或将稳中有升。

6593 08-19 17:28
00'16''

中美AI竞争 路线决定未来? 中国开源抢先发 美国专注闭源 大模型核心战场 早已不是技术 专家:用的人越多 话语权越大

5 5415 08-17 20:27
01'49''

豆包要切酒旅预订“蛋糕”?酒店:只是增量 传统OTA仍是基本盘 业内:分销格局生变 多中介或将并存 | 一探

不少酒店业内人士表示,不同于传统OTA平台搜索、比价、下单一体化模式,当前大模型只负责需求理解与酒店推荐,真实交易仍需要跳转第三方平台承接。

6004 08-14 22:10
一财最热
点击关闭