首页 > 视听 > 此刻

分享到微信

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

“吞”水、“吃”电,耗芯又耗人——揭秘大模型背后的惊人数字

第一财经2024-03-17 12:36:09

作者:视点    责编:陈东达

一颗英伟达H100芯片最大功耗达到700W,以利用率61%计算,每颗芯片每年将消耗约3740度电。

近日有报道称,OpenAI的热门聊天机器人ChatGPT每天要消耗超过50万度电,马斯克也曾预测,2025年全球电力将陷入短缺。而除了电力,大模型也十分“耗水”。本期视频,一起来揭秘大模型背后的惊人数字。

大模型之所以“大”,在于其参数巨大,谷歌LaMDA模型参数高达1370亿,GPT-3模型参数高达1750亿,GPT-4更是被曝包含了1.8万亿参数,而规模越大,对算力的需求便越多,如训练GPT3.5 需要用到约3万颗英伟达A100芯片。 

算力的运行和生产往往离不开电力。一颗英伟达H100芯片最大功耗达到700W,以利用率61%计算,每颗芯片每年将消耗约3740度电。到2024年底,全球范围内将有350万个H100 GPU投入使用,电力总耗令人震惊。

服务器芯片在运行过程中会产生大量的热量,如果热量控制不当,会对数据中心的稳定运行造成影响,因此,科技巨头们需要耗费大量水资源来为数据中心降温。到2027年,全球AI所需的水资源可能会达到惊人的66亿立方米。

而AI发展,不仅耗水、耗电、耗芯片,还特别耗人。不仅是科学家,还包括AI训练中的数据标注师。大模型依赖数据训练,但要先做好数据采集、筛选、标注和质检。著名科学家李飞飞曾为了训练AI,通过亚马逊的在线众包平台在全世界167个国家雇佣了5万人,标注了1500万张图片。而直到今天AI训练依然需要大量的数据标注师。

“吞”水、“吃”电,耗芯又耗人——揭秘大模型背后的惊人数字。点击视频,一看究竟!
 

举报

文章作者

相关视频
01'57''

业内:超大参数模型投资回报率仅有5% “唯参数论”难以为继

10034 昨天 22:21
00'30''

阿里云霍嘉:大模型第一次让“学霸”的价值产业化了 全球最聪明的一批人卷出了“月度级”发布的大模型

10月30日,在2026全球数商大会上,阿里云智能集团副总裁霍嘉表示,今天的大模型产业第一次让学霸的价值真正“产业化”了,全球最聪明的一批人卷出了“月度级”发布的大模型,模型能力非常强。

4361 10-30 17:20
00'50''

青少年AI大赛冠军:AI一定会是未来非常亮的一盏灯 但是用这盏灯照亮前方的还会是人类

10月30日,在2026全球数商大会上,首届青少年人工智能大赛具身智能赛道全国决赛第一名贾茗予认为,下一个时代的定义者一定还是人类。她表示未来AI一定会是非常亮的一盏灯,但是用这盏灯照亮前方的还会是人类,因为只有人类能承担责任 AI的能力达不到。

5880 10-30 14:10
03'39''

不只看AI,还能动手造AI!WTCC2026打开AI创造全链路︱一探

当下AI技术快速迭代,越来越多科创成果尝试走出实验室,寻找面向普通大众的消费场景。10月22日至25日,WTCC2026西岸国际科技消费嘉年华在上海西岸国际会展中心举办,400 余个全球科技品牌齐聚,以“AI 一生”为主题,打造可逛、可玩、可买的科技现场,展会设置产品体验、创作工坊、新品发布等多元活动,联动西岸滨江拓展消费体验边界。第一财经记者在实地探访发现,此次展馆构建完整创新链路:有围绕八大生活场景展示AI消费新产品;也有“创造者世界”聚焦研发过程。与此同时,本届活动配套首届上海 “人工智能 + 消费”创新大赛,优质项目展后有机会对接模速空间入驻评估、场景与产业资源,推动创新成果持续迭代转化。当技术供给不断丰富,真实消费需求究竟会把AI创新带向何方?

9 10251 10-23 18:26
13'42''

DeepSeek等大模型厂商持续加码 具身智能或成AI下一主战场?| 夜话

12855 10-13 22:45
一财最热
点击关闭