首页 > 视听 > 此刻

分享到微信

打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。

“吞”水、“吃”电,耗芯又耗人——揭秘大模型背后的惊人数字

第一财经2024-03-17 12:36:09

作者:视点    责编:陈东达

一颗英伟达H100芯片最大功耗达到700W,以利用率61%计算,每颗芯片每年将消耗约3740度电。

近日有报道称,OpenAI的热门聊天机器人ChatGPT每天要消耗超过50万度电,马斯克也曾预测,2025年全球电力将陷入短缺。而除了电力,大模型也十分“耗水”。本期视频,一起来揭秘大模型背后的惊人数字。

大模型之所以“大”,在于其参数巨大,谷歌LaMDA模型参数高达1370亿,GPT-3模型参数高达1750亿,GPT-4更是被曝包含了1.8万亿参数,而规模越大,对算力的需求便越多,如训练GPT3.5 需要用到约3万颗英伟达A100芯片。 

算力的运行和生产往往离不开电力。一颗英伟达H100芯片最大功耗达到700W,以利用率61%计算,每颗芯片每年将消耗约3740度电。到2024年底,全球范围内将有350万个H100 GPU投入使用,电力总耗令人震惊。

服务器芯片在运行过程中会产生大量的热量,如果热量控制不当,会对数据中心的稳定运行造成影响,因此,科技巨头们需要耗费大量水资源来为数据中心降温。到2027年,全球AI所需的水资源可能会达到惊人的66亿立方米。

而AI发展,不仅耗水、耗电、耗芯片,还特别耗人。不仅是科学家,还包括AI训练中的数据标注师。大模型依赖数据训练,但要先做好数据采集、筛选、标注和质检。著名科学家李飞飞曾为了训练AI,通过亚马逊的在线众包平台在全世界167个国家雇佣了5万人,标注了1500万张图片。而直到今天AI训练依然需要大量的数据标注师。

“吞”水、“吃”电,耗芯又耗人——揭秘大模型背后的惊人数字。点击视频,一看究竟!
 

举报

文章作者

相关视频
06'27''

DeepSeek涨价,Meta降价,全球AI大模型价格乱战“鹿死谁手”?丨夜话

6159 昨天 22:15
39'57''

财经夜行线0730丨摩根士丹利邢自强解读政治局会议:全球“K型分化”下 中国“AI新动能”如何托起百姓“钱袋子”?

8 28169 07-30 21:41
00'30''

专访瑞银亚洲股票策略主管:中国AI被市场低估,内存厂商机会来了

瑞银新兴市场及亚洲股票策略主管 Sunil Tirumalai 发布报告指出,中国AI模型正以显著的成本优势快速崛起,中美大模型在使用成本上的差距已达数倍,但中国AI尚未被市场充分认知和定价。Sunil Tirumalai在接受第一财经专访时进一步指出,随着AI变得便宜高效,上游算力需求不会减弱反而将持续强劲。他还表示,全球内存产能吃紧,传统内存领域正为中国厂商打开机遇窗口。

6 22496 07-24 18:46
04'39''

陆家嘴金融沙龙:人工智能时代私募证券行业的发展

3555 07-21 22:09
00'44''

无问芯穹CEO夏立雪:词元付费印证AI价值 推理成本还能再降10倍︱未来・♾️

2026世界人工智能大会期间,无问芯穹联合创始人、CEO夏立雪,在接受第一财经记者采访时表示,无问芯穹已帮助行业将大模型推理成本,实现10倍下降,且仍有充足技术能力,推动推理成本再下降10倍。在他看来,词元付费模式被市场广泛接受,是AI产业价值落地的关键信号。

4113 07-21 16:35
一财最热
点击关闭