分享到：
- 微信
- 微博
分享到微信打开微信，点击底部的“发现”， |
“吞”水、“吃”电，耗芯又耗人——揭秘大模型背后的惊人数字
第一财经2024-03-17 12:36:09
作者：视点 责编：陈东达
{{aisd}}
AI生成 免责声明
近日有报道称，OpenAI的热门聊天机器人ChatGPT每天要消耗超过50万度电，马斯克也曾预测，2025年全球电力将陷入短缺。而除了电力，大模型也十分“耗水”。本期视频，一起来揭秘大模型背后的惊人数字。
大模型之所以“大”，在于其参数巨大，谷歌LaMDA模型参数高达1370亿，GPT-3模型参数高达1750亿，GPT-4更是被曝包含了1.8万亿参数，而规模越大，对算力的需求便越多，如训练GPT3.5 需要用到约3万颗英伟达A100芯片。
算力的运行和生产往往离不开电力。一颗英伟达H100芯片最大功耗达到700W，以利用率61%计算，每颗芯片每年将消耗约3740度电。到2024年底，全球范围内将有350万个H100 GPU投入使用，电力总耗令人震惊。
服务器芯片在运行过程中会产生大量的热量，如果热量控制不当，会对数据中心的稳定运行造成影响，因此，科技巨头们需要耗费大量水资源来为数据中心降温。到2027年，全球AI所需的水资源可能会达到惊人的66亿立方米。
而AI发展，不仅耗水、耗电、耗芯片，还特别耗人。不仅是科学家，还包括AI训练中的数据标注师。大模型依赖数据训练，但要先做好数据采集、筛选、标注和质检。著名科学家李飞飞曾为了训练AI，通过亚马逊的在线众包平台在全世界167个国家雇佣了5万人，标注了1500万张图片。而直到今天AI训练依然需要大量的数据标注师。
“吞”水、“吃”电，耗芯又耗人——揭秘大模型背后的惊人数字。点击视频，一看究竟！
文章作者
精选丨孙建波：聚焦刚需消费 高毛利增长与AI应用新方向
精选丨孙建波：市场短期整理 AI估值回调但长期趋势不变
记者观察：有国产模型近一个月调用量超7.5万亿tokens “Token经济” 引爆全球AI对决 海外开发者为何“用脚投票”？︱一探
Token经济的兴起，正在从根本上重塑全球AI产业的竞争格局。本周的英伟达GTC大会上，黄仁勋面向全球开发者抛出了“Token工厂经济学”的全新概念。阿里巴巴也重磅官宣Token Hub，以“创造Token、输送Token、应用Token”为核心目标。就在全球科技巨头纷纷下注时，第一财经记者注意到，近期国产大模型的海外调用量呈现指数级狂飙，“中国Token出海”这一话题已成为行业热议焦点。在与AI创业企业、模型厂商、云算力服务商等行业各方交流中记者发现，“Token出海”并非单纯的算力或Token消耗出海，而是在全球AI竞赛的背景下，中国从“资源输出”向“高阶智力服务输出”的一次集体跃迁。
MiniMax大涨 股价破千 近一个月调用量达7.5T Token “龙虾”增长潜力藏不住了 MiniMax高管：目前渗透率还很低︱一探
近期，开源AI智能体OpenClaw（俗称“龙虾”）全球火爆出圈，直接带动中国大模型MiniMax调用量迎来暴涨。MiniMax相关负责人向第一财经记者表示，过去一个月，其在AI模型聚合平台OpenRouter的调用量，达到了7.5T Token。在该负责人看来，“龙虾”OpenClaw当前的渗透率还很低，未来仍具备较大增长潜力。
OpenClaw爆火催生代装服务 腾讯总部门口大排长龙装AI 有68岁老人坐车一小时来安装 帮炒股 剪视频AI一键全能了？｜一探
OpenClaw爆火，催生出AI专业代装服务。日前，深圳腾讯大厦楼下大排长龙，众多市民携带电脑到场，争相参与OpenClaw（龙虾）AI智能体工具免费安装活动。有市民告诉第一财经记者，使用AI智能体协作后，在课题咨询方面的效率提升了10倍，还有不少市民表示准备用在炒股和视频剪辑、自媒体等领域。现场还有一位68岁的老者，坐车一个多小时来到这里，他表示，作为非遗文化从业者，希望用AI智能体呈现更好的文化作品。