英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。
该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。
—— IT之家
via 风向旗参考快讯 - Telegram Channel
调研机构 SemiAnalysis 报道，英伟达通过 vLLM 优化，使 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上的推理速度达到 423 tok/s/user，性能较此前提升 1.68 倍。
该优化由英伟达 CentML 工程师完成，通过大规模 Megakernel 融合，使用 Cute DSL 编写解码专用内核。此外，英伟达正同步开展针对 DeepSeek V4.1 等其他模型的优化工作。
—— IT之家
via 风向旗参考快讯 - Telegram Channel
