Modal 工程博客复盘为 Moonshot AI 的 Kimi K2.6 提供编码 Agent 推理服务的优化路径:先定位 HBM 带宽与容量瓶颈,再通过张量并行、DFlash 投机解码、中间态量化与 HiCache 扩展缓存层级提升单副本表现,最终单用户性能提升 2.8 倍、副本整体吞吐提升 5.6 倍,单个服务日
Modal 详解万亿参数编码 Agent 推理优化:单副本性能提升 2.8 倍