AWS 工程团队发文介绍在 Amazon SageMaker AI 上针对融合 MoE 模型的内核优化：通过 Swap-AB 提升 Hopper WGMMA 利用率、为 FP8 量化改用 Triton 后端路由、消除 Triton JIT 重复编译。三项优化已在 vLLM 上游开源并应用于 LMI 容器，在 H200
AWS 详解 SageMaker AI 上的 MoE 内核优化：吞吐最高提升 10%