vLLM 详解 Kimi K3 在 AMD MI355X 上的推理优化:单卡吞吐超 HGX B300 24.4%
vLLM 官方博客发布 AMD 与 Embedded LLM 的联合优化文章,详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理调优。文章称在 AgentX 基准、50 tokens/s/user P90 交互性下,MI355X 单 GPU 总吞吐约 7567 tokens/s,比 NVID
vLLM 详解 Kimi K3 在 AMD MI355X 上的推理优化:单卡吞吐超 HGX B300 24.4%