vLLM 为 Reflection Beam 501B MoE 模型提供 Day 0 支持
vLLM 官方博客介绍,Reflection 的 Beam 是一个 501B 参数、每 token 激活 23B 的 MoE 模型,vLLM 从发布首日即提供支持,并在 NVIDIA Blackwell 上完成内核与并行优化。文章给出 TP8 下 batch-1 解码提速 2.71 倍、prefill 提速 1.87
vLLM 为 Reflection Beam 501B MoE 模型提供 Day 0 支持