SGLang 推出低延迟模式：插件框架在英伟达与 AMD GPU 上降低推理延迟

SGLang 团队联合英伟达与 AMD 发布 Low-Latency Mode，通过插件框架把专用内核接入 SGLang。官方博客给出 GB300 与 MI355X 上的实测数据：单会话 P90 每用户生成速度提升 1.38 倍，AMD 四会话提升 1.56 倍，并披露了内核融合与通信重叠的具体做法。