AWS 机器学习博客介绍 vLLM 的推模式 NIXL 连接器：解码实例提前注册目标块，预填充实例在后台线程发起 NIXL WRITE，把传输协调移出首 token 关键路径。在 Amazon EC2 P5en 与 EFA 的 1P1D 部署上，Qwen3-32B 基准中 TTFT 最高改善约 3 倍、TPOT 最高改
AWS 详解 vLLM 推模式 KV 传输：TTFT 最高改善约 3 倍