AWS 发布 SageMaker HyperPod 推理网关，GPU 感知路由降低首字延迟
AWS 发布 Amazon SageMaker HyperPod Inference Gateway，这是一个以 EKS 托管插件形式部署的 Kubernetes 原生、GPU 感知推理路由系统。它基于 Gateway API Inference Extension，通过实时 GPU 指标选择最合适的推理 Pod，官方
AWS 发布 SageMaker HyperPod 推理网关，GPU 感知路由降低首字延迟