AWS 发布 Ray Serve 深度学习容器(DLC),为推理工作负载提供预构建、经过测试的镜像,集成 PyTorch、Ray Serve 及 GPU 驱动。本文介绍如何在 Amazon EKS 上部署视觉语言模型 Qwen3-VL-2B,并对比 TorchServe 的维护困境,展示迁移路径。
AWS 推出 Ray Serve 深度学习容器,简化 TorchServe 推理迁移