AWS 机器学习博客发布技术教程，介绍如何用 llama.cpp 的 AWS 深度学习容器在 SageMaker AI 上部署决策模型：先通过 InvokeEndpoint 提供 OpenAI 兼容的对话补全，再用 SemIf 适配器扩展运行时，对声明的候选项返回概率而非生成文本。文中给出 CPU 与 GPU 两条部署
AWS 发布在 SageMaker AI 上用 llama.cpp 部署决策模型教程