sgl-project/sglang 是一个 Python 开源项目，星火仓评分 86 分，A 级。SGLang 是一个高性能的大语言模型和多模态模型推理与服务框架，通过创新的结构化生成语言和运行时优化实现极致的推理效率。
sglang (sgl-project) 开源项目详情