NVIDIA/TensorRT-LLM 是一个 Python 开源项目，星火仓评分 82 分，A 级。TensorRT-LLM 是一个用于在 NVIDIA GPU 上高效推理大型语言模型（LLM）和视觉生成模型的优化框架，提供 Python API 和高性能运行时。
TensorRT-LLM (NVIDIA) 开源项目详情