LMCache/LMCache 是一个 Python 开源项目，星火仓评分 81 分，A 级。LMCache 是一个 KV 缓存管理层，通过跨层缓存和分布式共享，显著加速 LLM 推理并降低成本，是 vLLM 等系统的关键性能组件。
LMCache (LMCache) 开源项目详情